Компания
1 068,87
рейтинг
13 июля 2012 в 13:37

Разное → FBL для ваших доменов



После запуска сервиса Postmaster.Mail.Ru, который позволил отправителям рассылок увидеть количество жалоб пользователей, мы часто получаем вопросы в стиле: «А как мы можем увидеть, кто жаловался и на что?».

С некоторого времени мы начали предоставлять такую информацию, используя технологию FBL (Feedback Loop).

Что такое FBL?


FBL – это стандарт выдачи информации о жалобах на спам от провайдера услуг электронной почты отправителю писем.

Поддержка почтой Mail.Ru технологии FBL по существу означает, что любой отправитель писем (например, веб-сервис) может получать от нас в реальном времени информацию о том, что конкретный пользователь пожаловался (нажал кнопку «Это спам») на конкретное письмо, пришедшее от этого сервиса.

После нажатия кнопки «Спам» наш сервис формирует отчет в специальном формате ARF (Abuse Reporting Format), который содержит исходное письмо и электронный адрес пользователя; также отчет может содержать дополнительную мета-информацию.

Формат письма ARF состоит из нескольких частей:

  • Текстовая версия. Предназначена для отображения пользователю, который может читать этот отчет. Может содержать некоторую подробную информацию (о чем этот отчет и почему был сгенерирован).
  • Служебная информация об этом отчете (Content-Type: message/feedback-report). Содержит информацию о типе отчета (abuse — для отчетов по жалобам на письма), а также может содержать разного рода дополнительную информацию.
  • Исходное письмо, на которое пожаловались, в виде вложения.

Пример ARF-отчета:
  From: <abusedesk@example.com>
  Date: Thu, 8 Mar 2005 17:40:36 EDT
  Subject: FW: Earn money
  To: <abuse@example.net>
  MIME-Version: 1.0
  Content-Type: multipart/report; report-type=feedback-report;
       boundary=part1_13d.2e68ed54_boundary
   
  --part1_13d.2e68ed54_boundary
  Content-Type: text/plain; charset=US-ASCII
  Content-Transfer-Encoding: 7bit
   
  This is an email abuse report for an email message received from IP
  10.67.41.167 on Thu, 8 Mar 2005 14:00:00 EDT. For more information
  about this format please see http://www.mipassoc.org/arf/.
   
  --part1_13d.2e68ed54_boundary
  Content-Type: message/feedback-report
   
  Feedback-Type: abuse
  User-Agent: SomeGenerator/1.0
  Version: 0.1
  Original-Mail-From: <somespammer@example.net>
  Original-Rcpt-To: <user@example.com>
  Received-Date: Thu, 8 Mar 2005 14:00:00 EDT
  Source-IP: 10.67.41.167
  Authentication-Results: mail.example.com
                 smtp.mail=somespammer@example.com;
                 spf=fail
  Reported-Domain: example.net
  Reported-Uri: http://example.net/earn_money.html
  Reported-Uri: mailto:user@example.com
  Removal-Recipient: user@example.com
   
  --part1_13d.2e68ed54_boundary
  Content-Type: message/rfc822
  Content-Disposition: inline
   
  From: <somespammer@example.net>
  Received: from mailserver.example.net (mailserver.example.net
       [10.67.41.167]) by example.com with ESMTP id M63d4137594e46;
       Thu, 8 Mar 2005 14:00:00 -0400
  To: <Undisclosed Recipients>
  Subject: Earn money
  MIME-Version: 1.0
  Content-type: text/plain
  Message-ID: 8787KJKJ3K4J3K4J3K4J3.mail@example.net
  Date: Thu, 2 Sep 2004 12:31:03 -0500
   
  Spam Spam Spam
  Spam Spam Spam
  Spam Spam Spam
  Spam Spam Spam
  --part1_13d.2e68ed54_boundary--

Зачем нужен FBL?


Очевидно, что основное предназначение FBL – получение фидбека о состоянии базы клиентов сервиса и их лояльности.

Часто отправители рассылок не задумываются о простой отписке от их рассылки без ввода пароля и входа в личный кабинет. Это, плюс банальная лень пользователей, приводит к тому, что нажатие на кнопку «Спам» является синонимом отписки.

Обрабатывая FBL-отчеты, можно автоматически отписывать пользователей от рассылок, подчищая свою базу, формируя постоянную аудиторию заинтересованных подписчиков, снижая нагрузку на свои сервера и на сервера почтовых провайдеров.

Кроме того, получая отчеты, можно проводить анализ содержимого рассылки, корректировать ее, чтобы снизить количество жалоб и тем самым избежать блокировок в будущем.

Кстати, для анализа статистики по письмам в нашем сервисе Postmaster Mail.Ru есть еще ряд сервисов, которые мы ранее уже анонсировали на Хабре (http://habrahabr.ru/company/mailru/blog/138107/).

FBL в мире


FBL поддерживает большинство крупных мировых email-провайдеров, таких, как Hotmail, Yahoo и AOL. Для использования FBL обычно надо указать и подтвердить электронный адрес с того же домена (на него будут приходить отчеты), и подтвердить диапазон IP-адресов, с которых вы отправляете почту. В случае с Hotmail, например, необходимо еще заключить специальный договор.

Gmail не предоставляет FBL, но использует специальный заголовок List-Unsubscribe для отписки пользователя от рассылки. С помощью этого заголовка можно создать аналог FBL, отслеживая на своей стороне, какие письма кому были отправлены.

В Рунете технологию FBL первой начала использовать Почта Mail.Ru.

FBL в Mail.Ru


В данный момент мы предоставляем подписку на FBL для ваших доменов в рамках сервиса Postmaster.Mail.Ru. Для оформления подписки вам необходимо:

  1. Подписывать все письма с помощью технологии DKIM.
  2. Добавить и подтвердить домен в сервисе Postmaster.Mail.Ru
  3. В меню «Настройки» сервиса Postmaster.Mail.Ru указать email-адрес для получения FBL-отчетов по вашему домену. В данный момент можно указать только email с того же домена.
  4. Подтвердить email-адрес для получения FBL, кликнув по специальной ссылке в письме-подтверждении.
  5. Подождать, пока вашу заявку проверят.




После одобрения заявки на ваш адрес будут приходить ARF отчеты при каждом нажатии кнопки «Спам». Хочу еще раз отметить, что для работы требуется DKIM, жалобы на письма без DKIM или с неправильным DKIM обработаны не будут.

FBL в данный момент работает в тестовом режиме, и мы будем благодарны за все найденные ошибки, комментарии и идеи.

Василий Беспалов,
Руководитель проекта Антиспам Почты Mail.Ru.
Автор: @dk547

Комментарии (30)

  • +12
    Жаль, что «Яндекс» и «Рамблер» вообще не чешутся в этом смысле. Если бы все основные русские почтовики сделали FBL, то мир стал бы заметно лучше :)
  • +1
    «5. Подождать, пока вашу заявку проверят»
    А что именно проверяете? DKIM есть, домен подтвержден. Что еще вам нужно?
    • +3
      В данный момент система FBL работает в режиме тестирования, это по сути основная причина. Как только все будет работать хорошо эта проверка скорее всего будет убрана.
  • 0
    Василий, а такое уточнение — если мы рассылаем, например, с домена my.mail.ru, то система попросит для FBL указать ящик на @my.mail.ru
    Почему такое ограничение? Почему бы не разрешить использовать произвольный эмейл адрес? Или хотя бы адрес в том же домене mail.ru?
    • 0
      Мы думаем над этим, но пока по некоторым соображениям решили сделать такое ограничение. Кажется, это не очень усложняет жизнь рассыльщиков — у отправителя же должен быть доступ к почте домена.
      • 0
        Могут быть исключения. Например, если поддомен делегирован сервису рассылок, что достаточно частая практика.
  • 0
    gmail с некоторого времени вежливо предлагает после нажатия на кнопку «Mark as spam» отписаться от рассылки, хороший паттерн я считаю
    • +1
      В статье как раз упоминается — это в случае, когда отправитель письма сформировал заголовок List-Unsubscribe.
    • 0
      Да, это заголовок List-Unsubscribe. На практике gmail далеко не для всех рассыльщиков на него реагирует (как минимум необходим тот же DKIM) — о чем, собственно, явно предупреждает. Но проставлять его все равно стоит.
  • 0
    А есть ли какие-то варианты для Microsoft Exchange? Он, как известно, использует не DKIM, а SPF.
  • 0
    При добавлении домена DNS-проверка работает некорректно.

    Во первых, непонятно описание

    Иногда интерфейс управления DNS не позволяет использовать символ @ как имя домена/поддомена. В этом случае используйте имя вашего домена с точкой на конце, например: «test.ru.».

    Если следовать написанному, получится запись test.ru..test.ru Вероятно имеется ввиду, что нужно оставить пустое поле name.

    Я на всякий случай добавил оба варианта — подозреваю, что это из-за того, что чекер проверяет первую полученную TXT запись (в моем случае SPF), и вполне логично ругается.
    • 0
      Вы имеет ввиду немного другое. Точка в конце имени домена имеет специальное значение, она говорит DNS-серверу, что ничего дописывать не надо. Т.е. запись

      test.ru. IN A 127.0.0.1

      в зоне test.ru полностью эквивалентна записи

      @ IN A 127.0.0.1

      Другой вопрос, если вы используете графический интерфейс — там могут быть приняты разные соглашения, например в Microsoft'овских инструментах для управления DNS действительно для добавления записей, совпадающих с именем зоны необходимо оставить поле имени пустым.
  • 0
    Как часто уходят письма с уведомлениями о действии пользователя? (spam\unspam)
    • 0
      В соответствии с принятыми практиками FBL, письма уходят практически в реальном времени, с минимальными задержками.
  • 0
    Вопрос — могут ли пользователи злонамернно использовать этот механизм, чтобы навредить какому-либо сервису?

    Например, пользователь получает «неприятное» письмо (напоминание о непогашенном долге, соощение о блокировке на форуме и т.п.).
    В отместку он жмет «это спам». И получается, что честный сайт, который все сделал хорошо, позаботился о пользователях, чтобы все уведомления до них доходили, подписал DKIM`ом всю почту получает «минус» в репутацию. Ни за что. Даже не за рассылку.

    Понятно, что почтовая система учитывает не единичный случай, а статистику за какое-то время. Очень вероятна ситуация, когда все было хорошо, но в какой-то день этот процент резко вырастет. Например, в конце месяца бухгалтерия рассылает уведомления должникам, или случилось какое-то общественно-политическое событие и на форуме столкновение противников и сторонников. Для успокоения модераторы прописали бан массе народу.
    То есть получается, что любой популярный ресурс всегда будет в зоне риска.
    • 0
      Я недавно вдруг понял, что раньше, когда мне надоедала какая-то рассылка (на которую я сам подписывался), я избавлялся от нее, нажимая кнопку «Спам». Т.к. в большинстве случаев отписка от рассылок требовала авторизации на сайте, перехода в меню, шаманства с несколькими галочками и т.п.

      Теперь вот задумался…
      • 0
        Вот Google это сделал очень правильно — если это рассылка и отправитель позаботился о корректной обработке, то при нажатии на кнопку «Спам» произойдет отписка от рассылки — все хорошо. Если же отправитель на парился, то рассылка будет считаться обычным письмом и обработается как спам. Все вроде бы корректно.

        Но как быть с единичным письмами, даже рассылаемыми массово?
        Что значит попросить отписать меня от напоминаний об оплате? А если сервис не отпишет? И вообщем-то имеет право, если пользователь ему денег должен. Заносить такого в спам-лист?
        • 0
          Фактически, поддержка FBL позволяет реализовать то же самое. Если «отправитель позаботился о корректной обработке» — то он в ответ на нажатие «Это спам» отпишет от рассылки. Единичным письмам (как и крупынм рассылкам) это репутацию не испортит — она изменяется плавно и с учетом многих внутренних факторов.

          Поддержка заголовка List-Unsubscribe (то, что есть у gmail) тоже есть в наших планах, но никаких принципиально новых возможностей она не даст — все это уже сейчас можно сделать через FBL.
          • 0
            Поддержка заголовка позволит в автоматическом режиме обрабатывать отписку.
            Но, в принципе, да, можно и через FBL в ручном режиме.
            • 0
              Так а что мешает обрабатывать FBL автоматически? Это такие же письма стандартного формата. Скрипт для его обработки можно на любом языке написать.
              • 0
                То есть вытащить заголовки и обработать их?
                Там вроде больше ничего не надо.
      • 0
        Так это и есть правильное поведение. Если вам что-то не нравится — нажимайте «это спам». Сознательный отправитель получит FBL и отпишет вас от рассылки. Несознательный — не будет отписывать, и если таких пользователей будет много — постепенно понизит свою репутацию и ему придется обратить на это внимание.
    • 0
      Если репутация сервиса пойдет вниз — это значит реальные пользователи недовольны. Мы оперативно блокируем ботов и не учитываем их мнение. Представить же массовый сговор реальных пользователей, чтобы «насолить» сервису сложно.
      • 0
        Вот у меня такой вопрос: мы хотим переделать рассылки на нормальный механизм с поддержкой DKIM, чисткой списка и прочего.
        Если я сейчас сделаю ключи и проведу рассылку, я получу массу проблем из-за того, что у меня список пользователей еще старый, но все нажатия на «спам» уже обрабатываются всерьез. Мусорные акки я удалю, но получается, что все равно попаду в бан из-за них.
        Как вы порекомендуете постепенно внедрять нормальные механизмы рассылок?

        Если я сделаю ключи только для отдельных серверов, будет ли почта приниматься с других? Или оно автоматом будет считаться отправленной нелегально?
        Спасибо.
        • 0
          В «спам» попадают письма не из-за того, что у домена рассыльщика плохая репутация в postmaster, решение о блокировке принимается независимо от репутации, хотя и коррелирует с ней, потому что в расчет берутся примерно те же факторы, в частности количество жалоб. Если вы сделаете «грязную» рассылку с нарушением правил или по списку без opt-in, то проблемы будут независимо от того, будет использован DKIM и домен зарегистрирован в postmaster или нет, репутация в postmaster не связана с этим решением напрямую. Рассылки «влетят» в блеклисты по каким-либо параметрам, после чего вынести их будет довольно сложно. Но вот если рассыльщик «легально» зарегистрирован в постмастере, корректно оформляет рассылки и подписывает письма, то вероятность того, что будет заблокирована легальная рассылка существенно меньше.
          • 0
            Можно вам еще вопрос?
            Подключил DKIM, mail.ru его видит, нормально понимает и принимает почту. Показал в интерфейсе, что письма с таким ключем распознаны. Но при этом возле домена висит предупреждающий знак «Статистика отсутствует — проверьте DKIM.»
            Может из-за того, что пока не везде внедрено? И большая часть писем ходит без подписи?
            • 0
              Должен пропасть на следующий день после получения первых писем, подписанных DKIM.
  • 0
    Самый сок — это что письмо от noreply@corp.mail.ru с темой «Verifying address for mail.ru FBL» — падает на гугле в спам :))
  • 0
    Опять DKIM.
    Зачем?
  • 0
    Ребят, как дела с FBL? Планируется уже нормальный режим работы, когда ящик задается для блока айпи адресов, как принято, а не на том же домене?

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное