Компания
1 068,88
рейтинг
1 июня 2011 в 17:49

Разное → Тяжелая жизнь антиспамеров или как это происходит на самом деле

Поводом для этой публикации послужили недавние серьезные изменения, внесенные в механизм борьбы со спамом в рамках нашего почтового сервиса. Нам хочется поделиться новостью, но не в форме сухого пресс-релиза. Поэтому мы решили рассказать о том, как устроен АнтиСпам в Почте@Mail.Ru, и конечно — с удовольствием ответить на ваши вопросы. Итак…

Архитектура антиспама Mail.Ru


Собственный антиспам в Mail.Ru существует уже много лет. Желание разработать собственный продукт вполне объяснимо, т.к. на определенном этапе развития проекта требования к качеству и масштабируемости механизма борьбы со спамом стали слишком велики, чтобы их могли удовлетворить даже очень сильно кастомизированные «чужие» продукты. Конечно, какие-то сервисы и компоненты независимых поставщиков мы используем по-прежнему (например, для проверки писем на вирусную составляющую), но их роль сейчас уже не является определяющей.

Требования к нашему собственному антиспаму были очень понятными и логичными — максимальная скорость и точность срабатывания. Конечно, предела совершенству нет, отношения спамеров с их противниками представляют собой вечную борьбу щита и меча. Но сейчас мы уже с уверенностью можем говорить, что серьезно продвинулись к заветной цели и продолжаем наращивать «обороты».

Итак, как он выглядит и работает — современный антиспам Почты@Mail.Ru?

Прежде всего, еще на «подходе» к почтовым серверам все отправители проверяются по базе IP-адресов, замеченных в спам-рассылках. База динамически обновляется в режиме реального времени: одни IP «обеляются», другие попадают в «черный список». Соответственно, письма с IP-адресов с «подмоченной» репутацией не принимаются — таким образом нам удается отсечь большинство ботнетов.

Если IP отправителя нет в черном списке, то письмо принимается сервером и проходит проверку двумя системами антиспама: Kaspersky Anti-Spam (или коротко KAS) и разработанной в Mail.Ru системой фильтрации спама — MRAS (Mail.Ru Anti-Spam). Эти две системы всегда работают параллельно.

Название MRAS фигурирует, в частности, в служебных заголовках практически каждого письма, проходящего через почту Mail.Ru. Например, заголовок «X-Mras: Ok» говорит о том, что в данном письме не обнаружены спам-сигнатуры.

При выборе архитектуры MRAS мы воспользовались наиболее распространенным подходом: сбор образцов спам-писем, их анализ и генерация сигнатур. Если говорить упрощенно, то сигнатура — это кусок значимой информации в письме: номер телефона, ссылка, характерная фраза или ключевое слово и т.п. Оценка письма в MRAS производится по сигнатурам согласно простой логике: если в письме присутствуют сигнатуры, характерные для спам-рассылок — скорее всего, это письмо является спамом.

Отдельно стоит отметить систему распознавания графического спама. Каждая картинка, приходящая в письме, анализируется и также раскладывается на сигнатуры, которые участвуют в принятии решения. Например, антиспам уверенно определяет номера телефонов и адреса сайтов, написанных графически, причем алгоритм работает даже с искаженными и зашумленными изображениями.

Помимо сигнатур в MRAS существуют так называемые правила, описывающие более сложную логику. С помощью правил в MRAS можно создавать фильтры, учитывающие множественные признаки сообщений, включая служебные заголовки, параметры изображений, формат или паттерны ссылок, частотные и репутационные характеристики любой сущности в сообщении и т.д.

Когда мы выбирали движок для имплементации правил, обсуждались различные варианты. Основными требованиями были: высокая производительность, гибкость синтаксиса и легкая расширяемость. Обнаружили, что вышеперечисленным условиям соответствовал встраиваемый интерпретатор языка Lua. В результате мы получили мощный и гибкий инструмент, который пригодился не только для создания правил. Сейчас с помощью Lua-скриптов в MRAS реализуется значительная часть бизнес-логики, например, механизмы парсинга изображений и частотных шинглов, различные репутационные механизмы.

Откуда MRAS узнает о спам-рассылках?


Существует несколько источников образцов спама для MRAS. Основным источником являются жалобы пользователей, нажимающих в веб-интерфейсе почты кнопку «Это спам». Они группируются, проходят автоматическую фильтрацию и затем поступают в систему принятия решений.

Еще одним из важнейших источников являются ящики-ловушки — специально зарегистрированные и «засвеченные» в Интернете ящики, куда попадает только спам. Внешне они выглядят как ящики обычных пользователей — это могут быть аккаунты в Моем Мире и других социальных сетях, сообщения на форумах и в гостевых книгах и т.п. Недобросовестные рассыльщики, собирающие базу адресов по Интернету, с высокой долей вероятности зацепят несколько «ловушек» — и когда на них придет письмо, оно наверняка послужит основной для спам-сигнатуры.

Наконец, на третьем этапе находится группа аналитиков Почты@Mail.Ru, которые в режиме 24x7 в реальном времени анализируют полученные от пользователей жалобы на письма, возможно являющиеся спамом, контент ящиков-«ловушек» и т.д.

Далее — что происходит с письмом на выходе из MRAS? Проработав значимые сигнатуры писем, на выходе MRAS дает письму финальную оценку, которая может принимать одно из трех значений:
  1. письмо не спам
  2. письмо, возможно, является спамом
  3. письмо точно спам.
Такие же оценки выдает KAS. Если обе антиспам-системы считают письмо хорошим — письмо отправляется в папку «Входящие», если одна или обе системы пометили письмо как возможный спам — то в папку «Спам». Если хотя бы одна из систем уверена, что письмо — спам, то такое письмо не попадает к пользователю, а отправителю уходит сообщение о недоставке (bounce message).

Важно отметить, что эта же система обрабатывает и исходящие письма с серверов Mail.Ru. Так что если пользователь пытается отослать спам-письмо, ему приходит извещение о том, что послание не может быть отправлено.

Интересно отметить, что MRAS проверяет письмо не только на входе, но и через некоторое время после того, как оно попало в пользовательский ящик — это связано с тем, что новые данные о спам-рассылках могли изменить ситуацию и, соответственно, мнение системы. Поэтому если в тот момент, когда письмо обрабатывалось MRAS, оно не определялось как спам-рассылка, а через несколько минут — уже определилось, MRAS перекладывает письмо из «Входящих» в папку «Спам». Естественно, это происходит строго до того, как пользователь зашел в папку «Входящие» и увидел письма.

Все, что было сказано выше, составляет автоматическую систему фильтрации спама, которая работает для всех пользователей. Однако у разных пользователей разные предпочтения, поэтому недавно мы внедрили индивидуальную (персональную) составляющую спам-фильтрации.

Что нового?


Не секрет, что с массовым распространением социальных сетей, онлайн-игр, интернет-магазинов и прочих сервисов, активно общающихся со своей аудиторией посредством электронной почты, в ящиках пользователей начали скапливаться горы различных уведомлений. И проведенные нами исследования показывают, что для современных пользователей спам — уже далеко не только массовая рассылка про «печать визиток», «гринкарты» или «увеличение самизнаетечего». Спамом люди считают любое нежелательное письмо, будь то надоевшая рассылка с непрозрачной отпиской или давно неинтересный интернет-сервис, который с завидной регулярностью попадает во «Входящие».

Согласно внутренней статистике Mail.Ru, пользователи ежедневно получают по несколько десятков разнообразных рассылок от социальных сетей, магазинов и интернет-сервисов. Продвинутый пользователь легко избегает скопления рассылок во «Входящих» с помощью фильтров или черных списков. Для того чтобы облегчить жизнь всем остальным пользователям, мы внедрили персональный антиспам.

Теперь любой пользователь может в один клик раз и навсегда избавиться от надоевшей рассылки интернет сервиса, соц.сети или магазина — т.е. вполне легитимных сервисов. Достаточно выделить одно ненужное письмо и нажать кнопку «Это спам», после чего все письма от этого отправителя будут приходить уже в папку «Спам». И конечно, это не повлияет на доставку писем другим пользователям, речь в данном случае идет о сугубо индивидуальной настройке антиспам-механизма «под себя».

Кстати, у кнопки «Это спам» есть антипод, без которого механизм персонального антиспама был бы не полным. Кнопка «Это не спам», доступная для писем из папки «Спам», позволяет переместить во Входящие письмо, попавшее в Спам по ошибке и «обелить» адрес отправителя. В дальнейшем все письма от этого отправителя будут поступать во Входящие.

Разумеется, в реальности все несколько сложнее. При формировании индивидуальных черных и белых списков мы учитываем не только адрес отправителя, но и другие параметры письма. В противном случае, мы бы сделали слишком приятно отправителям спама, подделывающим заголовок From ;)

И конечно, кроме пополнения индивидуальных спам-фильтров, нажатия кнопок «Это спам» и «Это не спам» используется и для обучения общего антиспама. Так что, нажимая эти кнопки, пользователь делает лучше не только себе, но и всем остальным пользователям.

Интересные факты и цифры


Первые же дни после запуска персонального антиспама показали, что эта фича здорово упрощает жизнь пользователей. Уже к концу первой недели работы персонального антиспама в спам стали отправляться более 1 000 000 писем в сутки — и конечно, в основном это уведомления от соцсетей.

Нам было интересно проанализировать, какие еще письма пользователи отправляют в «Спам». Вот как выглядит распределение:



Кстати, как и следовало ожидать, кнопку «Это не спам» пользователи нажимают в 10-20 раз реже, чем «Это спам».

И наконец… как отправлять почту ;)


Многие из вас имеют прямое отношения к веб-разработке и, так или иначе, отправляют письма своим пользователям. Чтобы ваши письма доставлялись надежно, мы сформулировали рекомендации для отправителей. Их выполнение, конечно, не строго обязательно, однако делает мир лучше ;) Рекомендации общего характера лежат по адресу http://help.mail.ru/mail-help/rules/general, а более конкретные технические требования — по адресу http://help.mail.ru/mail-help/rules/technical.

Главная задача почты — доставлять письма своим пользователям. Поэтому мы старательно боремся с ложными срабатываниями антиспама, когда они возникают. Если ваши письма не доходят до пользователей — пишите на abuse@corp.mail.ru. Для того чтобы разобраться в проблеме, нужно приложить полную копию письма, которое вы отправляли (со всеми служебными заголовками), а также ответ о недоставке (тоже полностью).

Особенное внимание хочется обратить на механизмы, которые призваны компенсировать недостатки протоколов передачи электронной почты. Речь идет об указании корректных записей SPF и особенно о подписывании каждого сообщения с помощью DKIM, о котором не раз писали на хабре.

По сути, если все честные отправители будут использовать эти подходы — мировая ситуация со спамом радикально улучшится. Поэтому призываем вас скорее внедрить эти технологии, тем более что настроить это достаточно просто (вот например, документация для настройки DKIM в exim или одна из реализаций DKIM для postfix).

Сергей Мартынов,
Руководитель Почты@Mail.Ru
Автор: @smart

Комментарии (90)

  • +18
    Не знаю как сейчас, но однажды сделал ящик на mail.ru — количество спама было выше всех мыслимых пределов, при том что даже не светил нигде адрес.
    • +9
      Мне спам вообще не сыплется уже несколько лет. Адрес засвечен везде, где только можно.
      • +8
        Давно перешёл на GMail, но в ящик на Mail.ru иногда захожу. За последний год всего два спам-письма не попало в папку спама. Вот раньше — лет пять или шесть назад — он действительно часто приходил.
    • +2
      Хороший аккаунт, вроде vasya@mail.ru и засвечивать не надо — базы спамеров не только собираются краулерами, но и создаются по словарям.

      Кроме того, аккаунт мог быть засвечен вашим предшественником. Который потом забыл про ящик, его удалили, а тут вы — хоп! — и зарегистрировали его по новой.
      • 0
        Насколько я знаю, @mail.ru не удаляет ящики.
        • +1
          Раньше удаляли, с прошлого года не удаляем.
          • +1
            Просто когда только освоил интернет, плодил ящики по причине забытого логина и пароля. Потом вспоминал :). Так появлялось много ящиков. Но вы их не удаляли.
            • 0
              2 раза перерегистировал один и тот же ящик. т.е. всего 3 реги и 2 удаления.
          • 0
            У моей жены удалили и отдали другому пользователю.
          • 0
            эдак интернет скоро переполнится говнами, если ничего не удалять…
            • +3
              Он уже ими переполнен.
              • 0
                при это почти никто не спешит это удалять.
          • 0
            Не к месту но все же давно хотел задать вопрос, был у меня один ящик очень давно потом его удалили и сейчас я вспомнил про него и хотел востановить но система мне не дает его зарегать т.к. больше не разрешается регать трехбуквенные, а он был трехбуквенным (не те три буквы). Есть у меня какието шансы востановить ящик?
            • 0
              Боюсь, что нет — все трехбуквенные комбинации давно зареганы :( Тут как с доменами — наверняка Ваш ящик кто-то перехватил сразу после его освобождения.
    • 0
      Думаю, что это с Вами было года 3-4 назад? В последние 2 года фильтрация спама на Mail.Ru очень приличная (а с недавних пор еще лучше ;)
      • 0
        Да, где-то так, года три назад.
      • 0
        лучше :(
        «саппорт-мыло» моего форума довольно давно попало под спам фильтр, писал в ваш саппорт, прикрепляя требуемые копии писем, ответили 1 раз — попросили прислать еще один пример письма, которое блокирует спам-фильтр. Ну я прислал, с запасом. Результата не было. Последующие мои письма были проигнорированы.
        Печально как-то
        • +1
          А скажите мне, пожалуйста, номер заявки в саппорт — я разберусь.
    • 0
      попробуйте то же самое проделать с ящиком на qip.ru (бывший pochta.ru/hotbox.ru) ;-)
  • 0
    Похоже появился повод хоть раз зайти на почту через веб-интерфейс.
    • +1
      Заходите почаще, постараемся давать такие поводы регулярно ;)
  • +2
    В небольшём проекте на php посылаю подтверждение о регистрации методом mail(). Письма везде доходят, кроме mail.ru. Как сделать чтобы письма доходили?
    • +2
      Собственно, этому вопросу и посвящен последний раздел поста.

      Прежде всего надо понять, почему не доходят. Если письмо не принимается, наш сервер ответить обоснованным отказом, типа «spam message rejected» с закодированными подробностями. Вот эту строчку, вместе с письмом со всеми заголовками и надо прислать на abuse@corp.mail.ru, чтобы мы смогли вам ответить.
      • 0
        Аналогичная проблема была (где-то год-полтора назад). Пытался посылать на abuse, и не один раз. Ответ всегда один и тот же: «если ваше письмо не дошло, пошлите письмо от адреса отправителя на ящик abuse@corp.mail.ru».
        • 0
          Да, год-полтора назад все было не так гладко. Теперь намного лучше — пишите смело, служба поддержки сейчас сильная (о ней как-нибудь тоже на хабре напишем).
  • +5
    Господа, mail.ru — верните мой почтовый ящик, который оказался закрытым спустя 2 года не использования. Там письма, которым 8 лет. История как никак. А ваш саппорт — не адекватен (могу показать переписку за последние 4 года).
    • +4
      Верните мне мою свинью девятого уровня!!!
    • +1
      можно с кем-то связаться, более адекватным, чем ваш робот?
      • 0
        ВЫ — ШЕСТЬ-ДЕСЯТ-ДЕ-ВЯТЫЙ В ОЧЕРЕДИ.
        ВАШ ЗВОНОК ОЧЕНЬ ВАЖЕН ДЛЯ НАС, ПОЖАЛУЙСТА, ОСТАВАЙТЕСЬ НА ЛИНИИ.
        • 0
          Надеюсь, скоро опубликуем пост про работу саппорта — тогда вы узнаете, какие объемы он обрабатывает и какого размера на самом деле очереди ;)
          • 0
            объёмы-то я и сам представляю. больше интересно, как вы с ним справляетесь (если справляетесь).
            и как разруливаете ситуацию
            — программисты в понедельник напрограммили баг, при тестировании пропустили
            — во вторник баг выложился на боевые сервера
            — в среду утром у поддержка K тысяч сообщений, из которых 5% — нормальные обычные письма, которые нужно обрабатывать обычным образом, и 95% — сообщения об ошибках, угрозы и оскорбления, связанные, вероятно, с тем, что пользователь наткнулся на баг и расстроился.
            как вы эти K тысяч разгребаете? «а можете автоматически всем ответить и пометить всё как прочитанное», или что-то более хитрое?
            • 0
              Ну смотрите, если баг действительно критичный (не дает использовать почту по назначению), то с нашими масштабами это понятно в первые же минуты, поэтому программисты его правят не «в среду», а сразу же, пока не исправят (а на это время все боевые сервера обычно откатываются до предыдущего состояния). В любом случае, саппорты успевают разгрести даже сильно увеличенный поток почты, поскольку опеределить причину бага и вставить ответ не долго (долго — разобраться в нетипичной проблеме, выяснить у пользователя все подробности, научиться воспроизводить проблему).
              • 0
                баг не критичный, но заметный.

                м… попробую на вашей почте привести пример: перестал работать функционал кастомных папок, и все письма стали показываться во входящих. поскольку вы, конечно, кэшируете все что можно, то и кастомные папки тоже лежат в кэшах. до истечения срока кэширования ни вы, ни пользователи ничего не замечаете. но через какое-то время начинаете замечать. ещё какое-то время фиксите. ещё какое-то время тестируете и накатываете апдейт. за это время (а это несколько часов в лучшем случае) о проблеме сообщило уже большое количество пользователей. грубо говоря, за последние сутки вы получили недельный или двухнедельный объём сообщений.

                как вы обработаете двухнедельный объём сообщений? и если саппорта достаточно, чтоб обрабатывать такой объём, то чем занимается саппорт в остальное время — работает на 10%?
                надеюсь, что понятно описал. меня в самом деле это интересует.
                • 0
                  Ну опять же, время на «разгребание» такого однотипного потока сильно меньше, чем на ответ на разнообразные жалобы. Тут достаточно классифицировать проблему и дать шаблонный ответ «да, у нас проблема, извините, чиним» — сотрудник может сделать это буквально за пять-десять секунд. Соответственно, саппорт разгребет весь поток этих заявок, возможно не так быстро как обычно, но в разумные сроки. В любом случае, каждая заявка пройдет через «человеческие руки», потому что у саппорта задача — на каждую заявку дать корректный ответ (и чего-то типа кнопочки «автоответ» у них сознательно нет).

                  Но вообще — лучше все эти вопросы задать руководителю саппорта в комментах к посту про саппорт, который он скоро опубликует.
                  • 0
                    ну в целом понятно, спасибо.
  • +3
    У меня есть ящик на mail.ru, используется при регистрациях на левых сайтах. Почта с него собирается на gmail. Так вот. Всё, что появляется в папке «спам» гмыла идёт с ярлыком "***@mail.ru". Основной (gmail) ящик так же засвечен много где. Спам падает от силы 1-2 письма в неделю.
  • +1
    Ну работы вы мне задали…
  • +2
    среди спецов репутация почты от меилру давно подмочена.
    • +5
      Не важно, что было давно — важно, что сейчас Mail.Ru становится лучше.
      • 0
        Рекламу сократить не хотите (не вы, конечно, корпорация) в интерфейсе почтового сервиса?

        И кегль увеличить, а то все как-то мелковато…
    • +2
      Откуда такие сведения, и где Вы взяли таких «спецов»? У меня от сервиса mail.ru только положительные эмоции — лет 10 уже пользуюсь. Года 3..4 назад спам появлялся, но сейчас не припомню случая, чтобы пришел настоящий спам. И не бывало ни разу, чтобы мое письмо не прошло из-за спамореза. Просто поражаюсь такому качеству антиспама, так как работал раньше сисадмином и боролся со спамом на корпоративном почтовике кустарными методами (с фильтрами, черными и белыми списками и прочей шнягой). Респект, mail.ru.

      Единственное, по поводу чего можно слегка поворчать — иногда есть тормоза при отправке письма или при попытке его прочтения. И бывают (последнее время очень редко) неполадки с доступностью веб-морды почтового сервиса.
  • 0
    Хз, что у вас там за антиспам, может он и фильтрует чего то, но спам приходит регулярно (И кнопка «Это спам» — не помогает).

    Gmail в этом плане получше.
    • +3
      Как обладатель ящика antigona(!)gmail.com c 2005-го года могу сказать вам точно «gmail получше» только для людей с более-менее «русскими» адресами вроде misha.vasyliev@…

      antigona — какой-то распространенный ник в испаноязычном мире… и я такого вала спама, как в gmail никогда в жизни не видела ни в одной почте мира (по роду службы имею ящики во всех популярных сервисах).

      ящик на гмыле я практически не использую и нигде его особо не светила, но он просто трещит от спама на испанском языке (ну и на английском есть, конечно)

      clip2net.com/clip/m5539/1306952748-clip-101kb.png — вот скриншот, это примерно за 2-3 дня инбокс.
      • 0
        без дат трудно оценить масштаб
  • 0
    можно посоветовать?…

    В общем папку «Спам» в таком случае стоит наверное сдвинуть пониже — пользователи реже будут заглядывать туда

    • 0
      Да, спасибо. По секрету скажу, что такой вариант расположения папок уже в тестировании ;)
      • +1
        Забавно, что у меня в ящике аж две папки «Спам» =). Одна Спам — моя (она появилась раньше), куда сыплется шлаковая почта (не спам, рассылки, просто постоянно её читать нет необходимости — например от софткея). Другая папка Спам — «системная» от mail.ru, там должен быть настоящий спам. Обе папки мирно себе живут, и не мешают друг другу.
  • 0
    интересно почему в качестве ловушки не используется информация о большом количестве одинаковых писем приходящих разным пользователям, скажем тысяч 10 одинаковых писем явно является спамом?
    • 0
      Фактор массовости конечно используется, но не так просто — иначе, например, рассылки Групона и других купонных сервисов никогда не доходили бы.
      • 0
        ну таких как групон то можно в белый список добавить.
        • 0
          Ну, например, у меня вот не Групон совсем, однако есть легальная рассылка почти на 400000 адресов, из которых бОльшая часть — на мейл.ру.
          Подозреваю, что таких много.
          • –1
            а для таких сделать специальную форму на включение в белый список
    • +1
      Потому что в масштабах базы mail.ru 10000 пользователей вполне могут получить идентичные легальные письма? От любого клона групона, например.
  • +5
    Я скептически отношусь к mail.ru вообще, но всё равно большой вам поклон за то, что не используете SBL спамхауса.
  • +3
    Да уж, пришлось повозиться с рассылкой, особенно с DKIM и SPF,
    зато при учете всех рекомендаций приятно видеть в заголовках писем своей рассылки, доставленной на мейл.ру, строки:
    X-Spam: Not detected
    X-Mras: Ok
    :)
  • 0
    Интересно, что мне уведомления с Хабра попадают в папку Входящие, но с пометкой в теме [?? Probable Spam]
    • 0
      Это не мы :) В том смысле, что Mail.Ru тему письма не модифицирует (только свои заголовки добавляет) — это у Вас какой-то свой антиспам работает. Может стоит Касперский с модулем проверки почты. Если покажете заголовки, можно подробнее разобраться.
    • +3
      Собственно да, это наверняка Ваш локальный (или корпоративный) Kaspersky — вот подтверждение
      • 0
        Вы правы. Пообщался с нашими админами, они подтвердили, что антиспам — прерогатива Касперского.
  • 0
    > Соответственно, письма с IP-адресов с «подмоченной» репутацией не принимаются — таким образом нам удается отсечь большинство ботнетов.

    А заодно и много других, вполне доброкачественных почтовых серверов.
    Ну то есть понятно, что «mail.ru — национальный e-mail сервис», но бывает неприятно обнаружить, что письма от сервиса заказа e-ticket на самолет из Индии, который нужен завтра утром,, как и вообще все письма с адресов в Индии не приходят на mail.ru.
    • 0
      Несколько месяцев назад мы радикально зачистили все черные списки IP-адресов, фактически начали их собирать с нуля — именно для того, чтобы исключить накопившиеся ошибки. Более того, сейчас бан по IP не вечен, а действует ограниченное время. Но конечно, ошибки все равно иногда бывают, поэтому если обнаружите такие случаи — сообщайте, пожалуйста.

      Ваш пример с Индийскими самолетами — давно это случилось?
      • 0
        Да, довольно давно, в 2008-м, но был неприятный сюрприз (пару раз повторившийся с другими такими же «экзотическими странами»), и просто с тех пор стараюсь в критичных случаях и для зарубежной почти использовать gmail, если эта проблема решена сейчас, то было бы просто отлично, потому что я клиент mail.ru практически с первого года его существования, и, за исключением отсутствия шифрованного pop3/smtp как у gmail, он меня всем устраивает.
  • 0
    ну почтового спама действительно стало меньше — чего не скажешь про объемы спама в ваших других сервисах — будь то Mail-агент или проект «Мой мир» — тут спам приходит периодически и всякий разный…
  • +1
    Вот оно в чем дело.
    Наши письма с предложением подтвердить емейл при регистрации попадают в папку спам на мейл.ру
    Высылали вам письмо, которое попало в папку спам.
    Письмо, которое отправлялось роботом выслать не можем.
    И после этого ваша техподдержка пишет, что письмо проходит все спам фильтры. И как быть в такой ситуации?
  • +12
    Подскажите, пожалуйста, как ваша служба борется вот с такими вот спамовыми сообщениями:

    Мелехов Цветаев предлагает Вам создать свой собственный Мир на проекте Мой Мир@Mail.Ru.

    В своем Мире Вы сможете рассказать о себе и показать себя, найти старых друзей, завести много новых, а главное, всегда быть в курсе всего, что с ними происходит.
    Теперь на проекте Мой Мир@Mail.Ru можно искать одноклассников, однокурсников и бывших коллег по работе.

    Создать свой Мир и найти старых друзей.

    Став друзьями с Мелехов Цветаев, Вы всегда будете на связи и получите дополнительные возможности для общения. Принять или отклонить предложение дружбы.

    С уважением,
    администрация проекта
    Мой Мир@Mail.Ru


    От разных людей с выдуманными фамилиями вроде Динар Толошинова или Рюрик Чичиков, Сократ Орлянская, Гакиль Самохина, Валери Скрипочкина… (я могу продолжать очень долго), в почтовый ящик на mail.ru постоянно приходят предложения создать собственный Мир на проекте Мой Мир, и воспользоваться этим новым уникальным предложением.

    Причем и вы и я прекрасно понимаем, что никаких Мелехов Цветаев в природе не существует — это спам-боты, призванные заманить пользователя mail.ru зарегистрироваться в проекте Мой Мир.

    Попадают ли фразы «показать себя, найти старых друзей, завести много новых, а главное, всегда быть в курсе всего, что с ними происходит» в сигнатуры, характерные для спам-рассылок, а если нет — то почему?
    • 0
      Мне пару раз на gmail приходили такие письма от имени реальных людей, которых я знаю.
  • +3
    Собственный антиспам в Mail.Ru существует уже много лет
    Очень грамотная формулировка. Существует. Но не работает, своих функций не выполняет и бесполезен.
  • +1
    От спама то вы «защищаете», вот только подбрасываете гадостей по хуже в виде Mail Guard.
  • 0
    Ситуация со спамом на Маил.Ру значительно улучшилась последнее время, весь спам летит в свою папку.

    Но тем не менее, с учетом ближайшей истории, когда спамом все было просто загажено, и в целом политикой компании «фигачим свои инструменты везде, где только пользователь не заметит»(Зачем мне Mail guard? зачем мне ваш поисковик? зачем вы мне на стартовой? зачем ваш агент пытается сам качать обновления\смотреть погоду? зачем мне «Мой мир»?), для меня Маил.Ру остается худшей компанией.
  • 0
    Радует, что они до сих пор удаляют неиспользуемые ящики (в течение периода составляющего более 3 (трех) месяцев). Держать там ящик просто опасно, куда уж там… проблемы со спамом. Ну и да, интерфейс говно, реклама и прочий хлам. Удивительно, как сервис со звучным именем mail.ru занимается всем, кроме своего предназначения.
    • 0
      Это не так. Удаление ящиков было отключено в прошлом году.

      В пользовательском соглашении, конечно, есть строчка про то что сервис оставляет за собой право удалять неиспользуемые ящики — но это для перестраховки (у большинства почтовых сервисов тоже так написано).
  • –1
    хуже почты от Mail.ru только почта от QIP.ru
    из бесплатных e-mail сервисов в Рунете больше всего нравится Яндекс, думаю не надо объяснять почему
  • +1
    Рассказываю сказку со счастливым концом.

    У одного интернет провайдера было порядка 50k почтовых ящиков, провайдер был хорошим, добрым и справедливым, но он разрешал отправлять почту через свой сервер только авторизованным пользователям.

    И однажды случилось непоправимое злобный вирус украл пароль от одного из ящиков пользователей и разослал немножко спама,

    Провайдер пользователя отключил, но было поздно провайдер попал во все черные списки.

    Инженеры провайдера выписались из всех списков за 4 часа, но был один популярный почтовый сервер который все никак не хотел получать от провайдера письма.

    Через форму выписки добрый провайдер 20 раз пытался связаться с тех. сапортом, но была пятница и никто кроме эха ему не отвечал.

    Все выходные не было слышно не звука и только в понедельник в 12 часов по местному времени служба поддержки человеческим языком спросила о принятых мерах в отношении спамера.

    После того как добрый провайдер сказал, что пользователя расстреляла кровавая гэбня и предоставила все фото материалы по этому делу, популярный почтовый сервер начал принимать от доброго провайдера почту.

    Четверо суток. Нет не так. ЧЕТВЕРО СУТОК У… КИ ИЗ mail.ru не принимали от нас почту.

    Назовите мне еще хоть одну контору которая в 2011 году вручную правит черные списки?

  • 0
    Мой домашний IP в Австралии заблокирован на всех сервисах mail.ru. Отлично работает ваш антиспам.
    • 0
      Скажите, пожалуйста, свой IP (можно в личку)
  • –1
    > Если хотя бы одна из систем уверена, что письмо — спам, то такое письмо не попадает к пользователю, а отправителю уходит сообщение о недоставке (bounce message).

    Я надеюсь вы упрощаете? И на самом деле вы проверяете этими двумя системами на этапе приема, через milter, чтобы сразу давать отправителю ошибку 4xx или 5xx, а не генерите баунсы на адреса ничего не подозревающих пользователей, которыми спамеры представляются?
    • 0
      Да, конечно проверка происходит синхронно, во время smtp-сессии, с отдачей соответствующей ошибки.
  • 0
    Объемы спама в общем трафике вообще радуют конечно — сделал ящик на своем домене, куда все письма складываются пришедшие на несуществующие адреса (моего домена) — сейчас каждую минуту приходит 5-7 писем спама %-( На данный момент в папке «спам» 89000 писем!!! во входящие пробились 3000!!! Это феерический ппц, я считаю.
  • 0
    Это понимаю как отчет так сказать?
    А как мейлру борется со спамом в трансляциях, и как обстояит борьба со спамботами в голосованиях для фото?
  • 0
    Только из этой статьи узнал что на мейл.ру есть антиспам! Спасибо авторам…
  • +1
    MRAS — понравилось название:)
  • 0
    Однажды, когда письма с одного из серверов САЛ (rol1.design.ru) перестали приходить к пользователям наших клиентов (достаточно крупным) имеющим почту на mail.ru (даже в спам не попадал), мы неоднократно писали в компанию по этому поводу.

    Результат — ноль.

    Всегда ответ был один и под кальку.

    From: Support mail.ru [mailto:support@corp.mail.ru]
    Sent: Friday, November 20, 2009 11:50 AM
    To: *******
    Subject: Re: [Ticket#2009111921018433] не доходят письма

    Здравствуйте.

    Напишите, пожалуйста, что происходит при попытке отправить письмо?
    Пришлите полный текст выдаваемой ошибки.
    Укажите также Ваш IP-адрес, с которого Вы посылаете письма (и еще IP-адрес
    SMTP-сервера в случае, если вы не пользуетесь smtp.mail.ru).

    С уважением, Дарья Ф.
    Служба поддержки пользователей
    почтовой системы Mail.ru
    При ответах, пожалуйста, полностью цитируйте переписку.

    Для отправки запросов в Службу поддержки используйте специальную форму:
    www.mail.ru/cgi-bin/support

    Для повышения качества работы службы поддержки пользователей почтовой
    системы Mail.Ru предлагаем Вам принять участие в опросе
    win.mail.ru/cgi-bin/supportmark?Time=20.11.2009-11:50&Email=ag@*******.ru

    > Здравствуйте!
    >
    >
    >
    > Мы столкнулись с проблемой: при регистрации в торговой системе нашего сайта
    > www.*******.ru письма, отправляемые
    > регистрирующимся пользователям, не доходят ни на один адрес на mail.ru.
    >
    > При этом ни с одной другой почтовой службой таких проблем нет.
    >
    >
    >
    > Как можно разобраться с этой проблемой?


    Потом, им был отправлен ip-адрес нашего почтового сервера и куда прочей информации.

    Однако, Дарья Ф. (видимо это такой ансвер-робот), отвечала почти так же.

    От кого: Support Mail.ru <support@corp.mail.ru>
    Дата: 18 февраля 2010 г. 20:27
    Тема: Re: [Ticket#2010021821130676] Пропажа писем / не дошли письма — *******@mail.ru
    Кому: ******* <*******@mail.ru>

    Здравствуйте.

    Обязательно проверьте настройки фильтров и черного списка в соответствии с
    нашими рекомендациями — www.mail.ru/pages/help/121.html,
    www.mail.ru/pages/help/122.html.
    Обратите внимание, если Вы внесете в черный список значок "." — (точка),
    "*" — (звездочка), < или >, то совсем перестанете получать какую-либо
    почту!
    Если отправителям приходили сообщения о недоставке — попросите их прислать
    нам полные тексты таких сообщений.
    Если сообщений о недоставке не приходило — это означает, что сервер
    отправителя не может доставить нам письмо по причине проблем на сервере
    отправителя.

    С уважением, Дарья Ф.
    Служба поддержки пользователей
    почтовой системы Mail.ru
    При ответах, пожалуйста, полностью цитируйте переписку.

    Для отправки запросов в Службу поддержки используйте специальную форму:
    www.mail.ru/cgi-bin/support

    Для повышения качества работы службы поддержки пользователей почтовой
    системы Mail.Ru предлагаем Вам принять участие в опросе
    win.mail.ru/cgi-bin/supportmark?Time=18.02.2010-20:25&Email=*******@mail.ru


    Номера тикетов (для читающих от mail.ru) — 2009111921018433, 2010021821130676.

    Надеюсь, ситуация когда-нибудь изменится.
    • 0
      Ситуация уже изменилась. За последний год мы серьезно реформировали службу поддержки, увеличив численность и повысив оперативность и качество ответов. В последние месяцы такого неадеквата уже не происходит, с проблемами недоставки разбираемся особенно внимательно. Если вдруг саппорт не поможет решить проблему — пишите мне, разберемся!
      • 0
        Ок.
  • 0
    вообще, довольно удивительно, как нормальные ребята расскзаывают о том, что и как они делают, и как оно у них устроено, а в ответ получают «а ваша техподдержка год назад меня обидела, вы все козлы ненавижу вас». не хабрахабр, а форум обиженных пользователей какой-то.
    • 0
      Сложно менять мнение общественности. Сложно, но можно — особенно когда это не голословно, а подкреплено реально проделанной работой, движением к лучшему. Для меня, например, пока каждый пост в блог Mail.Ru стоит нескольких пунктов кармы — но я уверен, что скоро ситуация изменится на обратную ;)
  • 0
    Здравствуйте,

    Спасибо за статью, но остались вопросы.

    У нас свой SaaS-сервис CRM с помощью которого владельцы интернет сайтов могут настроить автоматический прием платежей с использованием всевозможных способов оплаты.

    Сервис так же позволяет осуществлять email рассылки по клиентам.
    — В каждом письме есть ссылка на отписку от рассылки
    — Есть подписи DKIM и SPF
    — В мета данных стоит признак массовой рассылки bulk
    — Если человек подписывается на рассылку, то ему необходимо подтвердить свой email и только после этого он попадает в подписку

    Одна из последних рассылок клиента большой частью угодила в СПАМ (по данным postmaster.mail.ru)
    Первый ответ который удалось получить от вашей технической поддержки:
    __________________
    В присланном Вами образце цитируется спам. Отправить\переслать такой
    образец можно только в запароленном архиве (zip, rar и т.п.).
    Обращаем Ваше внимание, что Ваш почтовый адрес не блокируется нами.
    Блокируется только конкретное сообщение.

    Отправка писем, содержащих спам или его цитирование, возможна только в
    запароленном архиве.
    __________________

    Вопросы:

    1. Можем ли мы как-то автоматически с помощью вашего API проверять является ли созданное пользователем письмо на отправку СПАМом, и если окажется что один из наших клиентов пытается отправить СПАМ, просто не давать осуществить рассылки и не портить репутацию наших серверов?

    Я видел подобный функционал на некоторых сервисах массовых рассылок и нам бы он очень пригодился.

    2. Как мы можем проверить находится ли один или несколько из наших серверов рассыльщиков в базе IP-адресов, замеченных в спам-рассылках?

    3. Если один из наших серверов попадет в СПАМ лист, как мы можем узнать причину попадания в данный список с целью устранения недочетов?

    У нас большие планы по развитию нашего сервиса и его возможностей и уже в следующем месяце мы переводим на него наш основной проект (это около 150 000 email адресов) с сервиса SmartResponder.ru.

    В течении некоторого времени переведем проекты наших партнеров (это несколько миллионов email адресов).

    А так как почтовые адреса от mail.ru составляют не менее 30% всех контактов (судим по нашему проекту), то нам важно максимально плотное сотрудничество с вами. Мы против СПАМа и готовы предоставить все необходимые данные по нашим серверам, заключить, если это нужно, договора и т.д. с целью максимального уменьшения вероятности отправки СПАМа с наших серверов и максимального повышения процента доставляемости писем.

    Можно ли наладить подобное сотрудничество?

    Вот сайт нашего проекта: autoweboffice.com/

    • 0
      Здравствуйте. Давно это было, но постараюсь кратко ответить по существу.

      Первое и самое главное — если вы еще не зарегистрировались на postmaster.mail.ru/ — сделайте это скорее. Там вы увидите очень ценную статистику для отправлений с ваших доменов.

      Далее, отвечу на вопросы:

      1. Уверен, что ни один почтовый сервис не позволяет (и не позволит) проверить рассылку «на спам» предварительно. Причина в том, что решение «спам/не спам» принимается не только на основе текста письма, но и на основе данных об объемах рассылки, и реакции пользователей на нее (что они делают с письмом, жалуются ли они на спам). Разумеется, поведение пользователей не предскажешь, поэтому предварительно можно проверить только частично.

      2. Ошибоно предполагать, что решение по спаму принимается на основе IP-адресов. И тем более, что решение принимается по принципу черного и белого списков. Блокировка отдельного IP бывает, но в крайне злостных случаях (как правило, блокировка временная и продолжается несколько часов). А вообще каждое письмо рассматривается отдельно, и см. ответ на 1 вопрос.

      3. Узнать о причине проблем можно несколькими способами. Во первых, как я уже сказал, postmaster.mail.ru/. Во вторых, код ошибки в SMTP-сессии — подробное их объяснение есть тут help.mail.ru/mail-help/postmaster/error. Наконец, в тексте SMTP-ошибки есть http-ссылка, по которой можно отправить обращение в службу поддержки, и они разберутся и ответят.

      Кроме того, рекомендую прочитать три раздела рекомендаций для отправителей: help.mail.ru/mail-help/rules/info
      • 0
        1. Очень жаль что нет подобного сервиса. Он бы позволил выявлять спам перед отправкой и просто не допускать подобных рассылок. С другой стороны, его можно было бы использовать и как способ поиска путей обхождения спам-фильтра… Но думаю заключение официального договора между вами и сервисами рассылок эту проблему бы решило. (вы бы знали кто проверки регулярно проверяет почту)

        Может быть вам известен механизм частичной проверки?

        2. Блокировка отдельного IP бывает, но в крайне злостных случаях (как правило, блокировка временная и продолжается несколько часов). А вообще каждое письмо рассматривается отдельно, и см. ответ на 1 вопрос.

        За эту информацию отдельное спасибо! Не знал и сильно переживал что один недобросовестный клиент может «отключить» один или несколько наших серверов рассыльщиков.

        А при условии что каждое письмо рассматривается отдельно, то вообще супер!

        3. Все описанные выше рекомендации соблюдаются.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное