Сервис Email- и SMS-рассылок
42,10
рейтинг
22 августа 2012 в 10:20

Разное → Как работает антиспам UniSender



Как сервис email-рассылок, UniSender находится на переднем краю борьбы со спамерами — желающие воспользоваться нашими возможностями для рассылки спама возникают регулярно, и нам так же регулярно приходится их отсеивать — душить, можно сказать, в зародыше, блокируя спамерские аккаунты и попытки нелегальных рассылок. Это, на самом деле, большая работа. О том, как работает антиспам UniSender, мы и расскажем в этой статье.

Главные отличия email-маркетолога от спамера


Для начала ещё раз расставим точки над «i» и определимся с понятиями свой и чужой. Спамеры отличаются тремя признаками:

1. Покупают базу вместо того, чтобы собрать её честно и самостоятельно, предлагая клиентам подписаться на то, что им интересно, и не давая возможности выбрать вариант «не подписываться».
2. Рассылают то, о чем его не просили, тогда, когда это не ждут, тем, кто этого не просил.
3. На их рассылки следует негативная реакция: многие отписываются и ставят его на место – то есть в спам. А иногда и жалуются напрямую нам.

Модерация баз почтовых адресов


Первый серьёзный фильтр на пути нежелательных рассылок – это обязательная ручная модерация базы рассылок. У нас работает собственная система, включающая в себя набор определённых маркеров, которая выявляет подозрительные адреса, компрометирующие базу. Если список адресов клиента не вызывает подозрений, то он активируется. Делается это достаточно быстро, поэтому на скорости работы «честного труженика» не сказывается.

Если же возникли какие-то вопросы или подозрения, поддержка связывается с клиентом, задаёт вопросы насчёт источников загружаемых адресов, просит предоставить данные, подтверждающие легальность их получения. Возможна ситуация, когда мы удаляем из базы адреса из «серых» источников, но пропускаем «белые».

Даже если база загруженных адресов не вызвала подозрений и была активирована, это ещё не значит, что спамер сможет спокойно сделать своё грязное дело. На этот случай в UniSender налажен второй рубеж обороны: модерация непосредственно рассылок. Большая часть рассылок от доверенных пользователей уходит автоматически. Однако те рассылки, которые кажутся подозрительными, попадают на проверку.

В первую очередь, мы проверяем рассылки, где есть новые адреса, а также рассылки, неожиданно более крупные, чем данный пользователь привык рассылать – в поисках «заложенных мин».

У нас есть два внутренних показателя, которые влияют на модерацию – условная автоматически высчитываемая «карма» пользователя, основанная на соотношении успешно доставленных, прочитанных писем, писем с переходами и количестве отписок/жалоб на спам. И устанавливаемый вручную уровень «доверия» пользователю, который уже наши эксперты выставляют на основании неформального анализа.

В случае, если от клиентов нам поступают жалобы на нежелательную рассылку, мы «подвешиваем» аккаунт и ожидаем от агента рассылки объяснений – чем вызвано недовольство клиентов. Продолжить рассылку в таком случае будет невозможно до выяснения всех причин.

Работа с почтовыми провайдерами


С крупными провайдерами, у которых есть FBL, у UniSender налажена автоматическая обработка FBL (mail.ru, AOL, Yahoo, hotmail): мы первыми узнаём, когда пользователь нажимает «Это – спам», и анализируем эту информацию. В этом случае рассылка может автоматом остановиться, не дойдя до конца. При анализе следующих рассылок модераторы увидят, что такого рода факты были в истории отправителя, и это влияет на «карму» нашего клиента, а также на решение наших модераторов.

Бывает, что нежелательной оказывается рассылка от вполне себе уважаемого клиента в результате допущенных ошибок со стороны отправителя – для этого достаточно нарушить всего несколько правил легальной рассылки. Однако в этом случае, премодерация рассылок сыграет свою положительную роль: неаккуратная рассылка может быть перехвачена ещё в процессе – таким образом, оберегая и клиентскую базу наших пользователей, ведь если получатели начали жаловаться и отписываться, то продолжать такую рассылку означает «убивать» вашу базу. В этом случае наша техподдержка сообщит маркетологу о ситуации и поможет советом.

Спам – не пройдёт


Когда наши модераторы выявляют спам, первое, что мы делаем – приостанавливаем действие аккаунта до прояснения ситуации. И в случае, если она так и не прояснится, мы блокируем базу и забаним пользователя. И такое действительно случается достаточно часто: мы регулярно баним спамерские аккаунты.

UniSender оставляет за собой право закрыть аккаунт пользователя без компенсации, если процент жалоб (то есть зафиксированных перемещений сообщений рассылки в папку «спам») от подписчиков на получение нежелательной корреспонденции превысит 0,5% от количества адресатов в рассылках (но не менее 20 человек) в течение 15 дней.

Штраф в размере 500 рублей будет наложен на спамера за каждую полученную по рассылкам клиента официальную жалобу от анти-спам организаций (SpamCop, SpamHaus и другие) в случае, если нам не будет предоставлено убедительных объяснений – почему так получилось. Правда этой последней, крайней меры мы пока что ни разу не практиковали, так как забанить аккаунт и выдворить наглеца гораздо проще и эффективней. Но и это оружие мы оставляем в своём арсенале: спамеры не пройдут!

Слишком слабые меры борьбы с контрой могут дать спамерам возможность безнаказанно пользоваться нашим сервисом, а слишком жестокие – могут отпугнуть маркетологов честных, порядочных и к жестокому обращению справедливо не привыкших. Но мы хотим вас заверить: если вы честно собираете вашу базу, и заботитесь о вашем получателе, если ваши клиенты позитивно реагируют на ваши письма – вам нечего опасаться. Для вас действует негласное правило «чоткий – заходи». Заходите и пользуйтесь всеми преимуществами сервиса, потому что для нас вы – дорогой, важный и любимый клиент. Именно для вас мы создаём и улучшаем наш сервис. Именно для вас боремся за репутацию нашего сервиса – в том числе, и в этой статье. Именно для вас на сайте работает online-поддержка, к которой можно обратиться с любым вопросом до начала рассылки: в случае, если у вас недостаточно опыта, достаточно просто задать нам вопрос.

P.S.
Больше интересных постов и полезных ссылок — на нашей facebook-странице каждый день. Like?
Автор: @andorro
UniSender
рейтинг 42,10
Сервис Email- и SMS-рассылок
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Комментарии (30)

  • +10
    Очень похоже на пиар… Не могли бы Вы добавить грязных технических подробностей в статью?
    • –2
      От этого статья станет меньше похожа на пиар?

      Технические подробности работы алгоритмов пришлось опустить по требованию поддержки UniSender, т.к. любые детали — подсказки спамерам как обойти систему. Приходится искать компромиссы.
      • +3
        От этого она будет более интересна для общества. Вы выкладываете свои списки спамеров в открытый доступ? Я так понимаю, база спамеров у Вас очень большая. Могу ли я, либо любой другой администратор воспользоваться Вашими «черными» списками?
        • +3
          Пока нет, это всё для внутреннего пользования. Но мы обсуждаем публичные антиспам-инициативы и, надеюсь, сможем порадовать сообщество ими.

          Что касается «базы спамеров», то тут не вёс так радостно. Ничего не мешает любому спамеру зарегистрироваться под любым адресом и именем — даже если мы это начнём публиковать, что это даст? «Чёрные» спамеры наделают себе новых почт и будут пытаться генерить спам и дальше.
        • 0
          Вот это было бы крайне полезно.
          • +1
            Могу пока сказать только, что мы слышим всех и учитываем обратную связь (:
      • 0
        Хорошие алгоритмы трудно обойти, многие антиспамы — вообще open-source.

        А так это просто странная пиар-статья, хотя и делающая своё дело (т.е. пиар). Нужен ли он на хабре — не знаю.
        • +1
          Статья размещена в блоге компании UniSender. Дело её очень простое: рассказать о принципах компании в отношении спама и о том, как она с ним борется.

          Что касается алгоритмов — такова позиция компании на текущий момент. Никаких технических деталей и раскрытия секретов.
  • 0
    В этом случае рассылка может автоматом остановиться, не дойдя до конца

    А какая скорость рассылки? Устанавливается она для новых и старых клиентов по разному?
    • +1
      Хорошая мысль о занижении скорости рассылки для новых клиентов, чем ниже траст-левел — тем ниже скорость. Если этого еще нет — надо внедрять.
      • 0
        Спасибо за идею, обсудим.
    • 0
      Я задал вопрос который затрагивает коммерческую тайну?
      Или «Меня не видят — это минус, но и не гонят — это плюс!»(с) Дартангав и три пса-мушкетера
      • 0
        «скорость рассылки которого превышает 1 млн e-mail сообщений в час с каждого сервера (по результатам тестирования для сообщений размером 10-20 кб). Рассылка уходит одновременно с двух десятков серверов, по которым она раскидывается по хитрой формуле для наиболее быстрой и качественной доставки без задержек»
        habrahabr.ru/company/unisender/blog/138092/

        Рассылка для всех клиентов уходит одинаково.
        • 0
          Спасибо. Прочитал 2 поста по ссылке — появились еще вопросы:
          Правильно ли я понял, что если я в «час пик» стартую свою рассылку, то скорость не гарантируется?
          Есть ли возможность получения выделенного сервера со своим IP?
          • 0
            Да, указанная выше скорость может уменьшаться в пиковые часы и если вес вашего письма превышает тестовый. Впрочем, всё равно скорость рассылки останется очень быстрой.

            Выделенных серверов мы не предоставляем.
  • +1
    У ваших серверов неплохая репутация в senderbase.
    • +2
      Ну да, о том и речь. Спамеров режем — репутацию красим (:
    • 0
      Senderbase так себе показатель. Там с отмечают уж совсем отъявленных спаммеров и большую роль играет объем отсылаемых писем. Т.е. если шлете не регулярно, но нормальный контент (соответственно низкие жалобы), то есть вероятность угодить в бед у седербейза. Ест более ценные показатели.
      • +1
        senderbase достаточно хороший показатель а дает его в довольно широком диапазоне от -10 до +10. И в отличии от обычных блэк листов, что бы тут заиметь отрицательный рейтинг, нужно слать именно спам. Сервера unisender рейтинг от 2.7 до 5.6, по крайней мере те что встречались. Это довольно много для компании, занимающийся рассылками. Это значит, что почти весь трафик писем считается положительным, который при этом достаточно большой.
        • 0
          Ну от 0 до 10, чем характеризуют кол-во оправленных писем. Это совсем не показатель качества. Для показателей качества у них есть 3 варианта: Poor, Neutral & Good. Как-бы они пишут про от -10 до 10, но фактически не показывают. То что для сердербейза Good для других ESP может быть совсем по другому. И это очень часто встречающийся вариант. Хороший рейтинг на сендербейзе почти ничего не стоит.
          • +1
            Плохо вы знаете базу senderbase. Она используется в антиспаме ironport и вот как раз там рейтинг для каждого хоста выставляется индивидуально от -10 до +10 с точностью до десятых. Думаю это сделано что бы не дампили базу и не использовали в своих целях.
            Сама база поддерживается живыми людьми и компанией cisco, так что доверие к ней, у меня по крайней мере, достаточно высокое.
            • 0
              Я очень хорошо знаю этот рынок изнутри. Вы много инталляций ironport видели? Это довольно редкий продукт. Тем более как самоцель стоит доставка на gmail, yahoo, aol, hotmail (live) в мировом масштабе и в российском еще mail и yandex. На сколько я знаю ни у кого из них ironport не стоит. Те пара корпоративных клиетов с почтой на ironport которые «случайно» попали в ваш лист не в счет. Претензий к циске у меня нет. Но есть более «строгие» антиспам фильтры, которые надо обходить по факту. Да и есть более полезные п*сько-мерки.
              • 0
                У нас стоит. Не очень редкая это железка. Как минимум знаю, что в балтике стоит. И в ряде менее крупных компаний.
                Что интересно, учитывая опыт работы с антиспамом gmail и яндекс, мог сказать, что ложные срабатывания там довольно часто явление вместе с пропуском спама, так что не назвал бы их решения идеальными.
                Почему эти компании не используют ironport? Во-первых такие объемы требуют специального подхода, просто поставить десяток каких-нибудь X1070, думаю, будет не достаточно. Во-вторых лицензии на использование ESA выдаются из расчета на пользователя. По-моему дешевле, чем 10$ за год там цена не получается при больших масштабах. То есть стандартное лицензирование тут не подходит.

                Конечно, фильтрация почты не моя прямая специализация, но приходится администрировать антиспам.

                Расскажите по поводу более полезных пузомерок.
                • 0
                  Senderscore.org а в платной версии вообще сказка
                  postmaster.aol.com/Reputation.php
                  Яхувские баунсы дают полезную инфу.
                  postmaster.mail.ru дает много полезной инфы.
            • 0
              SenderBase дает одно важное понимание — размер траффика у конкретного MTA. Далее лелеять себя положительным рейтингом на сендербейзе — бесполезно. Можно быть забаненым везде и иметь Гуд на сендербейзе. Если вы серьезно занимаетесь email deliverability, то сами это понимаете. Если это не ваша специализация — ну глупо спорить дальше.
  • +4
    1. Берем вашего клиента
    2. Ищем форму подписки
    3. Регистрируем «вредных пользователей» которые будут писать абузу
    4. Ждем рассылку
    5. Клиента блочат
    6. Профит
    • 0
      Ну у нас всё же не роботы работают, а люди. Вычислить такую махинацию будет несложно. Кроме того, для крупных клиентов (а у мелких и врагов-то таких нет), чтобы взять пороговую величину в 0,5%, нужно задействовать в махинации тысячи емэйлов. Пока это больше похоже на план по ограблению казино в Лас-Вегасе из фильма «11 друзей Оушена» — так же фантастично и может сработать только в кино, а не в реальной жизни (:
      • 0
        0.5 высокая величина. Под нее попадут только черные спамеры. Серые пройдут ее спокойно. Стандарт у строгих ESP 0.1 у лояльных 0.4 (но и соответствующий инбок плейсмент)
  • 0
    что такое FBL? Впервые встречаю такую аббревиатуру

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное