войти зарегистрироваться

Спам (и антиспам) whois

индекс
114,97

Независимое тестирование различных АнтиСпам решений (коммерческие и свободные продукты)

Целью данного тестирования было оценить эффективность работы различных антиспам систем. Для тестирования были выбраны следующие продукты:
• Apache Spamassassin — SA(свободный)
• Yandex Spamooborona 2.3 — SO(коммерческий)
• Kaspersky Antispam 3.0 — KAS(коммерческий)
• FastBL 0.7.0 (свободный)
• dnsbl списки:
bl.spamcop.net
cbl.abuseat.org
dnsbl.sorbs.net
dul.nsbl.sorbs.net
dul.ru
sbl-xbl.spamhaus.org
zen.spamhaus.org


DNSBL списки были выбраны по популярности использования.
Для каждого продукта был выделен отдельный сервер (P4 3.0GHz HT/1GB RAM/FreeBSD 7.2-PRERELEASE), на котором производилось тестирование почтовой корреспонденции. В качестве MTA использовался sendmail, скомпилированный с поддержкой milter для подключения cервисов SA,SO,KAS. Для тестирования коммерческих продуктов были использованы временные лицензии, полученные с сайта разработчиков.

Почтовый трафик использовался поступающий для двух доменов, зарегистрированных в 2002 и 2003 году. Суммарный ежесуточный трафик на данные домены составляет от 5 до 12 тысяч писем, что является вполне достаточным количеством почты для тестирования. Данные домены используются в основном для личной переписки, подписки на листы рассылки и имеют в наличии около 10 реальных почтовых получателей. Личный трафик на этих доменах составляет от 10 до 40 писем в сутки, что позволяет оценить эффективность работы тестируемых продуктов, а также коэффициент False Negative для каждой из систем. К сожалению, из-за небольшого личного трафика не получилось оценить коэффициент False Positive, но это не является проблемой, так как тестируемые системы используют шаблонные методы оценки спама и вероятность попадания нормальных писем в спам очень невелика.

Схема подключения серверов для анализа имела следующий вид:


Основной релей принимал все входящие соединения и совершал их начальный анализ путём запросов к DNSBL-спискам, проверке соответствия сессии RFC(FastBL), затем перенаправлял письма далее на сервера с тестируемыми продуктами. Сразу скажу, что запросы в DNSBL зоны были только для получения информации о IP-адресе, но блокировка адреса не производилась. Тестирование производилось без дополнительного «тюнинга» продуктов в виде завышения оценочных коэффициентов, т.е. «as is».

В связи с тем, что тестируемые системы имеют различные методы тестирования писем, обновление продуктов происходило по следующей схеме:
«Apache Spamassassin» – sa-update раз в сутки
«Kaspersky Antispam» – каждые 3 минуты
«Yandex Spamooborona» – каждые 20 минут

Указанные временные промежутки обусловлены возможной частотой выхода новых обновлений и рекомендациями разработчиков.

Каждый из продуктов имеет свои особенности тестирования почтового контента:
«Касперский Антиспам» использует offline-тестирование, регулярно обновляя свои локальные базы, плюс возможность подключения dnsbl листов.
«Яндекс Спамооборона» использует online-технологии тестирования, постоянно работая со своим центральным сервером, а также обновляя свои локальные базы по мере необходимости, также имея возможность подключения dnsbl листов.
«Apache Spamassassin» использует offline обработку данных, а также online-сервисы списков DNSBL, Razor, Pyzor, DKIM, SPF.

SA и KAS используют fork() для обработки каждого письма, а SO, в свою очередь, использует Threads, что намного экономичнее с точки зрения расхода памяти. При этом SA использует preforked процессы, ограничивая вероятность перерасхода памяти, а KAS форкается по мере необходимости, не превышая уровня фильтрующих процессов выше лимита, указанного в конфигурационном файле.
Примерный расход памяти на каждый процесс:
SA ~ 40 MB
KAS ~ 30 MB
SO ~ 90 MB

Ниже приведены таблицы результатов с комментариями.
Сокращения, используемые в таблицах:
PS – Passed(количество пропущенных писем)
BL – Blocked(количество заблокированных писем, определенных как SPAM)
FN — FalseNegative(Количество писем определенных как хорошие, но являющихся спамом)
FP – FalsePositive(Количество писем определенных как SPAM, но таковыми не являющиеся).
Date: 02.04.2009. Count: 10291 PS BL FN FP
Spamooborona 56 10235 42 0
SpamAssassin 887 9406 873 0
Kaspersky Antispam 277 10014 264 1
bl.spamcop.net 5107 5184 5093 0
cbl.abuseat.org 2353 7938 2339 0
dnsbl.sorbs.net 5732 4559 5718 0
dul.nsbl.sorbs.net 7773 2518 7759 0
dul.ru 10255 36 10241 0
FastBL 89 10202 75 0
sbl-xbl.spamhaus.org 2336 7955 2322 0
zen.spamhaus.org 395 9896 381 0

Первый день тестирования начался со странного пробоя антиспам защиты продукта «Kaspersky Antispam», в связи с этим KAS пропустил писем больше, чем ожидалось. Этот же день показал слабость раздельной работы dnsbl-списков и SpamAssassin против российского спама. При тестировании я специально послал 4 письма с квотингом одного из спам писем с перемешиванием слов на тестовый сервер. Касперский в связи с контекстным анализом содержимого отправил валидное письмо, подписанное DKIM с gmail.com в SPAM. С одной стороны, контент письма действительно был спамом, но, в свою очередь, письму была поставлена оценка [SPAM] вместо [Possible Spam]. Принимая во внимание, что данное письмо могло быть переслано системному администратору для анализа содержимого заголовков, KAS получил 1 FP.
Date: 03.04.2009. Count: 6357 PS BL FN FP
Spamooborona 61 6296 31 0
SpamAssassin 780 5579 750 0
Kaspersky Antispam 65 6292 35 0
bl.spamcop.net 3455 2902 3425 0
cbl.abuseat.org 1571 4786 1541 0
dnsbl.sorbs.net 3759 2598 3729 0
dul.nsbl.sorbs.net 4801 1556 4771 0
dul.ru 6331 26 6301 0
FastBL 77 6280 47 0
sbl-xbl.spamhaus.org 1557 4800 1527 0
zen.spamhaus.org 325 6032 295 0

Во второй день тестирования Spamooborona и Kaspersky Antispam сравняли свои позиции.
Date: 05.04.2009. Count: 7025 PS BL FN FP
Spamooborona 59 6966 39 0
SpamAssassin 1291 5739 1271 0
Kaspersky Antispam 29 6996 9 0
bl.spamcop.net 4170 2855 4150 0
cbl.abuseat.org 2031 4994 2011 0
dnsbl.sorbs.net 4424 2601 4404 0
dul.nsbl.sorbs.net 5180 1845 5160 0
dul.ru 6986 39 6966 0
FastBL 42 6983 22 0
sbl-xbl.spamhaus.org 2018 5007 1998 0
zen.spamhaus.org 368 6657 348 0

В третий и четвертый день тестирования (выходные дни) немного прохудилась защита у Spamooborona в связи с резким всплеском одиночных сообщений. Так как данные о составляющих компонентах писем у Yandex Spamooborona обрабатываются в online-режиме, то вполне вероятны пропуски сообщений, которые не имели частых повторений. Kaspersky Antispam в свою очередь показал преимущества своей оффлайновой системы оценки.

Date: 06.04.2009. Count: 9963 PS BL FN FP
Spamooborona 53 9906 33 0
SpamAssassin 1506 8459 1486 0
Kaspersky Antispam 125 9837 105 0
bl.spamcop.net 7042 2921 7022 0
cbl.abuseat.org 2562 7401 2542 0
dnsbl.sorbs.net 6420 3543 6400 0
dul.nsbl.sorbs.net 7561 2402 7541 0
dul.ru 9907 56 9887 0
FastBL 68 9895 48 0
sbl-xbl.spamhaus.org 2549 7414 2529 0
zen.spamhaus.org 308 9655 288 0

На пятый день особых сюрпризов не произошло, кроме увеличения количества пробоев у Kaspersky Antispam.
Date: 07.04.2009. Count: 10923 PS BL FN FP
Spamooborona 88 10832 48 1
SpamAssassin 1418 9503 1377 0
Kaspersky Antispam 190 10727 149 0
bl.spamcop.net 6405 4518 6364 0
cbl.abuseat.org 2651 8272 2610 0
dnsbl.sorbs.net 6478 4445 6437 0
dul.nsbl.sorbs.net 8237 2686 8196 0
dul.ru 10877 46 10836 0
FastBL 103 10820 62 0
sbl-xbl.spamhaus.org 2633 8290 2592 0
zen.spamhaus.org 293 10630 252 0

На шестой день Spamooborona схватила FP, заблокировав валидную рассылку с subscribe.newsland.ru. Во все дни тестирования приходило достаточно большое количество NDR с репортами о недоставке спам сообщений, но все NDR были отфильтрованы продуктами как SPAM, разбираться с этим не стал. Хотя это неверно.
Total. Count: 44552 PS BL FN FP
Spamooborona 317 44235 193 1
SpamAssassin 5882 38686 5757 0
Kaspersky Antispam 686 43866 562 1
bl.spamcop.net 26178 18374 26053 0
cbl.abuseat.org 11168 33384 11043 0
dnsbl.sorbs.net 26812 17740 26687 0
dul.nsbl.sorbs.net 33551 11001 33426 0
dul.ru 44353 199 44228 0
FastBL 379 44173 254 0
sbl-xbl.spamhaus.org 11093 33459 10968 0
zen.spamhaus.org 1689 42863 1564 0

По окончании всех тестов из всего объёма писем (44552 письма) было выделено 125 абсолютно валидных писем, на основании которых были рассчитаны параметры FalseNegative и FalsePositive. Если исключить первый день тестирования, то видно, как коммерческие продукты идут нога в ногу при анализе спама. Spamassassin всё-таки рассчитан на анализ зарубежного спама и часто пропускает письма из-за отсутствия нормализации контента. Коммерческие продукты приводят письма к определенному виду. Например, часто используемый спамерами метод вставки лишних знаков в слова типа: «Р-А-С-С.Ы, Л=К-И», а также замена русских букв сходными по написанию английскими буквами, абсолютно неэффективны против нормализации, при которой искаженное слово всё равно превратится в «рассылки» и попадёт под контекстный анализ, добавляющий за каждое такое слово определённое количество баллов всему письму. В свою очередь, SpamAssassin довольно хорошо различает зарубежный спам типа «Medical, Viagra, Cialis, Enlargement», а также хорошо фильтрует «bayes poisoning» контекстных анализаторов.

По поводу dnsbl-списков мнение сложилось неоднозначное. С одной стороны, популярность публичных dnsbl очень высока, и они могут обеспечить защиту от спама до определённой степени. Но, с другой стороны, использовать dnsbl-списки в качестве панацеи нельзя, так как всё-таки бывают FP при работе с валидными доменами. Что же касается проверки входящих соединений по RFC (FastBL), то за время тестирования не случилось ни одного FP и уровень фильтрации сопоставим с коммерческими продуктами. Но это уже другая история. :)

Ну, и напоследок, я решил свести в таблицу варианты событий в том случае, если бы контекстные анализаторы работали в паре с DNSBL-листами. Как и ожидалось, я получил 100% эффективность фильтрации спама даже при использовании зарубежного продукта Apache SpamAssassin.

Total Count:44552 PS BL FN FP
bl.spamcop.net+so 124 44243 184 1
bl.spamcop.net+sa 125 38702 5725 0
bl.spamcop.net+kas 124 44050 377 1
 
cbl.abuseat.org+so 124 44266 161 1
cbl.abuseat.org+sa 125 40541 3886 0
cbl.abuseat.org+kas 124 44264 163 1
 
dnsbl.sorbs.net+so 124 44258 169 1
dnsbl.sorbs.net+sa 125 39832 4595 0
dnsbl.sorbs.net+kas 124 44068 359 1
 
dul.nsbl.sorbs.net+so 124 44247 180 1
dul.nsbl.sorbs.net+sa 125 39398 5029 0
dul.nsbl.sorbs.net+kas 124 44013 414 1
 
dul.ru+so 124 44236 191 1
dul.ru+sa 125 38714 5713 0
dul.ru+kas 124 43872 555 1
 
FastBL+so 124 44413 14 1
FastBL+sa 125 44374 53 0
FastBL+kas 124 44412 15 1
 
sbl-xbl.spamhaus.org+so 124 44268 159 1
sbl-xbl.spamhaus.org+sa 125 40519 3908 0
sbl-xbl.spamhaus.org+kas 124 44265 162 1
 
zen.spamhaus.org+so 124 44309 118 1
zen.spamhaus.org+sa 125 43747 680 0
zen.spamhaus.org+kas 124 44387 40 1


Теперь о самом грустном в этой познавательной истории об антиспаме — о настройке и лицензировании коммерческих продуктов.
Несмотря на практически безупречное ядро продуктов, внешняя обёртка очень неудачна и неудобна. Лично я ждал большего профессионализма от разработчиков продуктов такого плана.
Итак, несколько «ложек дёгтя в бочку с мёдом».
Оба продукта ориентированы на установку в систему FreeBSD 6.2, которая уже давно устарела с точки зрения безопасности, а также версий продуктов, используемых в релизе(пришлось шаманить с compat6x).
Kaspersky antispam содержит в своём дистрибутиве perl 5.6.2, а также часть специфических perl модулей. Администраторская консоль KAS использует thttpd и обвязку системы в виде перловых CGI-скриптов. Она конечно, выглядит красиво, но, по-моему, не сильно информативно, хотя имеет графики работы фильтра. Имеется возможность создания групп пользователей с различными методами фильтрации, есть белые/черные списки — как пользователей, так и ip адресов. Возможности использовать внешние базы пользователей и групп я, к сожалению, в администраторской web консоли не нашёл (возможно, закопано где-то в консольных утилитах). С лицензированием тоже не совсем ясно, формально я нигде не нашёл количественной единицы, по которой оценивается лицензирование per-user. Во временной лицензии указанный порог обработки в 250 мегабайт на самом деле составляет от 250 до 499 мегабайт. Лицензирование продукта основывается на файле лицензии, получаемом при покупке. Система поддерживает добавление и установку нескольких лицензий. Ну и самое моё большое «фи» в сторону разработчиков KAS — это метод установки milter-фильтра в конфигурационный файл sendmail.cf
Ребята!!! Зачем же Вы правите РАБОЧИЙ СКОМПИЛИРОВАННЫЙ КОНФИГ, который при ПЕРВОМ же обновлении отменит все внесенные изменения ?
Скрипт добавления фильтра в конфиг при ближайшем рассмотрении таки-имеет hidden flag, позволяющий указать sendmail.mc для инъекции строк, вызывающих фильтр, но данный flag не вызывается из конфигурирующего скрипта MTA-config.pl
Все процессы KAS выполняются под пользователем mailflt3, которому отведен свой каталог для работы /usr/local/ap-mailfilter3. Скрипты запуска используют старый механизм запуска сервисов, который не контролируется из /etc/rc.conf.

Yandex Spamooborona тоже меня удивила. Конфигуратор написан на DIALOG, при установке я этого несколько не ожидал. Ветки конфигуратора очень «разлапистые» и очень просто там заблудиться. Большая часть настроек уже предустановлена, но лучше пройтись по всем пунктам в меню и выставить нужные Вам параметры. SO имеет возможность работы с plaintext файлами, LDAP и судя по кускам SQL кода в конфиге, умеет еще и MySQL. После того как я настроил работу SO, меня один человек спросил: «я просто слышал отзывы некоторых продавцов антиспамов, что якобы spamооборона жутко сложна в настройке и никто, кто не купил прямую поддержку у Яндекса, «завести» ее не смог. Или ты уникум редкий, или кто-то где-то врёт».
Реально настройка с plaintext файлами не так уж сложна, и, в принципе, полностью прозрачна. Но мне кажется, что основные проблемы настройки всё-таки связаны с LDAP и MySQL. Политика лицензирования тоже необычна. Для защиты от спама необходимо прописать либо вручную, либо автоматически все почтовые адреса, которые будет защищать система. Т.к. это реально неудобно в динамически растущей сети, то заставляет сильно задуматься. Лицензирование per-user основано именно на этом списке пользователей. Что произойдёт в том случае, если список пользователей привысит максимальный уровень, указанный в лицензии, я сказать не могу, но, как мне кажется, это не совсем правильно. В моей организации около 30 доменов, 600 юзеров и около 50 групп. При том, что каждый пользователь может иметь адреса из двух доменов (например, alias), мне придётся купить практически безлимитную лицензию для нормальной работы моей компании. Отдельная статья — ключ лицензирования. Ключ генерируется из двух файлов: spam.ini(основной конфиг фильтра) и domains(список защищаемых доменов). Эти два файла отсылаются на web сервер SO ”вручную” и, после заполнения необходимой информации в web форме, сервер генерит ключ. Ключ сохраняется в файлик so.key и кладётся в каталог где находятся остальные настройки SO. И не дай бог Вам исправить хотя бы один бит в файлах spam.ini и domains — всю процедуру регистрации придётся проходить заново, иначе фильтр работать не будет. Хорошим плюсом для начинающих администраторов будет русификация интерфейса настройки SO.

Описывать настройку и работу SpamAssassin особого смысла нет, так как он установлен на подавляющем большинстве почтовых релеев.

Ну, в принципе, вроде всё. Что хотел написать и сказать — написал и объяснил.
Сомнения о необъективности тестирования, я, конечно, приму от любого. Если Вы считаете, что данное тестирование было необъективным и можно получить иные результаты без серьёзного закручивания гаек, то можете прислать мне в личку конфигурационный файл интересующего Вас продукта, и я смогу поставить еще пару-тройку серверов с существующими и Вашими конфигами, тогда мы еще раз сравним результаты.

ЗЫ: Если есть вопросы по тестированию, то «Лаборатория Касперского» написала чудесный документ: www.spamtest.ru/document.html?context=15948&pubid=16638, в котором Вы сможете найти все рекомендации к тестам. В моих тестах они были соблюдены максимально точно, за исключением времени тестирования, всё таки документ 2004 года.
ЗЗЫ: Готов ловить камни в свой огород.

© ABORCHE 2009

Конфиг SpamAssassin:
bayes_auto_learn 1
bayes_ignore_header X-Bogosity
bayes_ignore_header X-Spam-Flag
bayes_ignore_header X-Spam-Status
loadplugin Mail::SpamAssassin::Plugin::AWL
loadplugin Mail::SpamAssassin::Plugin::AutoLearnThreshold
loadplugin Mail::SpamAssassin::Plugin::Bayes
loadplugin Mail::SpamAssassin::Plugin::BodyEval
loadplugin Mail::SpamAssassin::Plugin::Check
loadplugin Mail::SpamAssassin::Plugin::DKIM
loadplugin Mail::SpamAssassin::Plugin::DNSEval
loadplugin Mail::SpamAssassin::Plugin::HTMLEval
loadplugin Mail::SpamAssassin::Plugin::HTTPSMismatch
loadplugin Mail::SpamAssassin::Plugin::Hashcash
loadplugin Mail::SpamAssassin::Plugin::HeaderEval
loadplugin Mail::SpamAssassin::Plugin::ImageInfo
loadplugin Mail::SpamAssassin::Plugin::MIMEEval
loadplugin Mail::SpamAssassin::Plugin::MIMEHeader
loadplugin Mail::SpamAssassin::Plugin::Pyzor
loadplugin Mail::SpamAssassin::Plugin::Razor2
loadplugin Mail::SpamAssassin::Plugin::RelayEval
loadplugin Mail::SpamAssassin::Plugin::ReplaceTags
loadplugin Mail::SpamAssassin::Plugin::Rule2XSBody
loadplugin Mail::SpamAssassin::Plugin::SPF
loadplugin Mail::SpamAssassin::Plugin::SpamCop
loadplugin Mail::SpamAssassin::Plugin::URIDNSBL
loadplugin Mail::SpamAssassin::Plugin::URIDetail
loadplugin Mail::SpamAssassin::Plugin::URIEval
loadplugin Mail::SpamAssassin::Plugin::VBounce
loadplugin Mail::SpamAssassin::Plugin::WLBLEval
loadplugin Mail::SpamAssassin::Plugin::WhiteListSubject
report_safe 0
rewrite_header Subject *****SPAM*****
use_bayes 1
+44
8 апреля 2009, 20:44
39
aborche

комментарии (66)

  • Интересно было бы сравнить всё это со спам-фильтром GMail. Я понимаю, что тестировались отдельные продукты, но с каждым днем все больше компаний отдает свою почту на откуп Google Aps. И хотя бы для интереса было бы забавно сравнить результаты со standalone-продуктами.
    • После того как на GMail улетело 4.5 тысячи спам писем, меня там благополучно забанили :) потом конечно разбанили, но я уже снял форвард.
      GMAIL очень сильно страдает от poisoning так же как и yandex, 31-1 числа была рассылка с мусором в теме и теле письма. По данным которые я получил от gmail — принятые 2560 писем были спамом + 250 писем легли в Inbox как валидные, из них 5 писем были реально валидны. тестирование методом пересылки для Gmail не совсем корректно. Rambler и Yandex вообще не стали принимать от моего IP почту. Тупо сбрасывали соединение ссылаясь на Грейлистинг 4.7.1. Но при потоке 10-30 писем в минуту грейлистинг просто невозможен.
      • спасибочки за пояснения :)
      • А почему бы временно не установить ту же ГуглПочту на ваш домен, для аналогичного тестирования? Можно даже ради такого заказать халявный триал на месяц, где можно включить Гугл после вашего релея, также как и остальные продукты в обзоре. Очень просим.
        • да можно я думаю. попробую изучить этот вопрос поглубже.
    • У меня контора на Google Aps, к сожалению раз в день подходят менеджеры по работе с клиентами, с нытьем что очередное письмо от клиента попало в спам. :(
      • Пускай в контакты клиентов добавляют
        • Клиенты новые, зашли на сайт, написали письмо. Ответа нет. Они звонят и говорят, че мол не отвечаете на письма.
      • Возможно вам нужно приобрести Postini www.google.com/postini/index.html
  • В чем выразилась сложность уставки compat6x на FreeBSD7?
    • да в принципе особых проблем не было. просто на 7.2 софт благополучно стал падать с разными непонятными ошибками. Запустил руками — не нашлась кучка библиотек. Поставил из портов conpat6x, но что-то у меня сразу не завелось. Какой-то библиотеки всё равно не хватило, не помню уже какой.
      • На 7.0, которая по идее стабильна, проблем с KAS3 не возникало. Достаточно установки compat6x.
        • KAS3 стоит и работает? можете про политику лицензирования рассказать? В каком виде у Вас стоит?
          • На сайте Касперского все написано про политику лицензирования. Даже вроде ключ купить можно.
            • может я конечно предвзято отношусь, но:
              Можно ли отслеживать число адресов (объем трафика), отнесенных к лицензированным?

              В текущей версии Kaspersky Anti-Spam 3.0 такой возможности нет. Возможность отслеживать количество адресов, отнесенных к лицензированным, появится в одном из следующих обновлений продукта Kaspersky Anti-Spam 3.0. Используя текущую версию продукта, Вы можете отслеживать это количество сами, зная количество адресов в домене, заданном Вами как «защищаемый домен» (зная полный объем трафика, приходящий на адреса в домене, заданном Вами как «защищаемый домен»)

              Сегодня трафик был 100МB, а завтра прислали несколько типографских макетов и трафик стал 500MB, в итоге имеем отключение фильтра и мусор в ящиках.
              ПО моему не очень хороший метод ограничения работы фильтра? Я не прав?
              Особенно если принять во внимание непредсказуемость входящего трафика.
              Тоже самое с пользователями. Извините, но не понимаю.
          • Лицензирование — по количеству ящиков.

            www.kaspersky.ru/kaspersky_anti-spam
            www.kaspersky.ru/support/as3/all
  • А как же dspam?
  • глобальная работа проделана. спасибо за информацию. таким продуктам как gmail проще настраивать своим антиспам модули, потому как там действительно есть обучаемость — сколько народу сидит, один пометил письмо как спам, ну а у остальных оно в спам и убралось.
  • у Kaspersky Antispam также есть возможность online-тестирования. из руководства администратора: «включено использование собственного сервиса Urgent Detection System (UDS), позволяющего получать данные о некоторых видах спам-рассылок в режиме реального времени»
    • Данная фича включена по умолчанию и использовалась при тестировании.
  • Про Assp забыли. А зря. Умеет много чего, спам ловит отменно.
    • охватить весь список антиспам систем просто невозможно.
      хотя dspam наверное нужно было бы протестировать.
      Возможно через некоторое время сделаю сравнительный анализ opensource антиспам систем.
      Думаю будет интересным посмотреть.
  • есть еще проект Спамоборец с открытым кодом.
  • FastBL почему-то не отдается с Sourceforge. Где еще можно взять не подскажете?
    • стабильных версий FastBL на данный момент нет. Есть только devel который постоянно модернизируется. ddnsbl.sf.net/release.tar.gz от июня 2008 года.
      В продакшн системах использовать можно, но осторожно. Возможны реальные FP от клиентов с кривой обратной зоной и криво настроенными мейлерами.

  • Спасибо, отличный тест/обзор. В свое время в нашей компании тоже выбирали антспам-систему, но выбор был не такой богатый. Выбрали одну из здесь описанных.
  • Странно что в обзоре присутствует spamassasin, но нет barracuda SPAM Firewall.
    На мой взгляд — это один из лучших продуктов на сегодняшний день.
    У нас в день не меньше 2-х миллионов писем приходит, при этом 99% спам. Эффективность спам фильтра поражает.
    • Такой ?
    • И как бы интересно автор обзора получил бы его себе «напопробовать»? С интернета железяку не скачаешь, однако…
      • очень просто — вендоры дают эту железку на бесплатное тестирование
        • Ага. Только при этом нужно подписать кучу бумаг — в одной из которых где нибудь мелким шрифтом будет прописано прямое запрещение опубликовывать результаты сравнительного тестирования этой железки.
          • Ничего подобного. Никаких бумаг подписывать не надо кроме той что вы взяли во временное пользование. По крайней мере у нас ничего такого не было. Попробовали, понравилось и потом купили
            • Ну значит это vendor dependent :) — респекты Barracuda.
    • Возможно, проблема настроек, но решение у «западного» MS Exchange-хостера даёт, в моём случае, до 30% (от суточной почты) ложных false positive срабатываний.
  • На мой взгляд, очень критическим параметром оценки качества решения является величина False Positive. По крайней мере, при защите корпоративных пользователей.

    Без серьёзной оценки False Positive сравнивать решения, imho, почти бессмысленно. Несправедливо заблокированное спам-фильтром коммерческое предложение для генерального директора — очень серьёзная проблема (часто — критическая). Просматривались ли на предмет False Positive все 5-12 тысяч писем в сутки?
    • да, естественно. руками :( иначе бы не было возможности посчитать FN.
      неблагодарное занятие я Вам скажу, из 5-11 тысяч писем найти несколько валидных очень непросто.
      • FP, вы хотите сказать?
        • FalseNegative это такая же неотъемлемая часть как и FalsePositive.
          Из общего списка руками вытаскиваются хорошие письма, составляется их внешний список и потом уже в зависимости от флагов письма при общем анализе смотрится куда письмо попало.
          т.е. если у нас из 10 тысяч писем — 9950 писем определены как спам, из всех 10 тысяч писем 10 штук хорошие, при этом 5 хороших определены как спам — это FalsePositive, а 45 писем определенные как HAM — это FalseNegative.
          • Понятно, ну, тогда спасибо за столь тщательно проделанную кропотливую работу.
  • Из коммерческих еще очень интересен www.spamexperts.com
  • А как-же greylisting? Он ведь тоже спасает от спама.
    • Спамботы давным-давно уже научились обходить грейлистинг.
      и я себе не сильно представляю каким образом можно тестировать грейлистинг с реальным потоком писем вместе с контекстными анализаторами.
      • Хотите сказать, что они долбятся по несколько раз с целью доставить почту теперь?
        • да. через определенные промежутки времени.
          • ну не знаю как у кого, а у меня гдето 99.5% входящих режется именно greylist
            была ещё попытка поставить drweb antispam, это забраковало ещё 15-20% от прошедших писем
            и drweb и kaspersky страдают одной общей проблемой
            очень часто рассылки или письма от форумов(со дефаултным содержимом письма) попадают в спам
            • А какие настройки у вас по времени стоят? а то в одном месте я попытался пропихнуть грейлистинг — так мне жаловаться пришли, что письма не доходят вовремя.
              А в другом, замечательно себе работает и режет всякую гадость :)
              • 5 минут на задержку приема письма и через сутки запись умирает
                жалоб за почти год использования не было
      • Не все так плохо, таких спам-ботов не так уж им много. У меня включен грейлистинг на клиентов pbl.spamhaus.org и тех у кого нет PTR записи. Прорываются единицы — или какие-то накуреные спам-боты, которые возвращаются через несколько дней, либо обдолбаные спам-боты, которые долбят до тех пор, пока письмо не уйдет, но за целый месяц я таких видел всего несколько десятков штук. Все остальные 50.000 попыток спам-ботов оказались безуспешны.
      • На моих серверах greylisting отсекает от 80 до 98% спама. Большая часть спам-ботов пока что через greylisting не прорывается.
    • ГРЕЙЛИСТИНГ — ЗЛО!!11
      • Если у вас криво настроенный почтовый сервер который не пытается повторно доставить письмо — то да… а так, чего же в нем плохого?
        • тем более соотвествует RFC )
        • при чем тут мой сервер?
          криво настроенные сервера у половины контрагентов! Если бизнес вашей конторы связан с постоянным получением почты от _новых_ контрагентов, вы никогда заранее не знаете как у них настроен сервер.
          Можно долго упираться в RFC, но если ваш начальник спрашивает какого хера не приходит письмо с миллионным контрактом на его рабочий адрес, в то время как на его домашний адрес на mail.ru оно доходит мгновенно, попробуйте сказать ему что-нибудь про RFC и стандарты :) И посмотрите на его реакцию, ога
          • ну не надо сказки про мгновенные письма с mail.ru говорить
            везде и у всех бывают задержки с приходом

            а миллионные контракты наверное телефоном и/или личным присутствием решают а не почтой )
  • Хабр снова тот!
    Отличная статья, спасибо!
  • aborche, молодец! Отличная статья, спасибо!
    Добавил кармы и плюс за статью.
    Достойнейшее исследование. Отличный список тестируемых антиспам-сервисов и программ. Объять необъятное и сравнить всё, что есть на белом свете, невозможно. Но всё самое популярное протестировано, это здОрово. Открыл для себя новое (FastBL), очень радует, что что-то открытое работает не далеко от уровня лучших коммерческих продуктов.
    Насчет greylist я не согласен (сам использую весьма эффективно, в т. ч. со спамерами, которые обходят «стандартные» greylist), но спорить не буду, хотя бы потому, что неясно, как эту штуку тестировать.

    Очень разочаровывает Хабр: человеку, который случайно наткнулся на смешную картинку, забавное видео или интересную ссылку и потратил 5 минут на то, чтобы скопипэйстить эту картинку/видео/ссылку на Хабр, люди ставят по +100 и больше. За исследование вроде вашего, на которое, я так понял, вы потратили больше недели труда, поставят меньше. По-моему, очень убогая ситуация, которая стимулирует копипэйстинг и, наоборот, отучает писать оригинальные статьи, проводить серьёзные исследования, тестирования, сравнения.
    • спасибо за оценку и карму.
  • А про Cisco IronPort скажете чего-нибудь?
    • к сожалению не скажу, так как когда речь зашла о тестировании у компаний нашлись аргументы по которым они не решились в нём участвовать. Люди IronPort хвалят, но пощупать мне его не удалось.
  • Где Спаморез? По слухам один их лучших на сегодня…
    Почему FreeBSD? По идеет линух поддерживает большее количество «уникального софта»
    • почему FreeBSD? потому что я работаю на ней с 1998 года и ни разу не пожалел о выборе системы.
      ЗЫ: В админском хозяйстве сейчас есть Solaris9, SunOS5.9, 4xSuse10 ну и где-то 15xFreeBSD разных мастей. На ноуте как ни странно OpenBSD вместо лялиха, и всё чудесно работает, и видео, и камера, и звук, и вайвай, и лан и проекты проще отлаживать.
      ЗЗЫ: А причем тут уникальный софт? он решает все проблемы?
Только авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста.