Pull to refresh

Рейтинг обнаружения антивирусными продуктами «свежего» вредоносного кода

Reading time 4 min
Views 7.6K
Однажды после очередной беседы в нашей компании о том, какой антивирус лучше всего справляется с обнаружением новых разновидностей вирусов, у меня появилось желание провести некое изучение по этому вопросу самостоятельно. Не спорю, вопрос не новый, и множество независимых групп проводит свои экспертизы (например, отличная подборка подобных рейтингов сведена на форуме группы Anti-Malware.ru, а также советую взглянуть на последнюю, в смысле самую свежую, картинку VirusBulletin). Однако, сильное желание состояло именно в том, чтобы провести такой анализ своими силами, тем более что на просторах Интернета существует практически готовый источник информации по этому вопросу – замечательный сервис VirusTotal.

Как это было сделано и что из этого вышло —

Первой моей идеей было воспользоваться очень интересной табличкой «Top10 file submissions (Yesterday)» на странице Stats самого VirusTotal-а. Статистики, скажем, за 3 месяца ежедневного опроса этой таблицы на самом деле вполне хватило бы для описанных целей. Но увы, таблица непредумышленно или предумышленно не работает, т.е. отображает изменяющиеся только примерно раз в месяц значения по какой-то своей внутренней логике. Недельная переписка с представителями самого VirusTotal-а закончилась тем, что факт наличия «problem» был признан, но в вольном переводе «приоритет его исправления на фоне других более актуальных проблем весьма невысок». На самом деле такому замечательному сервису можно простить и это, хотя я бы на их месте просто скрыл указанный блок со страницы статистики до момента починки.

Пришлось идти по более сложному пути: с помощью Google, wget, grep и пары самодельных скриптов с просторов Интернета (в подавляющем большинстве — с форумов с просьбами «поставить диагноз» или «рассказать как лечить») было собрано 3630 ссылок на реально проведенные с 1.1.2010 анализы VirusTotal-ом.

Что из себя представляют указанные ссылки? Специфика обращения с вопросом о вирусе на форумы в Интернет в основном такова, что анализируемый экземпляр совсем недавно начал свое распространение. Чаще всего это либо первая треть либо середина активной фазы обработки его антивирусными компаниями. Если провести анализ этих же экземпляров на текущий момент качество срабатывания будет несомненно лучше — я полагаю, близким к 80-90% — но напомню, что в моем распоряжении только ссылки (по факту — хеш-суммы), а не сами экземпляры вирусов.

Ну что же, середина жизненного цикла вируса — тоже не самое плохое время для анализа в рамках поставленной цели. В список обнаруживающих данный экземпляр антивирусов попадут продукты либо с очень быстрой обратной связью либо с хорошими эвристическими алгоритмами. Нас устраивает и то и другое. Количество антивирусов, обнаруживавших экземпляры выборки, на тот исторический момент приведено на гистограмме (ось X – количество сработавших антивирусных движков, ось Y – количество вирусных экземпляров):

= Гистограмма частоты детектирования =

График подводит к следующему неотъемлемому вопросу процесса поиска вирусов – ложным срабатываниям. Несомненно, в области графика, близкой к нулю, наряду с малоизвестными на текущий момент, но всё-таки вирусами, размещается множество ложных срабатываний (false positive):
  • неоправданных подозрений со стороны эвристических алгоритмов,
  • упакованных исполнимых файлов (как совершенно справедливо уточнил хабраюзер gjf)
  • других неумышленных ошибок антивирусных программ.

Отделить что есть что на основе имеющихся в распоряжении данных я возможности не вижу, поэтому мною был выбран наиболее очевидный путь — установить пороговое значение для false positive. Конкретно – начиная с 8 срабатываний экземпляр считаем с высокой вероятностью вредоносным (на графике эти экземпляры выделены красным). Под указанный критерий попало примерно 2600 записей.

Ну а теперь собственно то, ради чего все эти предварительные действия производились. На основании описанной выборки из 2600 высоковероятных «свежих» вирусов вычислены средние частоты их обнаружения антивирусными движками, участвующими в VirusTotal.

Disclaimer. Приведенная статистика является одной из случайных реализаций, созданной на базе свободно доступной в сети Интернет информации. Несмотря на предпринятые меры по исключению корреляций и условных вероятностей, невозможно гарантировать с достоверностью 1,0 их отсутствие в материале в силу специфики получения выборки из сети Интернет. Статистика отражает процент обнаружения вирусных экземпляров в случайный момент времени фазы начала их распространения и не может характеризовать итоговое качество обнаружения вирусов каждым конкретным продуктом, которое несомненно является более высоким.

Антивирусный продукт Процент обнаружения Примечания
GData 80,0%
Ikarus
75,4%
Emsisoft 74,8% бывший «a2»
McAfee-GW-Edition 70,6% бывший «SecureWeb-Gateway»; по сообщениям на форумах, работает на движке Avira
Panda 69,7% имеется бесплатная версия для персонального использования
BitDefender 69,5%
AntiVir (AVIRA GmbH) 67,9% имеется бесплатная версия для персонального использования
McAfee 67,9%
F-Secure 66,1%
NOD32 (ESET) 63,6%
VIPRE (GFI Software) 63,2% бывший «Sunbelt»
DrWeb 56,5%
Norman 52,8%
Sophos 52,5%
Kaspersky 52,2%
AVG 51,8% имеется бесплатная версия для персонального использования
Avast 50,8% имеется бесплатная версия для персонального использования
AhnLab-V3 48,5%
Symantec 48,0%
Microsoft 41,4% бесплатен для персонального использования и в организациях до 10 рабочих станций
Comodo 40,7% включен в продукт Comodo Internet Security, бесплатный для персонального и коммерческого использования (Duron700)
TrendMicro 40,2%
PCTools 40,0%
nProtect 39,2%
K7AntiVirus 37,9%
TrendMicro-HouseCall 37,6%
Prevx 36,6%
VBA32 31,4%
F-Prot 28,7%
Rising 28,2%
Fortinet 26,9%
VirusBuster 26,6%
Commtouch 26,6%
eSafe 26,1%
SUPERAntiSpyware 24,0%
CAT-QuickHeal 22,5%
ClamAV 22,2%
eTrust-Vet 21,4%
Antiy-AVL 20,9%
Jiangmin 20,9%
TheHacker 20,2%
ViRobot 15,3%

Большая просьба — отнестись к этой публикации спокойно, без HolyWar-ов, и воспринять ее просто как очередной «альтернативный» рейтинг антивирусных продуктов. Решение опубликовать эти (полученные первоначально для внутреннего использования) результаты принято после небольшого опроса на Хабре в Q&A. Готов к конструктивной критике и к дополнениям в столбец «Примечания» таблицы.
Tags:
Hubs:
+38
Comments 34
Comments Comments 34

Articles