РЫНКИ: В погоне за идеальным антивирусом

РЫНКИ: В погоне за идеальным антивирусом

Автор: Александр Бумагин

Недавно "Доктор Веб" последовал примеру компаний Panda и Trend Micro и решил больше не участвовать в авторитетном рейтинге антивирусов Virus Bulletin. Напомним, что в начале года на конференции в Бильбао создатели антивирусов учредили организацию AMTSO (Anti-Malware Testing Standards Organization) и заявили о необходимости стандартизации тестирования средств защиты от вредоносных программ. Означает ли это, что существующие независимые тесты никуда не годятся?

Спрашивать об этом самих тестеров было бы нелепо, а потому мы обратились за разъяснениями в антивирусные компании. Директор по исследованиям и разработке Лаборатории Касперского Николай Гребенников объективными считает av-comparatives.org и avtest.org, ведущий технический консультант из Symantec Рамиль Яфизов предпочитает Virus Bulletin, а директор компании "Доктор Веб" Борис Шаров ко всем "проверяющим организациям" относится со здоровым скепсисом, хотя и признает их влиятельность: "мнение ведущих тестеров - Virus Bulletin, немецкой лаборатории avtest.org и австрийской av-comparatives.org Андреаса Клементи - это путевка в жизнь для одних и приговор для других". Выходу "Доктора Веба" из рейтинга Virus Bulletin предшествовало несколько строгих приговоров: если верить VB, то с декабря прошлого года Dr.Web показал неудовлетворительные результаты в четырех сравнительных тестированиях подряд.

Впрочем, без пиетета Шаров относится и к остальным тестерам. По его мнению, раз уж антивирусные компании предоставляют свои продукты на растерзание, то вполне резонно ожидать не только результатов, но и подробностей об условиях, в которых проходило тестирование, а это, увы, случается далеко не всегда. А когда тестеры раскрывают методологию, то к ним возникает множество дополнительных вопросов. К примеру, Андреас Клементи из av-comparatives.org всегда присылал пропущенные антивирусом во время тестирования файлы, однако "часть этих файлов относится к так называемым неподтвержденным вирусам - в них имеется испорченный или ошибочный, но совершенно безопасный вирусный код". Какие-то антивирусы на эти файлы реагируют, продолжает Шаров, какие-то нет, но ведь "речь идет о детектировании опасности!" Конечно, тестеру трудно самостоятельно проверить 800 тысяч файлов, для этого нужно слишком много ресурсов, тем не менее на этой непроверенной базе составляется рейтинг, который, так или иначе, влияет на выбор пользователей. О том, что Клементи собирается брать с производителей антивирусов деньги за тестирование, Шаров говорит с улыбкой: "По-нашему, независимый тестер должен быть независим от тех, кого тестирует".

В компании Symantec ничего страшного в "безопасных вирусах" не видят. "Мы считаем, что программа антивирус должна отлавливать такие файлы, - говорит Яфизов, - поскольку дело не только в опасности файла. Важно и то, как он был заражен или испорчен вирусом - такая информация позволит проследить распространение вируса". Ситуацию же с платными независимыми тестами "Доктор Веб" и Symantec расценивают одинаково: от кого получаешь деньги, от того и зависишь.

У Лаборатории Касперского своя позиция. Гребенников согласен с Шаровым в том, что коллекции для тестов должны подбираться более ответственно, но против денежных претензий тестеров не возражает: "Тестирование требует времени и ресурсов, и вендоры, понимая это, по большей части готовы платить за проведение тестов. Подчеркиваю: не за результаты, а за процесс".

Николай Гребенников, лаборатория Касперского

О недостатках нынешних тестов

- Существует много методов динамической защиты, которые практически не рассматриваются независимыми тестирующими лабораториями. И дело не в том, что кто-то этого не понимает, а в том, что процесс подготовки и проведения тестов очень трудоемок. Практика тестирования должна соответствовать практике научного эксперимента. Любой человек должен иметь возможность, взяв исходные данные, повторить тестирование. Коллекцию, на которой тестируются программы сейчас, никто не готов предоставлять.

Методики тоже непрозрачны. Закрытость тестирования сама по себе всегда будет вызывать недоверие.

Об Amtso и будущем

- После того как AMTSO выработает общие для всех методики, тестовые лаборатории, входящие в эту организацию, как мы надеемся, начнут их применять. Перед лабораториями, не входящими в AMTSO, двери никто не закрывает. Журналистам и другим заинтересованным сторонам вне отрасли будут предложены упрощенные процедуры и методы, которые можно использовать для не слишком трудоемких тестов. Эти тесты не будут всесторонними, зато ограничения в процедуре будут четко обозначены и одинаковы для всех. И результаты тестов будут одинаковы. То, что сейчас творится с результатами, порой просто фантастика…

О том, пишут ли вирусы сами антивирусные компании

- Даже если не брать во внимание этическую сторону этого вопроса, вирусов, ежедневно появляющихся в интернете, более чем достаточно, чтобы не думать о написании своих. Доказать непричастность мы не можем. Впрочем, специалисты в таких доказательствах и не нуждаются.

Эпидемия всегда имеет источник. Практика борьбы с вирусом всегда предполагает и отслеживание этого источника. Представьте, что будет, если наш конкурент раскрутит ниточку, которая приведет его в Лабораторию Касперского. Компанию можно будет закрывать. Ни мы, ни наши коллеги не станем писать вирусы хотя бы из-за репутационных издержек. Именно поэтому мы очень тщательно проверяем биографии всех новых сотрудников, и, если выясняется, что человек в прошлом имел отношение к написанию вредоносного кода, то он в Лаборатории работать не будет.

Никому не выгодно?

В самом деле, откуда тестерам брать деньги на свое нелегкое дело? Заинтересованными должны быть крупные компании и правительства, считает Шаров, так как они больше других страдают от необъективности тестов.

Яфизов приводит в качестве примера модели для бизнеса все ту же лабораторию Virus Bulletin и издаваемый ею одноименный журнал. По мнению Гребенникова, за тесты продукта не должен платить потребитель - это вообще не принято ни в одной отрасли.

Однако провести грань между деньгами за тестирование и деньгами за результат иногда непросто. Подкуп может мерещиться даже там, где никакой мзды не просят вовсе, во всяком случае, все три наших собеседника имеют подозрения в нечистоплотности того или иного независимого тестера.

Позиции всех трех компаний близки и в том, что большая часть имеющихся тесто себя изжила. "Разные продукты обеспечивают защиту компьютера разными методами, - говорит Гребенников. - При их тестировании нужно проверять все подсистемы, которые обеспечивают защиту, а не опускаться до простой констатации того, кто сколько вирусов пропустил. Важно и детектирование, и уровень ложных срабатываний, и производительность, и самозащита программ". Гребенникова заочно дополняет Яфизов: "Пожалуй, нужно уходить от чистого тестирования на предмет вылавливания вирусов и двигаться в сторону проверки комплексных решений.

Ограничиваться прогонкой списка файлов нельзя уже очень давно".

Подводя промежуточный итог, можно нарисовать следующую мрачную картину. Те авторитетные тесты, в которые хоть кто-то верит, далеки от идеала. Все согласны, что методология тестов должна быть четкой и открытой. Тестирование требует значительных усилий и материальных затрат, а раз в деле замешаны деньги, то при желании в работе тестера можно всегда разглядеть руку и кошелек конкурента. По вопросам финансирования тестеров вендоры не единодушны, как и в подходе к методикам тестов. Но, может быть, методологией нас вскоре снабдит Anti-Malware Testing Standards Organization?

Рамиль Яфизов, Symantec

О ситуации с тестированием

- Существуют лаборатории, так или иначе связанные с конкретным производителем антивируса, но неспециалисту порой трудно это понять. В обзорах частенько используется тот тест, который выгоден заказчику, - таков маркетинг. Это очень большая проблема - склеенную подобным образом рекламу со ссылкой на авторитетного тестера пользователь съест за милую душу.

О том, как выбрать антивирус

- Нужно посетить (виртуально, конечно) несколько лабораторий, называющих себя независимыми; может быть, найти рейтинг лабораторий, почитать отзывы. Иногда, правда, рейтинги берутся с форумов, и это тоже больной вопрос. Маркетинг через форумы - явление распространенное.

О независимости тестов

- Мы хотели бы, чтобы лаборатории были независимыми. Если есть спонсорство со стороны заинтересованной компании, то кто ж поверит таким тестам? Даже если какая-то лаборатория возьмет со всех участников тестов, скажем, по сто долларов, все равно такое "независимое" тестирование будет некорректным, поскольку предполагает исключение тех, кто не заплатил.

Пусть лаборатория, претендующая на независимость, упрочивает собственную репутацию, раскручивает свой брэнд и находит деньги не в кармане вендора, а продавая информацию о своих тестах пользователям и СМИ.

О том, что производители антивирусов вирусы не пишут

- Это извечный вопрос, который задается с первого появления антивирусных программ. Но количество нового вредоносного кода таково, что даже крупная компания, во-первых, полностью загружена по отлову заразы и написанию "противоядий", а, во-вторых, физически не способна все это произвести. Но и это не главное. А главное - это то, что ни мы, ни другая, уважающая себя компания, не стали бы рисковать всем, включая само существование фирмы, ради непонятно чего.

Amtso и стандарты

"Ничего нельзя сделать. Кардинально сейчас ничего не меняется. Есть тестеры с высокой репутацией, появляются и новые компании, которым заслужить репутацию непросто", - отвечает Яфизов на вопрос о том, можно ли создать тест, который устроит если не всех производителей, то подавляющее большинство.

Шаров (отказавшийся комментировать непосредственно инициативы AMTSO) в принципе смотрит на проблему независимости тестов с пессимизмом, констатируя, что он не знаком с тестерами, финансируемыми не антивирусными компаниями. Гребенников же полагает, что AMTSO поможет решить проблемы с непохожими друг на друга тестами; более того, первый тест на общих принципах (пока не выработанных) появится уже в конце следующего года. "В мире пока нет единого центра, который бы мог тестировать все системы защиты. Когда объединяются столько разных компаний, - говорит Николай, - проблем не избежать. Я считаю, что дело на месте не стоит, вопросы обсуждаются, позиции сближаются. Конечно, если есть сорок компаний и десять из них с чем-то не согласны, то решение будет приниматься оставшимися тридцатью". Впрочем, Гребенников тут же добавляет, что главная проблема заключается в том, что процесс тестирования крайне трудоемок, организовать и провести его крайне сложно.

В том, что даже появление тестов AMTSO ситуацию вряд ли изменит, сомнений почти нет. Парадоксально, но сегодняшняя ситуация худо-бедно устраивает почти всех производителей и тестеров, тогда как единый и общепринятый стандарт в области тестирования антивирусов никому, в общем-то, не нужен - ни тестерам, поскольку для проведения тестирования по чужим лекалам вполне хватит одной-единственной компании, ни производителям, поскольку сегодняшняя анархия обеспечивают какую-никакую свободу маневра: если результаты теста производителю не по вкусу, он всегда может обвинить тестера в необъективности и отказаться от участия в дальнейшем тестировании.

Так что, даже если случится чудо и на какое-то время индустрия поддержит AMTSO, согласие продлится недолго - спрос на альтернативные решения очевиден, а значит, на рынке довольно скоро появятся не зависящие от AMTSO и ее стандартов тестовые лаборатории.

И все начнется сначала.

Борис Шаров, "доктор веб"

О работе тестеров

- Антивирусная компания ежедневно перелопачивает груды вирусов, делает нужное обществу дело, спасает людей. А тестеры на этом паразитируют. Какая от них польза?

О подходах к тестированию

- Когда один антивирус сравнивают с другим, разговор переходит к абстракциям.

Как провести тест? Первое, что приходит на ум: посмотрим, как программы детектируют вирусы. Этим почти все и занимаются. Но как отобрать сэмплы для тестирования? Ведь всегда можно подобрать коллекцию под конкретный антивирус, что открывает широкие возможности для обеления избранных! Поэтому мы считаем, что целесообразнее говорить о том, кто из нас хуже остальных.

О том, выгодна ли индустрии победа над вирусами

- Думаете, не выгодна? Но такое можно сказать про любых поставщиков безопасности. Врачи распространяют грипп, пожарные занимаются поджогами. Все мы паразитируем на бедах людей. Но если серьезно: то, с чем мы боремся, это криминальная индустрия без конца и края. С ней не справиться, как не справиться с наркотиками.Никогда. По крайней мере, пока не изменится человеческая мораль.