WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Отчет «Спам-фильтрация: полевые испытания» Спам-фильтрация: полевые испытания Отчет о результатах тестирования российских спам-фильтров в реальных условиях предварительная версия © 2005, МОО ВПП ЮНЕСКО «Информация для всех» МОО ВПП ЮНЕСКО «Информация для всех» E-mail : contact@ifap.ru URL : www.ifap.ru © 2005, МОО ВПП ЮНЕСКО «Информация для всех» www.ifap.ru 1 Отчет «Спам-фильтрация: полевые испытания» Оглавление От авторов 3 Цели исследования 3 Предмет исследования 3 Методология 4 Статистика 5 Выводы 6 Примечания 7 Публикация № 050524/d/1 Исключительное авторское право на отчет «Спам-фильтрация: полевые испытания» принадлежит его авторам. Исключительные имущественные права на отчет «Спам-фильтрация: полевые испытания» принадлежат МОО ВПП ЮНЕСКО «Информация для всех».

В дополнение к нормам международного и российского права, охраняющего интересы правообладателей, последние устанавливают следующие условия использования отчета «Спамфильтрация: полевые испытания».

Отчет может свободно и без получения особого разрешения правообладателей распространяться в электронной форме в виде настоящего файла в формате Adobe Portable Document Format (PDF) при соблюдении следующих условий.

1. Данный файл не может быть модифицирован или отредактирован каким-либо образом, включая конвертацию в другие файловые форматы.

2. Данный файл может распространяться только на некоммерческой основе. Запрещается включение данного файла в банки данных с платным доступом или иное распространение его в составе платных продуктов (ресурсов).

Лицам, желающим использовать отчет «Спам-фильтрация: полевые испытания» на отличных, от вышеизложенных условиях, следует получить предварительное разрешение правообладателей.

© 2005, МОО ВПП ЮНЕСКО «Информация для всех» www.ifap.ru 2 Отчет «Спам-фильтрация: полевые испытания» От авторов Авторы отчета считают необходимым подчеркнуть, что для исследования использовался сравнительно небольшой массив сообщений электронной почты, поэтому полученные данные могут не соответствуют аналогичным средним показателям эффективности спам-фильтрации, приводимыми разработчиками «Спамтеста» и «Спамообороны».

В то же время, данные разработчиков не содержат, и не могут содержать сведений о ложных срабатываниях (false-positive и false-negative) спам-фильтров, то есть ошибочном отнесении легитимных писем к спаму, и наоборот.

Авторы не рекомендуют использовать данные отчета для экстраполяции на весь объем электронной почты, получаемой в России или в мире.

Цели исследования Отчет «Спам-фильтрация: полевые испытания» подготовлен Фондом цифровой эпохи (Digital Millennium Foundation) в рамках исследования эффективности технических мер противодействия распространению спама, осуществляемого в рамках Проекта «АнтиСпам».

Целью исследования является определение конечной эффективности технических мер противодействия распространению спама и выявление возможных побочных эффектов.

Предмет исследования В ходе «полевых испытаний» спам-фильтров российской разработки была исследована эффективность фильтрации спама фильтрами «Спамооборона», используемым в почтовой системе Яндекса, и «Спамтест», используемым в почтовой системе Mail.ru Для исследования были выбраны только эти два спам-фильтра, так как с их помощью фильтруется большая часть электронной почты, проходящей через бесплатные почтовые службы Рунета.

Результаты исследования должны выявить эффективность спам-фильтрации и уровень ложных срабатываний на реальном массиве сообщений электронной почты.

© 2005, МОО ВПП ЮНЕСКО «Информация для всех» www.ifap.ru Отчет «Спам-фильтрация: полевые испытания» Методология В качестве массива для исследования была использована часть входящего почтового трафика домена ifap.ru за период 13 апреля - 5 мая 2005 года. Почтовый сервер ifap.ru настроен таким образом, что не принимает сообщения на несуществующие адреса электронной почты. На почтовом сервере ifap.ru также используется спам-фильтрация на основе баз bl.SpamCop.net и relays.ORDB.org На период исследования с ролевых адресов домена ifap.ru таких, как contact@ifap.ru, была настроена переадресация на специально созданные для этих целей адреса в почтовых системах Яндекса и Mail.ru, а также на специально созданный почтовый адрес в домене ifap.ru Некоторое время на эти адреса также пересылалась вся входящая корреспонденция с персональных адресов в домене ifap.ru В сумме исследуемый массив составил 3.462 сообщения.

Сообщения из исследуемого массива относились к спаму на основании определения этого термина, предложенного в рамках Проекта «АнтиСпам»: спам - это сообщения электросвязи, посланные в адрес неопределенного круга пользователей услугами связи1.

Таким образом, к спаму были отнесены сообщения рекламного характера2 и объявления частных лиц, разосланные по их заказу профессиональными спамерами.

Характерными признаками сообщений, отнесенных к спаму, были поддельный обратный адрес и сокрытие реального IP адреса отправителя. Также к спаму были отнесены сообщения, содержащие вирусы и подобные им вредоносные программы.

Не были отнесены к спаму сообщения, не представляющие интереса для получателей, однако посланные непосредственно автором письма, с указанием реального адреса отправителя и без попыток сокрытия IP адреса отправителя.

В процессе исследования дополнительная настройка (обучение) спам-фильтров не производилась. То есть пропущенный спам не помечался как таковой, а отправители легитимных сообщений, ошибочно помещенных в папку «Спам» (Яндекс) или «Сомнительные» (Mail.ru), не вносились в «белый список».

При создании почтового адреса в почтовой системе Яндекс был выбран вариант «Рассылки доставлять в папку «Входящие».

© 2005, МОО ВПП ЮНЕСКО «Информация для всех» www.ifap.ru Отчет «Спам-фильтрация: полевые испытания» Статистика Таблица 1: Общая статистика IFAP.ru Яндекс Mail.ru Всего 3.462 2.114 1.Почта 1.270 (36,7%) 1.245 (58,9%) 1.018 (83,7%) Спам 2.192 (63,3%) 869 (41,1%) 198 (16,3%) Разница показателей в графе «Всего» может объясняться рядом причин:

• автоматическим удалением сообщений, содержащих вирусы;

• автоматическим удалением сообщений, посланных с IP адресов, занесенных в «черные списки», аналогичные bl.SpamCop.net и relays.ORDB.org;

• сбоями в работе почтовых серверов или при их взаимодействии.

Служебные заголовки части сообщений из исследуемого массива имели многочисленные поля Received, что было связано с их пересылкой с ролевых адресов на персональные. Возможно, это послужило причиной автоматического отсева таких сообщений тестируемыми фильтрами.

В исследуемом массиве имелось значительное число легитимных сообщений, посланных из стран «третьего мира» - Азии, Африки и Латинской Америки. Возможно, это послужило причиной автоматического отсева таких сообщений тестируемыми фильтрами.

Таблица 2: Ошибки определения Яндекс Mail.ru (Спамооборона) (Спамтест) Ошибочно спам 32 (1,5%) 145 (11,9%) Ошибочно почта 7 (0,3%) 64 (5,3%) Фактически почта 1.270 (60,1%) 1.099 (90,4%) Фактически спам 844 (39,9%) 117 (9,6%) Утерянная почта 0 (0%) 171 (14,1%) Ошибки Mail.ru в определении спама были в основном связаны с рассылками. В папку «Сомнительные» попали как рассылки от Subscribe.ru, Организации экономического содействия и развития, Организации объединенных наций и т.д., так и от «дружественного» сервиса - List.ru При этом необходимо отметить, что все полученные рассылки были произведены отправителями по инициативе получателей.

Однако те же самые рассылки периодически попадали в папку «Входящие». Учитывая, что ряд полученных рассылок (например, рассылка Всемирной организации интеллектуальной собственности), очевидно, не являются массовыми, домен адреса отправителя соответствует IP адресу отправителя и т.д., можно предположить, что отнесение таких рассылок к легитимным сообщениям или спаму происходит исключительно на основании анализа их содержания.

Ошибки Яндекса с определением легитимных сообщений были связаны только со спамом на английском языке. В то же время одни и те же рассылки у Яндекса так же, как и у Mail.ru могли с равным успехом оказаться как в папке «Входящие», так и в папке «Спам».

© 2005, МОО ВПП ЮНЕСКО «Информация для всех» www.ifap.ru Отчет «Спам-фильтрация: полевые испытания» Выводы 1. Автоматическая спам-фильтрация сообщений электронной почты может привести как к пропуску спама, так и к удалению легитимных писем. Следовательно, даже после применения спам-фильтрации сохраняется необходимость просмотра всех входящих сообщений получателем.

2. На использованном для исследования массиве сообщений электронной почты «Спамооборона» показала преимущество перед «Спамтестом».

3. Яндексу следует доработать систему «Спамооборона» в части фильтрации сообщений на английском языке, а, возможно, и на других языках, отличных от русского.

4. Яндексу стоит подумать о коммерческой эксплуатации системы спам-фильтрации «Спамооброна»3.

5. Необходимо продолжить исследование эффективности спам-фильтрации для получения более корректных данных.

© 2005, МОО ВПП ЮНЕСКО «Информация для всех» www.ifap.ru Отчет «Спам-фильтрация: полевые испытания» Примечания Рабочая группа Проекта «АнтиСпам» предлагает дополнить Федеральный закон «О связи» пунктом следующего содержания.

Формирование, передача и доставка сообщений электросвязи или почтовых отправлений в адрес неопределенного круга пользователей услугами связи допускается только по их инициативе.

В соответствии с определением, данным в Федеральном законе «О рекламе».

реклама - распространяемая в любой форме, с помощью любых средств информация о физическом или юридическом лице, товарах, идеях и начинаниях (рекламная информация), которая предназначена для неопределенного круга лиц и призвана формировать или поддерживать интерес к этим физическому, юридическому лицу, товарам, идеям и начинаниям и способствовать реализации товаров, идей и начинаний;

...

Настоящий Федеральный закон не распространяется на объявления физических лиц, в том числе в средствах массовой информации, не связанные с осуществлением предпринимательской деятельности.

Данный вывод был сделан до объявления Яндексом о начале реализации коммерческих продуктов, построенных на платформе «Спамооборона».

© 2005, МОО ВПП ЮНЕСКО «Информация для всех» www.ifap.ru




© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.