МЕТОДЫ ОБНАРУЖЕНИЯ ПИСЕМ- ТРАНСФОРМЕРОВ Ермакова Лиана. - презентация

1 МЕТОДЫ ОБНАРУЖЕНИЯ ПИСЕМ- ТРАНСФОРМЕРОВ Ермакова Лиана

2 Понятие спама Спам - это анонимные незапрошенные массовые рассылки электронной почты (Лаборатория Касперского) Но: Спам в социальных сетях Спам в IM

3 Методы борьбы со спамом Black list White list Grey list Анализ заголовков Байесовская фильтрация по словам Генетические алгоритмы и ручное выставление весов Обнаружение повторов и признак массовости Интегрирующие системы

4 Сигнатурные подходы Синтаксические Оперируют цепочками слов «Шинглы»: вычисление контрольных сумм для всех подцепочек текста построение случайной выборки из полученного набора Лексические Оперируют словарем Метод опорных векторов

5 Сообщения-трансформеры Сообщения, имеющие сходное содержание, но различные по форме Каждое отдельное письмо выглядит как обычный связный текст, и, только имея много копий сообщения, можно установить факт перефразировки

6 Классификация спама По структуре: спам, замаскированный под личную корреспонденцию спам, замаскированный под легальные массовые рассылки рекламный спам По тематике: Нигерийские письма Цепочечные письма «страшилки» письма счастья Быстрый заработок Реклама Программное обеспечение Медикаменты Образование Финансы Страхование…

7 Методы трансформирования сообщения Транслитерация Намеренные опечатки Синонимия Замена букв цифрами и наоборот (4-ч, 0-о, 3-з, 1-l) Замена кириллических символов схожими символами латиницы (k-к, а-a, Н –H и т.д.) Введение дополнительных символов («Вы хотите ве рнуть вашего любимо го челове ка навсегда и полность ю избавиться от измен?») Чередование различных символов (например, в номерах телефонов) Варьирование электронного адреса Варьирование ссылок…

8 Алгоритм выявления писем- трансформеров На основе квантитативных характеристик с применением машины опорных векторов новое сообщение относится к той или иной категории В качестве уточняющего признака используется триграммное сходство с учетом расстояния Дамерау- Левенштейна и выявленных правил замены символов

9 Квантитативные характеристики доля полнозначных и служебных слов доля предложений, слов и абзацев определенной длины доля вхождения каждой части речи (краткие и полные формы прилагательных и причастий мы считали различными частями речи) количество знаков препинания совстречаемость частей речи и т.д. Общее число признаков – 135

10 Доли последовательностей частей речи

11 базы Мера сходства, вычисленная при помощи триграмм sWEVIE BAZY pRODAVA BAZ ADRESOW (ADRESA DLQ RASSYLOK) aDRESA DLQ RASSYLOK pRODAVA BAZ ADRESOW (ADRESA DLQ RASSYLOK)

12 ЕГРЮЛ В начале года всегда возникает потребность в "свежих" выписках ЕГРЮЛ и справках Госкомстата. Предлагаем Вам: получение выписки ЕГРЮЛ за 1,2ОО рублей справки Госкомстата за руб. заказ выписки ЕГРЮЛ + справки Госкомстата составит всего 2.0ОО рублей Доставка курьером, оплата по факту. Контактная информация В начале года всегда возникает необходимость в "свежих" выписках ЕГРЮЛ и справках Госкомстата. Мы предлагаем Вам: получение выписки ЕГРЮЛ за 1 2ОО рублей справки Госкомстата за 1 тыс. 200 р. заказ выписки ЕГРЮЛ + справки Госкомстата составит всего 2 тыс. 0ОО руб-й. Доставка курьером, оплата по факту. Телефон: _07;68 В начале года всегда возникает потребность в "свежих" выписках ЕГРЮЛ и справках Госкомстата. Мы предлагаем Вам: получение выписки ЕГРЮЛ за 1 тыс. 200 руб-й справки Госкомстата за рублей. заказ выписки ЕГРЮЛ + справки Госкомстата составит всего 2,000 р. Доставка курьером, оплата по факту. Контакты + 7(495) Мера сходства, вычисленная при помощи триграмм

13 Параметры машины опорных векторов для определения писем-трансформеров на русском языке Sample size = 707 (Train), 236 (Test), 943 (Overall) Support Vector machine results: SVM type: Classification type 1 (capacity=10,000) Kernel type: Radial Basis Function (gamma=0,007) Number of support vectors = 118 (0 bounded) Support vectors per class: 94 (0), 16 (1), 8 (2) Class. accuracy (%) = 100,000(Train), 100,000(Test), 100,000(Overall)

14 Знакомства La preghiamo di rispondere solo alla mia personale e- Tua amica Haykanush. La preghiamo di rispondere solo alla mia personale e- Tua amica Haykanush. La preghiamo di rispondere solo alla mia personale e- Tua amica Haykanush. Мера сходства, вычисленная при помощи триграмм

15 Медикаменты ТемаТекст Desire to impress and please your lover tonight The only bluepill you need to get bigger python. html Gain in size and win your wife's addiction Desire to act like a pornstar? Bang a magicpilule! 6w3lf.html Wish to act like a porn-director Nail a blu colored med! 0% amorous failure risk agzeib.html Dream to act like a porn-director Bang a blu colored pil! Long manliness is great 8qan.html Мера сходства, вычисленная при помощи триграмм

16 Казино ТемаТекст Comme Faire _200 de _20 - nous APPRENDRONS Bonne journee Jessikaparsons, { Accueillez la fortune dans votre vie avec de grandes opportunitйs de gagner, avec lassurance que vos informations personnelles sont protйgйes et vos gains seront payйs rapidement. Une demi-heure et Ђ200 dans ta poche Gagner _100 pour une demi-heure c'est rйel Du jour reussi Shirley_patel, { Il y a de grandes promotions auxquelles vous pouvez participer et qui vous promettent encore plus de plaisirs et de faзons de gagner. Faire Ђ100 pour une demi-heure - Apprendre? Faire -100 pour une demi-heure - Apprendre Bonne journee Nvshamshik, { Il y a de grandes promotions auxquelles vous pouvez participer et qui vous promettent encore plus de plaisirs et de faГons de gagner. Gagner -100 pour une demi-heure c'est rИel Jouer ici, c'est le bonheur ! Telechargez maintenant { On ne peut pas faire plus simple, il suffit de vous inscrire, de faire un versement et vous recevez un fantastique bonus de bienvenue - alors foncez et gagnez ! La meilleure selection de jeu sur internet ! Jouez ici Jouez plus, gagnez plus Salut Shea.swan Des options bancaires sыres qui conviendront а tous sont disponibles. Relaxez-vous et soyez certains que vos informations confidentielles sont sйcurisйes et ne seront p& #97;s divulguйes. { aimeriez-vous commencer au mieux dans le jeu en ligne avec 1,200 Gratuits? Ils sont dйjа а vous, rйclamez-les, jouez et gagnez!

17 Другие примеры

18 Выводы Контентная фильтрация применима для различных систем обмена сообщениями (электронная почта, IM, социальные сети), т.к. онa не опирается на служебную информацию Особо рассматривается проблема обнаружения намеренно искаженных фрагментов Предлагается метод детектирования массовых сообщений, фильтрация которых затруднительна из-за меняющегося контента. Рассматриваются возможности увеличения производительности за счет использования методов Монте- Карло Предложенный двушаговый метод обнаружения писем- трансформеров в почтовом потоке является улучшением сигнатурного метода

19 Спасибо за внимание!