Обнаружение нетривиальных аномалий методами Data Mining. - презентация

1 Обнаружение нетривиальных аномалий методами Data Mining

2 BaseGroup Labs Что считать аномалией? Одна из идей обнаружения операций, связанных с противодействием легализации преступных доходов связана с выявлением аномалий, т.е. действий не соответствующих «общепринятым». Подобная аномалия не является однозначным свидетельством о нарушение закона – это механизм интеллектуальной фильтрации, позволяющий выделить объекты, на которые нужно обратить внимание.

3 BaseGroup Labs Методы обнаружения Существует множество механизмов подобной фильтрации. Ни один из них не обеспечивает должного качества, но комбинация методов позволяет получить приемлемые результаты: «Черные» и «белые» списки Жесткие правила Нечеткие правила Статистические методы Самообучающиеся алгоритмы Имитационное моделирование

4 BaseGroup Labs Data Mining Методы Data Mining позволяют стоить модели, решающие задачи: кластеризации, классификации, регрессии, ассоциации и последовательности. Любая из построенных моделей позволяет «предсказывать» поведение объектов. Объекты, поведение которых отличаются от предполагаемого должны стать источником пристального изучения.

5 BaseGroup Labs Достоинства Data Mining Важным преимуществом использования методов Data Mining является их адаптивность, способность к самообучению. Преступники постоянно меняются. Система каждый раз, получая новые данные, должна учитывать эти изменения. Кроме того, Data Mining алгоритмы автоматически способны обрабатывать огромные объемы данных.

6 BaseGroup Labs Сложности идентификации Несмотря на всю мощь, только использование Data Mining не позволяет полностью покрыть потребности при анализе противозаконной деятельности. Необходимо уметь применять максимально широкий спектр подходов: консолидация, визуализация, нечеткая логика, моделирование… Любой механизм контроля можно обойти – чем больше разнородных подходов используется, тем сложнее обмануть систему.

7 BaseGroup Labs Цель работы системы Нереально создать абсолютно надежную систему, но целью является другое – создание механизма при котором невозможно «дважды наступить на одни и те же грабли». Классифицировать опасность Реализовать сценарий ее обнаружения Проводить регулярный мониторинг Выявлять новые потенциальные опасности

8 BaseGroup Labs Кто будет пользоваться? Современные методы построения моделей достаточно мощные, но нет достаточного количества людей, способных ими воспользоваться – это главная проблема. Готовые системы не помогут – преступники постоянно изменяются, придется адаптироваться и экспертам, занимающихся их обнаружением. Необходимо обучение экспертов и тиражирование их знаний.

9 BaseGroup Labs Тиражирование знаний Тиражирование знаний – единственный способ поставить механизм выявление нетривиальных аномалий на поток. Для реализации необходимо реализовать 4 блока: Консолидация данных и обеспечение к ним удобного доступа экспертов Формализация знаний экспертов – реализация сценариев обнаружения отклонений Визуализация – отображение информации понятным конечному пользователю способом Доставка информации до потребителя

10 BaseGroup Labs BaseGroup Labs – профессиональный поставщик Data Warehouse, OLAP, KDD, Data Mining решений и инструментов. Web-сайт: Образование: edu.basegroup.ruedu.basegroup.ru