Докладчики: Ефимова Наталья Балукова Елена. План История возникновения Постановка задачи Типы закономерностей Классы систем Примеры систем Бизнес-приложения. - презентация

1 Докладчики: Ефимова Наталья Балукова Елена

2 План История возникновения Постановка задачи Типы закономерностей Классы систем Примеры систем Бизнес-приложения

3 Специфика переработки информации: Данные имеют неограниченный объем Данные являются разнородными Результаты должны быть конкретны и понятны Инструменты для обработки должны быть просты

4 Илья Иосифович Пятецкий-Шапиро

5 Постановка задачи: Имеется достаточно крупная база данных Предполагается наличие«скрытых знаний» Необходимо разработать методы обнаружения знаний, скрытых в больших объёмах исходных «сырых» данных. Скрытые знания: Ранее не известные Нетривиальные Практически полезные Доступные для интерпретации

6 OLAP Data Mining Каковы средние показатели травматизма для курящих и некурящих? Какие факторы лучше всего предсказывают несчастные случаи? Какова средняя величина ежедневных покупок по украденной и не украденной кредитной карточке? Какие схемы покупок характерны для мошенничества с кредитными карточками?

7

8 Типы закономерностей: Ассоциация Последовательность Классификация Кластеризация Прогнозирование

9

10 Классы систем Предметно-ориентированные аналитические системы Статистические пакеты Нейронные сети

11

12 Классы систем Предметно-ориентированные аналитические системы Статистические пакеты Нейронные сети Системы рассуждений на основе аналогичных случаев

13

14 Классы систем Предметно-ориентированные аналитические системы Статистические пакеты Нейронные сети Системы рассуждений на основе аналогичных случаев Деревья решений

15

16 Е (давать заем) = {17250 х 0, х 0,04} = = = 1560 ф. ст. В кружке Б: Е (не давать заем) = {16350 х 1, } = 1350 ф. ст.

17 Классы систем Предметно-ориентированные аналитические системы Статистические пакеты Нейронные сети Системы рассуждений на основе аналогичных случаев Деревья решений Эволюционное программирование

18 Муравьиный алгоритм

19 Классы систем Предметно-ориентированные аналитические системы Статистические пакеты Нейронные сети Системы рассуждений на основе аналогичных случаев Деревья решений Эволюционное программирование Генетические алгоритмы

20

21 Классы систем Предметно-ориентированные аналитические системы Статистические пакеты Нейронные сети Системы рассуждений на основе аналогичных случаев Деревья решений Эволюционное программирование Генетические алгоритмы Алгоритмы ограниченного перебора

22 X = a X < a X a a < X < b и др., где X – параметр программы, "a" и "b" - константы.

23 Классы систем Предметно-ориентированные аналитические системы Статистические пакеты Нейронные сети Системы рассуждений на основе аналогичных случаев Деревья решений Эволюционное программирование Генетические алгоритмы Алгоритмы ограниченного перебора Системы для визуализации многомерных данных

24 Классы систем Предметно-ориентированные аналитические системы Статистические пакеты Нейронные сети Системы рассуждений на основе аналогичных случаев Деревья решений Эволюционное программирование Генетические алгоритмы Алгоритмы ограниченного перебора Системы для визуализации многомерных данных

25

26 Характеристики систем Data Mining: Интуитивный интерфейс Удобство экспорта/импорта данных Наглядность и разнообразие получаемой отчетности Легкость обучения работы с инструментарием Прозрачные и понятные шаги Data Mining-процесса Руководство пользователя Удобство и простота использования Наличие русифицированной версии инструмента Наличие демонстрационной версии Возможности визуализации Наличие значений параметров, заданных по умолчанию Количество реализуемых методов и алгоритмов Скорость вычислений и скорость представления результатов Возможности поиска, сортировки, фильтрации. Защита, пароль. Платформы

27

28 Уровень предприятия: Fair Isaac, IBM, Insightful, KXEN, Oracle, SAS, SPSS. Уровень отдела: Angoss, CART/MARS/TreeNet/Random Forests, Equbits, GhostMiner, Gornik, Mineset, MATLAB, Megaputer, Microsoft SQL Server, Statsoft Statistica, ThinkAnalytics. Личный уровень: Excel, See5. Свободно распространяемое программное обеспечение: C4.5, R, Weka, Xelopes.

29

30

31

32

33 Oracle Data Mining ЗНАТЬ БОЛЬШЕ ДЕЛАТЬ БОЛЬШЕ ТРАТИТЬ МЕНЬШЕ

34 Oracle Data Mining

35 Oracle Data Mining позволяет: Создавать профили целевых (например, выгодных) заказчиков Предупреждать и предотвращать недовольство заказчиков Привлекать новых заказчиков и выявлять наиболее выгодных Выявлять перспективные возможности перекрестных Продаж Обнаруживать злонамеренную деятельность, не соответствующую политике компании Находить новые группы или сегменты Создавать профили заказчиков Определять перспективные цели, а также выявлять не пользующийся спросом товар и предлагать идеи по его реализации Находить ассоциативные связи и/или одновременные события Добыча неструктурированных данных – текста и пространственных данных

36 Алгоритмы, реализованные в Oracle Data Mining Классификационные моделиNa_ve Bayes, Adaptive Bayes Network Классификации и регрессионные модели Support Vector Machine Поиск существенных атрибутовMinimal Descriptor Length КластеризацияEnhanced K-means, O-cluster Поиск ассоциацийApriory Algorithm Выделение признаковNon-Negative Matrix Factorization

37 select cust_id from customers where region = US and prediction_probability(churnmod, Y using *) > 0.8;

38 Select customers who are more than 85% likely to be HIGH VALUE customers & display their AGE & MORTGAGE_AMOUNT SELECT * from( SELECT A.CUST_ID, A.AGE, MORTGAGE_AMOUNT,PREDICTION_PROBABILITY (CUST_INSUR_LT46939_DT, 'VERY HIGH' USING A.*) prob FROM CBERGER.CUST_INSUR_LTV A) WHERE prob > 0.85;

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57 Бизнес-приложения Розничная торговля Банковское дело Телекоммуникации Страхование Медицина Молекулярная генетика и генная инженерия Прикладная химия

58 Спасибо за внимание!