Интеллектуальный анализ данных Косяков Иван Архитектор (SQL-BI), Microsoft i-ivanko@microsoft.comi-ivanko@microsoft.com, - презентация

1 Интеллектуальный анализ данных Косяков Иван Архитектор (SQL-BI), Microsoft

2 Содержание Обзор технологии Excel DM Add-ins Разработка в BIDS Ресурсы

3 Сценарии интеллектуального анализа Поиск прибыльных клиентов Потребности клиентов Упреждение смены клиентов (анализ лояльности) Предсказание продаж

4 Модель Процесс интеллектуального анализа DM Engine Тренировочные данные Предсказываемые данные Модель Данные с пред- сказаниями Модель

5 Интеллектуальный анализ данных с использованием Data Mining Add-ins Analysis Services Data Mining Add-ins Размещение Результаты

6 Закладка «Analyze» Простейший вариант Определение данных Выбор задания Получение результатов

7 Закладка «Data Mining» Итерационный процесс (CRISP) Подготовка данных Моделирование Измерение точности Использование модели

8 Analysis Services Server Server Модель Модель Алгоритм Алгоритм Источ- ник Серверная архитектура DM Excel / Visio / SSRS / ваше приложение OLE DB/ADOMD/XMLA/AMO Развер- тывание BIDSExcelVisioSSMSBIDSExcelVisioSSMS Данные

9 Алгоритмы интеллектуального анализа данных Decision Trees Association Rules Clustering Naïve Bayes Sequence Clustering Time Series Neural Nets Linear Regression Logistic Regression

10 Алгоритм дерева принятия решений (Decision Trees) Используйте для: Классификации: анализ рисков и перехода клиентов Регрессии: предсказание прибыли или дохода Анализа ассоциаций, основанного на предсказании нескольких переменных Строит одно дерево для каждого предсказываемого атрибута Быстрый

11 Упрощенный алгоритм Байеса (Microsoft Naïve Bayes) Используется для: Классификации Ассоциации с несколькими предсказываемыми атрибутами Предполагает, что все входные данные независимы Простой механизм классификации, основанный на вероятности выполнения условий Требует меньшего количества вычислений

12 Алгоритмы линейной и логистической регрессии Линейная регрессия Находит лучшую прямую через набор точек Логистическая регрессия Находит кривую путем применения логистического преобразования Используются для предсказательного анализа (определения отношений между числовыми атрибутами)

13 Алгоритм кластеризации (Clustering) Применим к: Сегментации: группировка клиентов, маркетинговая рассылка предложений Также: классификация и регрессия Обнаружение аномалий Дискретные и непрерывные атрибуты Замечания: Атрибуты «Predict Only» нельзя использовать

14 Кластеризация Обнаружение аномалий Мужчина Женщина Сын Дочь Родитель Возраст

15 Применим к: классификации регрессии Хорош для нахождения сложных взаимосвязей между атрибутами Но сложно интерпретировать результаты Алгоритм нейронной сети (Neural Network) AgeEducationSexIncome Input Layer Hidden Layers Output Layer Loyalty

16 Алгоритм взаимосвязей (Association Rules) Используйте для анализа: Анализа рыночной корзины Кросс-продаж и рекомендаций Находит часто встречающиеся наборы элементов и связей Чувствителен к параметрам

17 Кластеризация последовательностей (Sequence Clustering) Анализ: Поведения клиентов Шаблонов транзакций Потока переходов по ссылкам Сегментации клиентов Предсказания последовательностей Смешение технологий кластеризации и анализа последовательностей Группирует субъекты по признакам включая последовательности действий

18 Алгоритм временных рядов (Time Series) Варианты использования: Прогноз продаж Предсказания остатков Предсказание переходов в Web Расчет стоимости акций Технология регрессионных деревьев для описания и предсказания непрерывных столбцов Дерево решений с авто- регрессией

19 Time Series Sequence Clustering Neural Nets Naïve Bayes Logistic Regression Linear Regression Decision Trees Clustering Association Rules Классификация Расчеты Сегментация Ассоциация Прогноз Анализ текста Комплексный анализ данных

20 Множество подходов Эксперты баз данных и знающие SQL: DMX (аналогичен T-SQL) Импорт/экспорт с использованием PMML (Predictive Model Markup Language) Все: Business Intelligence Development Studio (BIDS) Работает в среде Visual Studio (включено!) Не требует кодирования Excel/Visio 2007 вместе с Data Mining Add-Ins The Data Mining tab – все возможности Table Analysis tab – меньше, но проще

21 Data Mining Extensions (DMX) «T-SQL» для Data Mining Просто, как написание скриптов Два типа запросов: Определение данных CREATE, ALTER, EXPORT, IMPORT, DROP Манипуляции с данными INSERT INTO, SELECT, DELETE

22 DMX аналогичен T-SQL CREATE MINING MODEL CreditRisk (CustID LONG KEY, Gender TEXT DISCRETE, Income LONG CONTINUOUS, Profession TEXT DISCRETE, Risk TEXT DISCRETE PREDICT) USING Microsoft_Decision_Trees CREATE MINING MODEL CreditRisk (CustID LONG KEY, Gender TEXT DISCRETE, Income LONG CONTINUOUS, Profession TEXT DISCRETE, Risk TEXT DISCRETE PREDICT) USING Microsoft_Decision_Trees INSERT INTO CreditRisk (CustId, Gender, Income, Profession, Risk) Select CustomerID, Gender, Income, Profession,Risk From Customers INSERT INTO CreditRisk (CustId, Gender, Income, Profession, Risk) Select CustomerID, Gender, Income, Profession,Risk From Customers Select NewCustomers.CustomerID, CreditRisk.Risk, PredictProbability(CreditRisk.Risk) FROM CreditRisk PREDICTION JOIN NewCustomers ON CreditRisk.Gender=NewCustomer.Gender AND CreditRisk.Income=NewCustomer.Income AND CreditRisk.Profession=NewCustomer.Profession Select NewCustomers.CustomerID, CreditRisk.Risk, PredictProbability(CreditRisk.Risk) FROM CreditRisk PREDICTION JOIN NewCustomers ON CreditRisk.Gender=NewCustomer.Gender AND CreditRisk.Income=NewCustomer.Income AND CreditRisk.Profession=NewCustomer.Profession

23 CREATE MINING MODEL (создание модели) CREATE MINING MODEL ( ) USING [( )] [WITH DRILLTHROUGH]

24 CREATE MINING MODEL Пример CREATE MINING MODEL MyModel ( [CustID] LONG KEY, [Gender] TEXT DISCRETE, [Marital Status] TEXT DISCRETE, [Education] TEXT DISCRETE, [Home Ownership] TEXT DISCRETE PREDICT, [Age] LONG CONTINUOUS, [Income] DOUBLE CONTINUOUS ) USING Microsoft_Decision_Trees

25 INSERT INTO (обучение модели) INSERT INTO [MINING MODEL | MINING STRUCTURE] [( )]

26 PREDICTION JOIN (предсказание) SELECT [TOP ] FROM [ [NATURAL] PREDICTION JOIN AS [ ON ] [ WHERE ] [ ORDER BY ] ]

27 Программные интерфейсы Интеллектуальный анализ данных Интерфейсы Data Mining Analysis Server OLAP Data Mining Server ADOMD.NET.NET Stored Procedures Алгоритмы Microsoft Алгоритмы разработчииков WAN XMLA Over TCP/IP OLE DB ADO ADOMD.NET XMLA Over HTTP Любая платформа, любое устройство C++ App VB App.NET App Any App AMO

28 Что нового в SQL Server 2008? Расширения Data Mining Расширения в Mining Structures: Проще готовить и тестировать модели Модели позволяют осуществлять перекрестную проверку (cross-validation) Фильтрация моделей Обновления алгоритмов: Улучшен алгоритм временных рядов Анализ «что-если?» Ряд других улучшений

29 Ресурсы Многомерные данные Официальный сайт Microsoft SQL Server Сайт Microsoft BI Books Online – Многомерные данные ru/library/bb aspx ru/library/bb aspx Технические ресурсы:

30 Webcasts Интеллектуальный анализ данных Data Mining and BI for Enterprises Microsoft SQL Server 2005: Data Mining default.mspx default.mspx Microsoft SQL Server 2008: Data Mining /data-mining.aspx /data-mining.aspx

31 Ресурсы Интеллектуальный анализ данных Демонстрации и новости: AdventureWorksDW: Книга авторов Jamie MacLennan and ZhaoHui Tang Data Mining with SQL Server 2005, Wiley 2005, ISBN Также: blogs.msdn.com/jamiemac forums.microsoft.com/MSDN/ShowForum.aspx?ForumID=81& SiteID=1 forums.microsoft.com/MSDN/ShowForum.aspx?ForumID=81& SiteID=1 SQL Server Books Online aspx

32 Сообщества, блоги Russian Business Intelligence User Group Технологии BI на форуме sqlclub.ru Блог Ивана Косякова про Microsoft BI