Анализ веб-данных. BaseGroup Labs Предпосылки На сегодняшний день всемирная сеть собрала в себе огромное количество информации. Из Интернета можно извлечь. - презентация

1 Анализ веб-данных

2 BaseGroup Labs Предпосылки На сегодняшний день всемирная сеть собрала в себе огромное количество информации. Из Интернета можно извлечь множество данных, которые содержат в себе знания, полезные субъектам сетевой экономики. Необходимость повышения экономической эффективности своей деятельности уже давно подталкивает предприятия к анализу накопившихся у них данных. Субъекты сетевой экономики нуждаются в специальных подходах к анализу веб-данных. Методы Web Mining решают эту задачу.

3 BaseGroup Labs Web Mining Web Mining – применение методов и алгоритмов Data Mining для обнаружения и поиска зависимостей и знаний в сети Интернет. В процессе анализа веб- данных решаются задачи кластеризации, ассоциации, классификации. Основные шаги: импорт данных из лог-файла; предобработка; выделение отдельных сессий; Data Mining; интерпретация.

4 BaseGroup Labs Основные цели Web Mining Узнать, кто посещает сайт Выяснить, какие типы людей являются покупателями Выявить типичные сессии и навигационные пути пользователей сайта Выделить группы и сегменты среди посетителей сайта Найти зависимости и правила в посещениях сайта.

5 BaseGroup Labs Информация для анализа Данные о посещениях сайта хранятся в лог-файлах веб- сервера. Фактически они представляют собой текстовые файлы с разделителями и способны импортироваться в аналитические платформы [08/Mar/2010:18:35: ] GET /img/btn_close.gif HTTP/ Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv: ) Gecko/ AdCentriaIM/1.7 Firefox/ sputnik [08/Mar/2010:18:35: ] GET /img/formuls/math_921_c5da77d27189b563b0346a015babea75.png HTTP/ Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv: ) Gecko/ AdCentriaIM/1.7 Firefox/ sputnik

6 BaseGroup Labs Предобработка и очистка Данные, полученные из веб-лога, нуждаются в очистке и предобработке. Можно выделить следующие шаги: удаление записей, содержащих запросы графических файлов; удаление записей, отражающих активность веб-ботов; выделение отдельных сессий посетителей сайта.

7 BaseGroup Labs Записи с запросами графических файлов Вместе с текстом запрошенной страницы сервер присылает пользователю и все объекты, находящиеся на ней, например графические файлы. Таким образом, в веб-лог заносится несколько записей. Используя строковые функции и фильтры, можно получить сценарий, который удаляет лишние записи из набора данных [08/Mar/2010:18:35: ] GET /img/btn_close.gif HTTP/ Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv: ) Gecko/ AdCentriaIM/1.7 Firefox/ sputnik

8 BaseGroup Labs Записи об активности веб-ботов Веб-боты постоянно сканируют сайт. Их поведение существенно отличается от человеческого. Записи об активности веб-ботов необходимо удалить из набора данных, чтобы алгоритмы Data Mining не выдали ложных результатов. В таких записях вместо названия браузера будет стоять имя веб-бота, например GoogleBot. Поэтому для их поиска в логе достаточно использовать строковые функции [08/Mar/2010:18:35: ] GET /img/formuls/math_921_c5da77d27189b563b0346a015babea75.png HTTP/ Googlebot- Image/1.0

9 BaseGroup Labs Выделение отдельных сессий Каждый пользователь может посещать сайт за определенный период несколько раз. При этом цели визита могут быть различными. В связи с этим выделяют различные сессии у каждого пользователя и рассматривают их как отдельные транзакции [08/Mar/2010:18:35: ] GET /solutions HTTP/ Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv: ) Gecko/ AdCentriaIM/1.7 Firefox/ sputnik [10/Mar/2010:12:27: ] GET /library/ HTTP/ (Windows; U; Windows NT 5.1; ru; rv: ) Gecko/ AdCentriaIM/1.7 Firefox/ sputnik http://

10 BaseGroup Labs Анализ с помощью средств визуализации Самым простым методом анализа веб-данных является их визуализация. Она включает : таблицы; диаграммы; графики; OLAP-отчеты; прочие визуальные методы представления данных.

11 BaseGroup Labs Визуализация: диаграммы Регулярный спад посещаемости по субботам Понедельник Вторник Среда Четверг Пятница Суббота Воскресенье Понедельник Вторник Среда Четверг Пятница Суббота Воскресенье Понедельник Вторник Среда Четверг Пятница Суббота Воскресенье Понедельник Вторник Среда Четверг Пятница Суббота Воскресенье Понедельник Вторник Среда День недели Количество сессий

12 BaseGroup Labs Визуализация: OLAP Кубы – удобное средство для визуализации многомерных данных. Количество не-загруженных страниц из-за ошибок на сервере Количество успешно загруженных страниц

13 BaseGroup Labs Методы Data Mining Алгоритмы и методы Data Mining активно применяются в Web Mining и полезны для: сегментации посетителей сайта и их сессий; анализа рыночной корзины покупателей интернет-магазина; выявления популярных навигационных путей; поиска сессий с большим количеством действий и высокой продолжительностью.

14 BaseGroup Labs Методы очистки и предобработки данных Алгоритмы кластеризации могут быть использованы для поиска аномалий. Подозрительные записи собираются в отдельном кластере и их доля в общей массе мала. Сессии с большим количеством действий и высокой продолжительностью Количество действий 0 Продолжительность сессии

15 BaseGroup Labs Сегментация С помощью алгоритмов кластеризации можно проводить сегментацию посетителей или их сессий в зависимости от активности. Используя идентификатор сессии и данные о просмотренных страницах, выделяют несколько кластеров. Проанализировав содержание кластеров, находят более и менее приоритетные группы. Когда пользователь будет на сайте, его сессию в режиме on-line можно отнести к тому или иному кластеру (для этого можно использовать алгоритмы классификации). Затем посетителю «подсказывают», какие страницы также стоит посмотреть.

16 BaseGroup Labs Пример сегментации Общая статистика по всем кластерам Страницы, встречающиеся вместе в сессиях

17 BaseGroup Labs Сегментация посетителей интернет-магазина Покупатели интернет-магазина, как правило, зарегистрированные пользователи. Их анкетные данные могут быть дополнены их предпочтениями в покупках тех или иных групп товаров. Вся эта информация может быть использована для сегментации посетителей. Целевая аудитория Структура посетителей

18 BaseGroup Labs Анализ рыночной корзины Применяя строковые функции, нетрудно выделить записи, которые отражают факт покупки конкретного товара. За определенный период посетители интернет-магазина покупают некоторый набор товаров. Эти данные можно использовать для поиска ассоциативных правил. Страницы для выбора Сформированное условие Рассчитанное следствие

19 BaseGroup Labs Популярный навигационный путь Если выявить ассоциативные правила для всего набора данных, то можно определить часто используемые (популярные) навигационные пути, по которым перемещаются посетители сайта. /download/deductor/deductor_setup_5.2 /download/deductor/deductor5.2setupacademic.exe BaseGroup.ru :: Deductor Academic Выявленные правила Используемый навигационный путь

20 BaseGroup Labs Deductor – инструмент анализа данных Deductor – аналитическая платформа, позволяющая решить все описанные выше задачи. Реализованные в ней технологии обеспечивают возможность на базе единой архитектуры пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов. Методы, реализованные в Deductor

21 BaseGroup Labs Deductor – инструмент анализа данных Ключевые преимущества Deductor: Хранилища данных на нескольких платформах Поддержка ETL-процесса, включая механизмы очистки, предобработки и обогащения данных Встроенный развитый OLAP-модуль Развитые механизмы Data Mining, реализация широкого спектра самообучающихся алгоритмов: нейронные сети, деревья решений, самоорганизующиеся карты, ассоциативные правила и прочее Гибкая интеграция, десятки источников данных Учебно-методическая поддержка: система дистанционного обучения, кейсы, книги, обширная справка на русском языке Доступная для продуктов подобного класса цена.

22 BaseGroup Labs BaseGroup Labs – профессиональный поставщик Data Warehouse, OLAP, KDD, Data Mining решений и инструментов. Web-сайт: Образование: edu.basegroup.ruedu.basegroup.ru