Дисциплина: Интеллектуальный анализ данных Лабораторная работа 1-2 Выполнил студент группы ПИбд-41 ЛипинскийМ.А. - презентация

1 Дисциплина: Интеллектуальный анализ данных Лабораторная работа 1-2 Выполнил студент группы ПИбд-41 ЛипинскийМ.А.

2 Область Автомобилестроение

3 Рассматриваемая проблема Зависимость расхода топлива от компоновки и конструкции автомобиля

4 Интенсионал понятий Тип привода – конструкция трансмиссии автомобиля. Коробка передач – агрегат, предназначенный для изменения частоты и крутящего момента на ведущих колесах в широких пределах. Масса автомобиля - (от греч. μάζα «кусок теста») скалярная физическая величина, одна из важнейших величин в физике. Тип кузова – форма кузова автомобиля

5 Экстенсионал понятий Тип привода – передний, задний, полный Коробка передач – МКПП, АКПП, вариатор Масса автомобиля - вещественное число Тип кузова –хетчбэк, седан, универсал, минивэн, пикап и т.д.

6 Исходные данные Модель автомобиля РасходПривод КППМассаТип кузова Toyota Camry V2011,60ПереднийМКПП1080Седан Toyota Celica ST18210,40ПереднийМКПП1460Купе Toyota Celica ST18211,10ПереднийАКПП1460Купе Toyota Carina ST18210,50ПолныйМКПП1060Седан Toyota Carina ST18211,20ПолныйАКПП1060Седан Toyota RAV4 E-SXA15G10,50ПереднийМКПП1180Внедорожник Toyota RAV4 E-SXA10G12,60ПолныйАКПП1350Внедорожник Toyota Caldina E-ST195G11,30ПолныйМКПП1350Универсал Toyota Caldina E-ST195G12,50ПолныйАКПП1350Универсал Toyota Caldina E-ST191G11,80ПереднийАКПП1350Универсал Toyota Ipsum E-SXM10G12,10ПереднийАКПП1500Минивэн Toyota Ipsum GF-SXM15G12,80ПолныйАКПП1500Минивэн

7 Выбранные Задачи ИАД Кластеризация Обнаружение аномалий Резюмирование

8 Кластеризация Кластерный анализ это разделение множества входных векторов на группы (кластеры) по степени схожести. Кластеризация в Data Mining приобретает ценность тогда, когда она выступает одним из этапов анализа данных, построения законченного аналитического решения. Аналитику часто легче выделить группы схожих объектов, изучить их особенности и построить для каждой группы отдельную модель, чем создавать одну общую модель для всех данных.

9 Кластеризация Решение задачи кластеризации принципиально неоднозначно. Во-первых, не существует однозначно наилучшего критерия качества кластеризации. Во-вторых, число кластеров, как правило, неизвестно заранее и устанавливается в соответствии с некоторым субъективным критерием. В-третьих, результат кластеризации существенно зависит от метрики, выбор которой, как правило, также субъективен и определяется экспертом.

10 Кластеризация массы автомобиля Для получения кластеризации используем реализацию метода k-means в SciPy. SciPy это открытая библиотека высококачественных научных инструментов для языка программирования Python.

11 Кластеризация mass = [1080, 1460, 1460, 1060, 1060, 1180, 1350, 1350, 1350, 1350, 1500, 1500] # let scipy do its magic res, idx = kmeans2(numpy.array(mass),3) print(res, idx) Вывод: [ ] [ ]

12 Обнаружение аномалий Одним из ключевых направлений применения технологий Data Mining является автоматизация поиска аномалий. Поиск аномалий – это поиск шаблонов данных, не соответствующих ожидаемому поведению. Поиск аномалий широко применяется в задачах мониторинга состояния технических систем.

13 Обнаружение аномалий Вначале эксперты задают модель поведения системы, представляющую собой набор правил, характеризующих поведение системы. В процессе работы системы, поступающие телеметрические данные проверяются на соответствие модели. Если поведение данных начинает отклоняться от модели, то оператору, контролирующему работу системы, поступает тревожных сигнал о возможной неисправности.

14 Обнаружение аномалий Одним из наиболее перспективных data-driven методов является технология IMS, разработанная в NASA. IMS использует технологию кластеризации данных и вводит понятие расстояния между векторами данных. В процессе обучения IMS анализирует данные, полученные в процессе нормальной работы системы, и строит модель поведения системы – набор кластеров. Каждый кластер определяет ограничения на значения каждого параметра в каждом конкретном входящем векторе данных. Если в базе знаний нет кластера, содержащего близкие по значению данные, это означает, что система ведет себя неожиданным способом, т.е. возникла аномалия.

15 Обнаружение аномалий В нашей задаче: Выявление повышенного расхода на опытных образцах

16 Задача резюмирования Резюмирование – это описание полученных групп объектов из анализируемого набора данных. Резюмирование представляет собой получение оценки на естественном языке. Важным свойством лингвистических оценок является широкое применение на практике для выражения знаний о степени соответствия наблюдаемого объекта или его характеристики некоторому критерию

17 Список использованной литературы /tutorial_html/kmeans.htmlhttp://home.deib.polimi.it/matteucc/Clustering /tutorial_html/kmeans.html means.html 393/