EM-алгоритм Альперин Борис 8204. Содержание Вероятностная постановка задачи классификации Параметрический подход к оценке плотности расределения Принцип. - презентация

1 EM-алгоритм Альперин Борис 8204

2 Содержание Вероятностная постановка задачи классификации Параметрический подход к оценке плотности распределения Принцип максимума правдоподобия EM-алгоритм EM-алгоритм с последовательным добавлением компонент Алгоритм классификации (на основе EM-алгоритма) RBF - сеть Пример (на модельных данных)

3 Вероятностная постановка задачи классификации

4

5 Решение задачи 1. Величина потери.

6 Решение задачи 1. Оптимальное Байесовское решающее правило

7

8 Оценка плотности распределения

9

10 Принцип максимума правдоподобия

11 Смеси распределений

12 Задача разделения смеси

13 EM-алгоритм

14 Схема EM-алгоритма

15 Схема ЕM-алгоритма

16 E-шаг

17

18 M-шаг

19

20

21 EM-алгоритм с последовательным добавлением компонент

22

23

24 Многомерное нормальное распределение

25 Гаусовские смеси

26

27 Плюсы: Позволяют приближать любые непрерывные плотности вероятностей Минусы: Трудоемкость (необходимость обращать ковариационные матрицы) Ковариационные матрицы часто оказываются вырожденными или плохо обусловленными => неустойчивость оценок плотности и алгоритма классификации

28 Гауссовские смеси

29

30 Радиальные функции

31 Сеть радиальных базисных функций

32 Алгоритм классификации

33

34

35 Агоритм классификации

36 RBF - сеть

37 Пример (модельные данные) 4 класса (красный, зеленый, синий, бирюзовый) Объем выборки – 820 объектов Красный класс - смесь двух гауссовских распределений с диагональной и недиагональной матрицами ковариации. Остальные классы – одно гауссовское распределение. Дисперсия зеленого класса меньше дисперсий остальных, поэтому его элементы находятся ближе к центру. Дисперсия бирюзовых по одной координате больше, чем по другой, в результате чего класс визуально вытянулся. Центры классов располагаются близко, некоторые классы линейно неразделимы.

38 Пример (модельные данные) Истинное распределение классов – на левом рисунке Результат классификации – на правом Алгоритм допустил 16 ошибок, что на выборке из 820 элементов составляет менее 2%.