1. И снова о регрессионном анализе. 2. Классификация и кластерный анализ. - презентация

1 1. И снова о регрессионном анализе. 2. Классификация и кластерный анализ.

2 Регрессионный анализ

3

4 Предпосылки использования МНК (условия Гаусса – Маркова) 0 0. Регрессионная модель корректно специфицирована (нет лишних регрессоров) Случайное отклонение имеет нулевое математическое ожидание Дисперсия случайного члена постоянна Ошибки в разных наблюдениях независимы (некоррелированы) друг относительно друга Ошибки независимы (некоррелированы) с регрессорами Ошибки представляют собой слабый белый (гауссовский) шум.

5 Y = AX + 1.E( i ) = 0 во всех наблюдениях Естественное требование, означающее несмещенность в среднем «наблюдаемых» значений зависимой переменной относительно «теоретических» Условия Гаусса-Маркова

6 Дисперсия ошибки i одинакова во всех наблюдениях Нарушение – дисперсия ошибки i неодинакова в разных наблюдениях i Условия Гаусса-Маркова

7 Отсутствие автокорреляции - ошибки в разных наблюдениях не связаны между собой

8 Y = А Х + А – детерминированная переменная (известна абсолютно точно) Требование детерминированности регрессоров упрощает анализ, но зачастую не выполняется Условия Гаусса-Маркова

9 Y = АX + Нормальность ошибок: Ошибки имеют совместное многомерное нормальное распределение Условия Гаусса-Маркова

10 Оценки максимального правдоподобия Z(A 1,..., A N ; Y 1,..., Y N ; X) = k – плотность вероятности k-го измерения k (A k ; Y k ; Х) =

11 Функция правдоподобия L(A 1,..., A N ; Y 1,..., Y N ; X) = Z(A 1,..., A N ; Y 1,..., Y N ; X) = const* МНК!

12 Свойство 1. Несмещенность Свойство 2. Эффективность: оценка с минимальной дисперсией по сравнению с другими оценками Свойство 3. Состоятельность

13 К проблеме мультиколлинеарности

14 A

15 X = (A T A) -1 A T Y =

16 Интервальное оценивание параметров

17 X1X1 X2X2 X3X3 X4X4

18 Cor(X)

19

20 Проверка адекватности регрессионной модели

21 Классификация Сравнитель- ные размеры жука- носорога, взрослой мыши и мышонка

22 Классификация с обучением Принадлежит ли образец к данному классу или нет? КЛАССЫ ИЗВЕСТНЫ! Цели классификации: 1) уменьшить число ошибочно ОТКЛОНЕННЫХ образцов (ошибка первого рода), т.е. таких, которые ошибочно отнесены к не членам определенного класса; 2) уменьшить число образцов, ошибочно ОПРЕДЕЛЕННЫХ как принадлежащие определенному классу (ошибка второго рода).

23

24

25

26 Порог принадлежности к классу Чем выше порог, тем метод более требователен к отбору, и тем меньше образцов будут приписаны данному классу и наоборот. Порог снижается

27 Дискриминатный анализ

28

29 Как построить дискриминирующую функцию? Самый простой способ: найти опорные векторы (к сожалению, удается редко)

30

31

32