24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г. Тема 12. Корреляция и регрессия 12.1. Корреляция 12.2. Значимость коэффициента. - презентация

1 24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г. Тема 12. Корреляция и регрессия Корреляция Значимость коэффициента корреляции Регрессия Надежность прогноза

2 2 Иванов О.В., Соколихин А.А Примеры 1.Менеджер интересуется, зависит ли объем продаж в этом месяце от объема рекламы в этом же периоде? 2.Преподаватель хочет выяснить, есть ли зависимость между количеством часов, потраченных студентом на занятия, и результатами экзамена? 3.Врач исследует, влияет ли кофеин на сердечные болезни и существует ли связь между возрастом человека и его кровяным давлением? 4.Зоолог стремится узнать, есть ли связь между весом определенного животного при рождении и его продолжительностью жизни. 5.Социолог исследует, какова связь между уровнем преступности и уровнем безработицы в регионе? Есть ли зависимость между расходами на жилье и совокупным доходом семьи? Связаны ли доход от профессиональной деятельности и продолжительность образования? На эти вопросы можно ответить, используя методы корреляционного и регрессионного анализа, рассмотренные в материалах этой лекции.

3 3 Иванов О.В., Соколихин А.А Постановка проблемы Наша цель – научиться отвечать на четыре вопроса: Вопрос 1. Существует ли связь между двумя или более переменными? Вопрос 2. Какой тип имеет эта связь? Вопрос 3. Насколько она сильна? Вопрос 4. Какой можно сделать прогноз, основываясь на этой связи?

4 4 Иванов О.В., Соколихин А.А Методы Корреляция – статистический метод, позволяющий определить, существует ли зависимость между переменными и на сколько она сильна. Регрессия – статистический метод, который используется для описания характера связи между переменными (положительная или отрицательная, линейная или нелинейная зависимость).

5 5 Иванов О.В., Соколихин А.А Простая и множественная связь Множественная связь означает изучение несколько переменных. Простая связь означает изучение двух переменных. Стаж менеджера по продажам на фирме Стаж менеджера по продажам на фирме Годовой объем продаж Годовой объем продаж Успеваемость студента Успеваемость студента Успеваемость в школе Успеваемость в школе Время на занятия Время на занятия Коэффициент IQ Коэффициент IQ

6 6 Иванов О.В., Соколихин А.А Визуальный анализ связи Рассматриваем две переменные: «продолжительность занятий» студентов перед экзаменом и «итоговая оценка» (из 100 балов). Пытаемся визуально определить связь. Правда ли, что чем меньше времени занятий, тем выше оценка? СтудентЧасы x Оценка y A682 B263 C157 D588 E268 F375

7 7 Иванов О.В., Соколихин А.А Независимая и зависимая переменные Независимая переменная – это та переменная в регрессии, которую можно изменять. В данном случае, переменная «количество часов занятий» является независимой и обозначается как переменная х. Зависимая переменная – это переменная в регрессии, которую нельзя изменять. «Экзаменационная оценка» является зависимой переменной. Она обозначается у. Причиной такого разделения переменных является то, что предполагается, что оценка, которую получает студент, зависит от количества часов, которые он посвятил занятиям. Предполагается также, что студенты могут регулировать количество часов, которое они тратят на занятия. Не всегда можно ясно определить, какая переменная зависимая, а какая независимая, и выбор иногда делается произвольно.

8 8 Иванов О.В., Соколихин А.А Положительная и отрицательная зависимость Визуально видно, что имеет место линейная зависимость, которая отрицательна. Это означает, что увеличение переменной x приводит к уменьшению второй переменной y. СтудентПропущено х Оценка у A682 B286 C1543 D974 E1258 F590 G878

9 9 Иванов О.В., Соколихин А.А Нелинейная зависимость График показывает, что имеется зависимость, которая не является линейной. Возможно, эта зависимость квадратичная или какая-то иная.

10 10 Иванов О.В., Соколихин А.А Отсутствие зависимости График сообщает нам об отсутствии зависимости продолжительности занятий в неделю от количества выпиваемого пива (в бутылках). Студент Часы занятий х Бутылки пива у A33 B02 C21 D57 E81 F54 G106 H28 I15

11 24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г Корреляция Связь между двумя переменными

12 12 Иванов О.В., Соколихин А.А Коэффициент корреляции Коэффициент корреляции измеряет силу и направление связи между двумя переменными. Обозначения: Выборочный коэффициент корреляции r Коэффициент корреляции генеральной совокупности ρ

13 13 Иванов О.В., Соколихин А.А Значения коэффициента корреляции Коэффициент корреляции изменяется на отрезке от –1 до +1. Если между переменными существует сильная положительная связь, то значение r будет близко к +1. Если между переменными существует сильная отрицательная связь, то значение r будет близко к –1. Когда между переменными нет линейной связи или она очень слабая, значение r будет близко к Сильная отрицательная связь Сильная положительная связь Отсутствие связи

14 14 Иванов О.В., Соколихин А.А Формула для вычисления r Коэффициент корреляции вычисляется по формуле: Это, так называемый, коэффициент корреляции Пирсона, равный произведению моментов. Он назван по имени статистика Карла Пирсона, который первый провел исследования в этой области.

15 15 Иванов О.В., Соколихин А.А Вторая формула для вычисления r После несложных преобразований, из первой формулы можно получить другую формулу для коэффициента. Как мы увидим, она более пригодна для вычисления коэффициента при помощи таблиц.

16 16 Иванов О.В., Соколихин А.А Пример вычисления Вычислим коэффициент корреляции для примера со студентами. СтудентЧасы x Оценка y A682 B263 C157 D588 E268 F375

17 17 Иванов О.В., Соколихин А.А Шаг 1. Достроим таблицу Достраиваем таблицу тремя столбцами и итоговой строкой. Проводим необходимые вычисления. СтудентЧасы x Оценка y xyx2x2 y2y2 A B C D E F Σx=19Σy=433Σxy=1476Σx 2 =79Σy 2 =31935

18 18 Иванов О.В., Соколихин А.А Шаги 2-3. Подставим в формулу, получим ответ Подставим данные в формулу и найдем r : Ответ. Значение коэффициента корреляции равно 0,922. Это означает, что существует сильная положительная связь. Мы видели эту связь графически.

19 24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г Значимость коэффициента корреляции Проверка гипотезы

20 20 Иванов О.В., Соколихин А.А Постановка проблемы Коэффициент корреляции генеральной совокупности ρ – это корреляция, вычисленная с использованием всевозможных пар значений признаков (х,у) генеральной совокупности. Требуется Оценить коэффициент корреляции генеральной совокупности ρ на основе значения коэффициента корреляции выборки r. Условия Выборочный коэффициент корреляции r используется для оценки ρ, если выполнены следующие предположения: –Переменные х и у линейно зависимы –Переменные являются случайными –Обе переменные имеют нормальное распределение

21 21 Иванов О.В., Соколихин А.А Последовательность действий Чтобы принять верное решение, воспользуемся процедурой проверки гипотезы. Она включает традиционные пять шагов: Шаг 1. Сформулировать гипотезы. Шаг 2. Построить критическую область. Шаг 3. Вычислить значение критерия. Шаг 4. Сравнить, принять решение. Шаг 5. Написать ответ.

22 22 Иванов О.В., Соколихин А.А Гипотезы Гипотезы сформулированы следующим образом. Основная гипотезаН 0 : ρ = 0 Альтернативная гипотезаН 1 : ρ 0 Основная гипотеза утверждает, что не существует корреляции между признаками х и у в генеральной совокупности. Альтернативная гипотеза утверждает, что корреляция между признаками х и у в генеральной совокупности значима. Когда основная гипотеза отвергается на определенном уровне значимости, это значит, что существует значимое различие между значением r и 0. Когда основная гипотеза принимается, это значит, что значение r не сильно отличается от 0 и является случайным.

23 23 Иванов О.В., Соколихин А.А Статистика и критическая область Для проверки гипотезы используется t-критерий с df = n – 2 степенями свободы: Границы двусторонней критической области находятся при помощи таблиц значений t-распределения.

24 24 Иванов О.В., Соколихин А.А Пример Задача. Рассчитан коэффициент корреляции и его значение оказалось равно 0,897. Выборка содержала 6 пар. На уровне значимости 0,05 проверить гипотезу о значимости коэффициента корреляции. Решение. Шаг 1. Н 0 : ρ = 0 Н 1 : ρ 0 Шаг 2. Критическая область: α = 0,05, df = 6 – 2 = 4. Критические значения по таблице равны ±2,776. Шаг 3. Статистика по выборке:

25 25 Иванов О.В., Соколихин А.А Решение Шаг 4. Сравниваем значение статистики с критической областью. Нулевую гипотезу отвергаем, так как значение критерия попадает в область критических значений. Шаг 5. Делаем вывод, что существует значимая связь между признаками.

26 26 Иванов О.В., Соколихин А.А Корреляция и причинная связь Когда проверка гипотезы показывает, что существует значимая линейная связь между переменными, исследователи должны рассмотреть возможные виды связи между переменными и выбрать ту, которая диктуется логикой данного исследования.

27 27 Иванов О.В., Соколихин А.А Пять видов связи между переменными 1. Прямая причинно-следственная связь между переменными (х определяет у). Наличие воды ускоряет рост растений, яд вызывает смерть, жара – таяние льда. 2. Обратная причинно-следственная связь между переменными (у определяет х). Исследователь может думать, что чрезмерное потребление кофе вызывает нервозность. Но, может быть, очень нервный человек хочет кофе, чтобы успокоить свои нервы? 3. Связь между переменными вызвана третьей переменной. Исследователь установил, что существует некая зависимость между числом утонувших людей и числом выпитых безалкогольных напитков в летнее время. Может быть, обе переменные связаны с жарой и потребностью во влаге? 4. Взаимосвязь между несколькими переменными. Исследователь может обнаружить значимую связь между оценками студентов в университете и оценками в школе. Но, возможно, действуют и другие переменные: IQ, количество часов занятий, влияние родителей, мотивация, возраст, авторитет преподавателей. 5. Зависимость случайна. Исследователь может найти значимую зависимость между увеличением количества людей, которые занимаются спортом и увеличением количества людей, которые совершают преступления. Но здравый смысл говорит, что любая связь между этими двумя переменными должна быть случайной.

28 24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г Регрессия

29 29 Иванов О.В., Соколихин А.А Исследование зависимости На графическом изображении видно, что с увеличением роста увеличивается и вес. Зависимость имеет приближенно линейный характер. Значения переменных колеблются вокруг некоей гипотетической прямой линии, которая называется линией регрессии. Как её построить? рост вес

30 30 Иванов О.В., Соколихин А.А Какая прямая наилучшая? Наши данные представляют собой пары (x, y). Тем самым, для каждого x имеется некоторое значение y. Кроме того, для каждого x существует соответствующее ему значение линейной функции y = ax + b. Сравним их. Расстояние между этими значениями должно быть минимально.

31 31 Иванов О.В., Соколихин А.А Сумма квадратов разностей минимальна… Расстояние между этими значениями должно быть минимально.

32 32 Иванов О.В., Соколихин А.А Ищем коэффициенты уравнения y = ax + b В каком случае расстояние минимально? Сумма зависит только от двух параметров - a и b, используем метод наименьших квадратов.

33 33 Иванов О.В., Соколихин А.А Коэффициенты a и b Два уравнения, которые мы получим после нахождения двух частных производных, представляют систему с двумя неизвестными. Из этой системы находятся коэффициенты, которые мы ищем: Наклон прямой Смещение прямой вдоль оси Y

34 34 Иванов О.В., Соколихин А.А Формулы для вычислений в таблице Для табличный вычислений более удобны следующие формулы:

35 35 Иванов О.В., Соколихин А.А Пример вычисления Найдем линейное уравнение регрессии для нашего примера. СтудентЧасы x Оценка y A682 B263 C157 D588 E268 F375

36 36 Иванов О.В., Соколихин А.А Шаг 1. Достроим таблицу Достраиваем таблицу тремя столбцами и итоговой строкой. Проводим необходимые вычисления. Абсолютно также! То есть – можно не делать! СтудентЧасы x Оценка y xyx2x2 y2y2 A B C D E F Σx=19Σy=433Σxy=1476Σx 2 =79Σy 2 =31935

37 37 Иванов О.В., Соколихин А.А Шаги 2-3. Подставим в формулы, получим ответ Подставим полученные в таблице значения в формулы для a и b: Ответ. Получили уравнение «наилучшей прямой»: y = 5,6 x + 54,5

38 38 Иванов О.В., Соколихин А.А Интерпретация 1. Увеличение времени подготовки на 1 час приводит к улучшению результата на 5,6 балла. 2. Чтобы улучшить результат на 10 баллов, нужно заниматься на 1,8 часа больше. 3. Если не заниматься вообще – получишь 54,5 балла. 4. Чтобы получить 100 баллов, нужно заниматься 8,1 часов. Выходим за границы анализируемой области! y = 5,6 x + 54,5

39 39 Иванов О.В., Соколихин А.А Отчет из SPSS Отчет о расчете коэффициентов регрессии, полученный из SPSS.

40 40 Иванов О.В., Соколихин А.А Будьте осторожны с прогнозами! Когда прогнозы распространяются за пределы исследуемых данных, интерпретировать результаты необходимо с особой осторожностью. В 1979 году некоторые эксперты предсказывали, что в США к 2003 году запасы нефти будут исчерпаны. Этот прогноз основывался на уровне потребления нефти, характерного для того времени, и на знании объема имевшихся запасов. Однако с тех пор автомобильная промышленность выпустила много энергоемких машин. Также, существуют множество все еще неоткрытых нефтяных месторождений. Наконец, когда-нибудь наука откроет, как использовать другие виды топлива для автомобилей, что-нибудь вроде арахисового масла. Помните, что, когда делаются прогнозы, они основываются на текущих условиях или на предположении, что существующие ныне тенденции продолжатся в будущем. Это предположение может оправдаться или не оправдаться.

41 24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г.24 сентября 2012 г Надежность прогноза

42 42 Иванов О.В., Соколихин А.А Регрессионное исследование Уже научились: Шаг 1. Графически изобразить пары значений (x, y). Шаг 2. Если визуально просматривается связь, найти коэффициент корреляции. Шаг 3. Оценить значимость коэффициента корреляции. Шаг 4. Если коэффициент значим, то найти уравнение регрессии. Шаг 5. Построить разумные прогнозы: для значения независимой переменной х предсказать значение зависимой переменной у. Научимся: Шаг 6. Оценить надежность прогноза: найти коэффициент детерминации, стандартную ошибку оценки и интервал предсказания.

43 43 Иванов О.В., Соколихин А.А Наблюдаемые и предсказываемые значения Наблюдаемое значение Предсказываемое значение Среднее значение

44 44 Иванов О.В., Соколихин А.А Объяснимое и необъяснимое отклонение Необъяснимое отклонение Объяснимое отклонение Общее отклонение

45 45 Иванов О.В., Соколихин А.А Вариация в регрессионной модели Общее отклонение есть сумма объяснимой и необъяснимой вариации: Общая вариация Объяснимая вариация Необъяснимая вариация

46 46 Иванов О.В., Соколихин А.А Пример Рассчитаем общее отклонение, объяснимую и необъяснимую вариацию. СтудентЧасы x Оценка y A68287,9248,735,296,7 B26365,742,27,184,0 C15760,1145,59,6230,0 D58882,4104,131,7250,7 E26865,742,25,417,4 F37571,20,914,28,0 Σ=19Σ=433Σ=583,5Σ=103,3Σ=686,8

47 47 Иванов О.В., Соколихин А.А Коэффициент детерминации Коэффициент детерминации вычисляется как отношение объяснимой вариации к общей вариации: Коэффициент детерминации – это мера вариации зависимой переменной, которая определяется линией регрессии и независимой переменной. Коэффициент обозначается r 2.

48 48 Иванов О.В., Соколихин А.А Пример Вычислим на основе результатов, полученных в таблице:

49 49 Иванов О.В., Соколихин А.А Интерпретация коэффициента детерминации Значение коэффициента детерминации можно получить, если возвести в квадрат коэффициент корреляции. Если r = 0,922, то r 2 = 0,85 или 85%. Это означает, что 81% вариации зависимой переменной определяется вариацией независимой переменной. Оставшиеся 19% – необъяснимая или случайная вариация. Это значение называется коэффициентом недетерминации и находится вычитанием коэффициента детерминации из единицы. По мере того, как r приближается к нулю, значение r 2 уменьшается еще быстрее. Например, если r = 0,6, то r 2 = 0,36, то есть только 36% вариации зависимой переменной могут быть связаны с вариацией независимой переменной.

50 50 Иванов О.В., Соколихин А.А Стандартная ошибка оценки Стандартная ошибка оценки – это стандартное отклонение наблюдаемых значений у от предсказываемых значений у: Стандартная ошибка оценки схожа со стандартным отклонением выборки, но не использует среднее значение. Чем ближе наблюдаемые значения к предсказываемым, тем меньше стандартная ошибка оценки.

51 51 Иванов О.В., Соколихин А.А Пример Рассчитаем стандартную ошибку оценки в нашем примере:

52 52 Иванов О.В., Соколихин А.А Вторая формула для стандартной ошибки Стандартную ошибку можно также вычислять по формуле: Эта формула более пригодна для табличный вычислений.

53 53 Иванов О.В., Соколихин А.А Интервал предсказания Когда конкретное значение х подставляется в уравнение регрессии, мы получаем предсказанное значение у, которое является точечной оценкой для у. Так как это точечная оценка, трудно сказать насколько точной она является. Возможно построить для оценки интервал предсказания. Выбрав значение α, мы получаем интервал, который с вероятностью (1 – α) содержит реальное значение у.

54 54 Иванов О.В., Соколихин А.А Пример Сколько баллов получит студент, занимавшийся 4 часа? Решение. Шаг 1. Провели необходимые вычисления в таблице Шаг 2. Нашли у = 5,6·4 + 54,5 = 76,9 Шаг 3. Нашли стандартную оценку ошибки s est =5,08 Шаг 4. Нашли t-значение =0,95 и df = 6 – 2 = 4. Получили t=2,776 Шаг 5. Нашли E:

55 55 Иванов О.В., Соколихин А.А Пример Шаг 6. Подставили в формулу интервала: Ответ. Прогнозируемое значение баллов, которое может получить студент при 4 часах подготовки, находится с вероятностью 95% в интервале:

56 56 Иванов О.В., Соколихин А.А Задание на 5 минут Можно ли при помощи 2 критерия проверить гипотезу о том, является ли распределение биномиальным? Если да, то каким образом? Если нет, то почему?

57 57 Иванов О.В., Соколихин А.А Задачи Исследователь хочет определить, существует ли связь между возрастом человека и тем, сколько часов в день он или она смотрит телевизор. Возраст, х Количество часов, у3,92,622,31,2

58 58 Иванов О.В., Соколихин А.А Задачи Президент ассоциации выпускников знаменитого колледжа хочет определить, есть ли какая либо взаимосвязь между размерами вносимых бывшими учениками благотворительных пожертвований, и количеством лет, прошедших после того, как они закончили колледж. Годы, х Вклад, у

59 59 Иванов О.В., Соколихин А.А Задачи Менеджер магазина хотел бы узнать существует ли какая-либо связь между возрастом работников и количеством больничных, которые они берут каждый год Преподавателю необходимо узнать, насколько сильна связь между IQ студента и средним получаемым им баллом. Возраст Дни IQ Средний балл2,12,43,22,72,22,33,83,4

60 60 Иванов О.В., Соколихин А.А Задачи Исследователь хочет определить, есть ли связь между тем, сколько лет уже прослужила копировальная машина, и тем, во сколько обходится ее ремонтное обслуживание в течение месяца. Возраст Стоимость обслуживания

61 61 Иванов О.В., Соколихин А.А Задачи Вычислите значение r для следующих данных и проверьте гипотезу Н 0 : ρ = 0 Нарисуйте график. Проинтерпретируете результаты. х у

62 62 Иванов О.В., Соколихин А.А Задачи В задачах 12-7 по проведите регрессионный анализ: а) Нарисуйте график. б) Вычислите значение коэффициента корреляции. в) Сформулируйте нулевую и альтернативную гипотезы. г) Проверьте их на уровне значимости α = 0,05. д) Найдите уравнение регрессии. е) Нарисуйте линию регрессии на графике рассеивания. ж) Сделайте выводы.

63 63 Иванов О.В., Соколихин А.А Задачи Было проведено исследование легочных заболеваний. Полученные данные дают информацию о том, сколько лет человек курит и насколько сильно повреждены его легкие (в процентах). Сделайте прогноз относительно того, насколько будут повреждены легкие человека, который курит уже в течение 30-ти лет. Кол-во лет, x Повреждение легких, y

64 64 Иванов О.В., Соколихин А.А Задачи Преподаватель статистики заинтересован в том, чтобы узнать силу связи между баллами, полученными на выпускных экзаменах студентами, проходившими обучение в первой и во второй группах по статистике. Данные в процентах в таблице. Группа 1, x Группа 2, y

65 65 Иванов О.В., Соколихин А.А Задачи Преподаватель стремится понять, как число пропущенных студентом занятий влияет на его итоговый балл. Данные выборки в таблице. Количество пропусков, x Итоговый балл, y

66 66 Иванов О.В., Соколихин А.А Задачи Было проведено исследование, нацеленное на то чтобы выявить, как зависит от ежемесячного дохода человека то, сколько он готов потратить на развлечения. Данные выборки (в долларах) в таблице. Доход Траты на развлечения

67 67 Иванов О.В., Соколихин А.А Задачи Для задачи найдите уравнение регрессии и предскажите значение для возраста 38 лет. Найдите стандартную ошибку предсказания и найдите 90% интервал предсказания при х = 20 лет Для задачи найдите уравнение регрессии и предскажите значение для 4 лет. Найдите стандартную ошибку предсказания и найдите 95% интервал предсказания при х = 4 года Для задачи найдите уравнение регрессии и предскажите значение для 28 лет. Найдите стандартную ошибку предсказания и найдите 98% интервал предсказания при х = 47 лет.