7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г. Лекция 7. Критерий согласия и таблицы сопряженности 7-1. Критерий согласия 7-2. Проверка нормальности 7-3. Проверка независимости признаков

2 Иванов О.В., 2005 Горошины Менделя Австрийский монах, Грегор Мендель ( ), изучал генетику, и его принципы являются основой для современной генетики. Мендель использовал свободное время, выращивая горох в монастыре. В одном из своих экспериментов он скрестил разные виды гороха – с гладкими желтыми горошинками и со сморщенными зелеными горошинками. Он заметил, что результаты были систематическими, то есть некоторые из них имели гладкие желтые горошины, другие – гладкие зеленые горошины, третьи – сморщенные желтые горошины, а четвертые – сморщенные зеленые горошины. Более того, после нескольких экспериментов процентное соотношение каждого вида оставалось практически неизменным. Мендель сформулировал свою теорию, основанную на предположении доминантных и рецессивных признаков, и попытался предсказать результат. Тогда он скрестил свой горох и исследовал 556 горошин следующего поколения. Наконец, он сравнил полученные им результаты с теоретическими результатами, что бы узнать, правдива ли теория. Для этого он использовал «простой» тест хи-квадрат, который мы сейчас рассмотрим. Источник: J.Hodges, Jr.D.Krech и R.Crutchfield, Stat Lab, An Empirical Introduction to Statistics (New York: McGraw-Hill, 1975), pp

7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г Критерий согласия Наблюдаемые и ожидаемые частоты Статистика хи-квадрат Пример

4 Иванов О.В., 2005 Пример. Вкусовые предпочтения Маркетолог хочет узнать, какому из пяти вкусов нового напитка отдают предпочтение покупатели. Ниже приведены данные, полученные из опроса 100 человек: Если нет каких-либо особых вкусовых предпочтений, то каждый вид напитка покупают с одинаковой частотой. В таком случае каждая частота должна быть равна 100/5 = 20, то есть приблизительно по 20 человек выберут каждый вид сока. Вишня Клубник а Апельси н Лайм Виногра д ВишняКлубникаАпельси н ЛаймВиногра д Наблюдаем Ожидаем

5 Иванов О.В., 2005 Наблюдаемые и ожидаемые частоты Наблюдаемые частоты - частоты полученные по выборке. Ожидаемые частоты - частоты, полученные путем вычисления на основе теоретических представлений о предполагаемом распределении. ВишняКлубникаАпельси н ЛаймВиногра д Наблюдаемые частоты Ожидаемые частоты

6 Иванов О.В., 2005 Что проверяет критерий согласия Критерий согласия позволяет выяснить, насколько согласуются между собой наблюдаемые частоты и ожидаемые, иными словами, существенны или нет различия между ними. Гипотезы для примера с предпочтениями запишутся так: Н 0 : У покупателей нет вкусовых предпочтений. Н 1 : У покупателей есть предпочтения. Необходимые условия 1. Выборка случайна. 2. Наблюдаемая частота должна быть не меньше 5.

7 Иванов О.В., 2005 Статистика Для проверки гипотезы используется 2 -критерий с числом степеней свободы df = n – 1: Н – наблюдаемая частота О – ожидаемая частота

8 Иванов О.В., распределение Следующая случайная величина имеет распределение хи- квадрат: z 1 z 2 z 3 … z n - набор из n независимых случайных величин, имеющих стандартное нормальное распределение. Свойства: 1. Всегда неотрицательно. 2. Зависит от n – числа степеней свободы. 3. Среднее значение = n. 4. Стандартное отклонение = 2n.

9 Иванов О.В., 2005 Вид 2 распределения В зависимости от числа степеней свободы n вид распределения изменяется. При увеличении n распределение приближается к нормальному. n = 4 n = 6 n = 15

10 Иванов О.В., 2005 Критическая область Этот критерий имеет только правостороннюю критическую область. Критическая область соответствует значениям статистики, для которых значение 2 велико. 1 - = 0,95 = 0,05

11 Иванов О.В., 2005 Что значит «частоты согласуются» Если наблюдаемые и ожидаемые значения близки друг к другу, значение 2 -критерия будет небольшим. Гипотеза Н 0 не будет отвергнута. В этом случае имеется хорошее соответствие между наблюдаемыми данными и исследовательской моделью. Хорошее соответствие Плохое соответствие

12 Иванов О.В., 2005 Решение задачи Шаг 1. Нулевая и альтернативная гипотезы: Н 0 : У покупателей нет вкусовых предпочтений. Н 1 : У покупателей есть предпочтения. Шаг 2. Уровень значимости =0,05. Шаг 3. Критическое значение равно 9,488 (по таблице 2 - распределения, df = 5 – 1 = 4 и α = 0,05). Шаг 4. По выборке находим значение статистики:

13 Иванов О.В., 2005 Решение задачи Шаг 5. Сравним полученное значение с критической областью: 18 > 9,488. Значение попало в критическую область. Шаг 6. Формулируем ответ. В ходе проведенного исследования мы получили, что существуют значимые предпочтения покупателей по поводу вида напитка.

14 Иванов О.В., 2005 Применение критерия согласия 1. Для проверки гипотезы о согласовании наблюдаемого распределения и теоретического. Это было в примере с напитками. 2. Для проверки гипотезы о совпадении законов распределения двух генеральных совокупностей. Предположение о виде теоретического распределения (теоретическая модель данных) в этом случае не требуется. Критерий дает нам представление о «расстоянии между двумя наборами данных» и на основе значения этого расстояния позволяет делать вывод о «согласии» между двумя распределениями.

7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г Проверка нормальности Гипотеза Статистика Пример

16 Иванов О.В., 2005 Гипотезы Критерий согласия часто используется для проверки гипотез о виде распределения генеральной совокупности. По имеющейся случайной выборке можно проверить, имеет ли исследуемый признак нормальное распределение. Гипотезы выглядят так: Н 0 : признак имеет нормальное распределение. Н 1 : признак не имеет нормального распределения.

17 Иванов О.В., 2005 Статистика Для проверки гипотезы используется 2 -критерий с числом степеней свободы df = n – k – 1: Н – наблюдаемая частота О – ожидаемая частота k – количество параметров распределения

18 Иванов О.В., 2005 Задача Используя критерий согласия, определить, нормально ли распределен признак, значения которого приведены в виде частотной таблицы. Принять α = 0,05. ИнтервалЧастота 89,5-104, ,5-119, ,5-134, ,5-149, ,5-164, ,5-179,

19 Иванов О.В., 2005 Шаг 1. Среднее и стандартное отклонение Интервалf xf·xf·x 2 89,5-104, ,5-119, ,5-134, ,5-149, ,5-164, ,5-179,

20 Иванов О.В., 2005 Шаг 2. Ожидаемые (теоретические) частоты Интервалf zz-значениеpp·n От - до 104, ,110, ,7 104,5-119,562 -0,230,40900,275555,1 119,5-134,572 0,650,74220,333266,6 134,5-149,526 1,530,93700,194839,039,0 149,5-164,512 2,410,99200,055011,0 От 164,5 до + 4 3,291,00000,0080 1,6 n= ,8 0,3332 = 0, ,4090 Теоретические частоты

21 Иванов О.В., 2005 Шаг 3. Значение статистики по выборке Интервал Наблюдаемые частоты Теоретические частоты От - до 104, ,7 104,5-119,562 55,1 119,5-134,572 66,6 134,5-149,526 39,039,0 149,5-164,512 11,0 От 164,5 до + 4 1, ,8 Нужно объединить с предыдущим интервалом

22 Иванов О.В., 2005 Шаг 3. Значение статистики по выборке Интервал Наблюдаемые частоты Теоретические частоты Разница От - до 104, ,7+2,70,27 104,5-119,562 55,1-6,90,86 119,5-134,572 66,6-5,40,44 134,5-149,526 39,039,013,04,33 От 149,516 12,612,6-3, ,86,83

23 Иванов О.В., 2005 Шаги 4-5. Критическая область и выводы Критическое значение при df = 4 и α = 0,05 равно 9,488. Поскольку полученное значение статистики не попало в критическую область, мы принимаем нулевую гипотезу. Ответ. Распределение можно считать нормальным.

7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г Проверка независимости признаков Таблица сопряженности Наблюдаемые и ожидаемые частоты КритерийПример

25 Иванов О.В., 2005 Обработка данных Данные экспериментаТаблица сопряженности Номер респондента Признак 1 Пол? Признак 2 Курит? 1МужчинаКурит 2ЖенщинаНе курит 3ЖенщинаКурит 4МужчинаКурит 5МужчинаНе курит 6ЖенщинаНе курит 7МужчинаНе курит 8МужчинаКурит 9ЖенщинаНе курит 10ЖенщинаНе курит КуритНе курит Мужчина 32 Женщина 14 Таблица сопряженности составляется для двух признаков и содержит частоты для каждого набора значений.

26 Иванов О.В., 2005 Таблица сопряженности В общем виде таблица сопряженности состоит из r рядов и c столбцов (R×C таблица). Каждая клетка таблицы определяется номером ее ряда (Row) и столбца (Column). СогласныНе согласныВоздержались Медсестры F 11 F12F12 F13F13 Врачи F21F21 F 22 F 23 Данная таблица имеет два ряда и три столбца: r = 2, c = 3.

27 Иванов О.В., 2005 Исследуемые признаки Признак 2. Отношение к новому препарату СогласныНе согласныВоздержались Медсестры F 11 F12F12 F13F13 Врачи F21F21 F 22 F 23 Признак 1. Категория персонала

28 Иванов О.В., 2005 Наблюдаемые частоты (Observed frequencies) В результате эксперимента мы получаем наблюдаемые частоты. Подсчитаем суммы по срокам и столбцам. Согласны Не согласны ВоздержалисьВСЕГО Медсестры Врачи ВСЕГО

29 Иванов О.В., 2005 Наблюдаемые частоты (Observed frequencies) Согласны Не согласны ВоздержалисьВСЕГО Медсестры Врачи ВСЕГО Признак 1. Категория персонала Признак 2. Отношение к новому препарату

30 Иванов О.В., 2005 Ожидаемые частоты (Expected frequencies) Вычислим теоретические частоты. В первую клетку надо поставить частоту: Согласны Не согласны ВоздержалисьВСЕГО Медсестры Врачи 200 ВСЕГО

31 Иванов О.В., 2005 Ожидаемые частоты (Expected frequencies) Вычислим теоретические частоты. В первую клетку надо поставить частоту: Согласны Не согласны ВоздержалисьВСЕГО Медсестры Врачи ВСЕГО

32 Иванов О.В., 2005 Независимость признаков Признаки независимы, если распределение значений одного признака не зависит от значений, принимаемых другим признаком Отношение к препарату не отличается Отношение к препарату сильно отличается Признаки независимы Признаки зависимы

33 Иванов О.В., 2005 Шаг 1. Гипотезы Критерий согласия используется для проверки гипотезы о независимости признаков. Гипотезы выглядят так: Н 0 : признаки независимы. Н 1 : признаки зависимы.

34 Иванов О.В., 2005 Критерий проверки гипотезы Если бы признаки были независимыми, то частоты должны быть распределены так, как показано в таблице ожидаемых частот. Критерий согласия позволяет оценить, насколько сильно различаются наблюдаемые частоты от ожидаемых. Если сильно, тогда мы признаем наличие зависимости признаков Наблюдаемые частотыОжидаемые частоты

35 Иванов О.В., 2005 Шаг 2. Уровень значимости Зададим уровень значимости α = 0, = 0,95 = 0,05

36 Иванов О.В., 2005 Шаг 3. Критическая область Критерий имеет правостороннюю критическую область. Число степеней свободы определяется по формуле: df = (r – 1)(c – 1) = (2 – 1)(3 – 1) = 2. Для α = 0,05 критическое значение равно 5, = 0,95 = 0,05 5,991

37 Иванов О.В., 2005 Шаг 4. Вычисление статистики Наблюдаемые частотыОжидаемые частоты

38 Иванов О.В., 2005 Шаг 5-6. Получение выводов Поскольку значение статистики попало в критическую область, 26,67 > 5,991, мы отклоняем гипотезу о независимости признаков. Вывод. Признаки зависимы. Отношение к новому лекарству существенно зависит от категории персонала. 5,99126,67

7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г.7 ноября 2012 г. Решаем в SPSS Пример с мужчинами и женщинами

40 Иванов О.В., 2005 Задание на 5 минут Приведите пример парных выборок.