Регрессионный анализ в SPSS Панченко Л.Ф.

План Назначение регрессионного анализа. Виды регрессииНазначение регрессионного анализаВиды регрессии Простая линейная регрессия Регрессия в ExcelРегрессия в Excel Множественная регрессия Замечания Связи, линейные по существу Нелинейная регрессия

1. Назначение регрессионного анализа Регрессионный анализ служит для определения вида корреляционной связи и выражения ее в виде функциональных отношений; дает возможность прогнозирования значения одной (зависимой) переменной, отталкиваясь от значения другой (независимой) переменной.

Меню регрессионного анализа Виды регрессии Меню Analyze... (Анализ), Regression... (Регрессия) Откроется соответству ющее подменю.

Виды регресcии LinearЛинейная регрессия Curve Estimation Оценивание с помощью кривой Nonlinear regression Нелинейная регрессия Binary logisticБинарная логистическая регрессия Multinominal logistic Множественная логистическая регрессия OrdinalПорядковая регрессия ProbitПробит-анализ Weight estimation Весовая оценка

Бинарная логистическая регрессия Исследует зависимость дихотомичеких переменных от независимых переменных, измеренных в любой шкале.

Нелинейная регрессия (1) Зависимость численности населения (переменная pop) от времени t (выраженного здесь в декадах) часто описывается при помощи следующей формулы: Эту связь нельзя перевести в линейную форму. Она включает три параметра: а, b и с, которые должны быть определены при помощи подходящего метода. Для этого необходимо задать начальные значения этих параметров.

Нелинейная регрессия (2)

Результаты

Пробит-анализ Исследует как на заданное количество индивидуумов воздействуют различные дозировки некоторого вещества (к примеру, токсичного). Классический пример, исследует действие средства, предназначенного для уничтожения насекомых. При этом производится подсчёт, сколько насекомых из заранее известного количества погибли при воздействии определённых доз вещества. Особенный интерес представляет дозировка, при которой уничтожается половина имеющихся насекомых.

Взвешенное оценивание (оценка с весами) В линейном регрессионном анализе все наблюдения входят в модель равнозначно. Исходной предпосылкой является тот факт, что все наблюдения должны иметь одинаковую дисперсию. Если это условие не выполняется и дисперсия увеличивается с ростом значения независимой переменной, то отдельные точки можно взвесить так, чтобы наблюдения с большой дисперсией имели меньшее влияние.

Мультиноминальная логистическая регрессия вариант логистической регрессии, при которой зависимая переменная не является дихотомической, как при бинарной логистической регрессии, а имеет больше двух категорий. пригодна только для категориальных независимых переменных, причём имеет значение, относятся ли они к шкале наименований или к порядковой шкале

2. Простая линейная регрессия (постановка задачи ) Руководство швейной фабрики хотело бы иметь информацию о том, сколько платьев каждого фасона цвета и размера будет продано. С одной стороны нельзя допускать перепроизводства, чтоб не продавать товар по заниженным ценам, с другой стороны нехватка приводит к необходимости выпускать больше изделий, чем было намечено к данному сроку. Если иметь прогноз через 5 недель после поступления первого наименования в продажу, можно обеспечить изготовление необходимого числа продукции к намеченному сроку. Ниже приведены данные о суммарном объеме проданных изделий каждого фасона, цвета и размера и соответствующие цифры за 5 недель. Они были получены в начале исследования.

Файл с данными : Описываем две переменные и вводим данных.

Диаграмма рассеивания Рассмотрим диаграмму рассеяния, которая иллюстрирует зависимость между продажами в первые пять недель и уровнем продаж за год. Можно легко заметить очевидную связь: обе переменные развиваются в одном направлении и множество точек, соответствующих наблюдаемым значениям показателей, явно концентрируется (за некоторыми исключениями) вблизи прямой. В таком случае говорят о линейной связи.

Уравнение прямой регрессии Смещение по оси ординат соответствует точке на оси у, где прямая регрессии пересекает эту ось. Коэффициент регрессии b1 через соотношение b1 = tg(a) указывает на угол наклона прямой. При проведении простой линейной регрессии основной задачей является определение параметров b1 и b0. Оптимальным решением этой задачи является такая прямая, для которой сумма квадратов вертикальных расстояний до отдельных точек данных является минимальной. b0b0 x Y У = b 1* х + b 0 где b1 регрессионный коэффициент, b0 смещение по оси ординат

Линия предсказания это прямая с уравнением У=b1*X + b0, где b1, b0 выбраны из соображений, чтобы сумма квадратов ошибок оценки была бы минимальна.

Линия предсказания, построенная по методу наименьших квадратов Предсказ. значение Ошибка оценки Пример ошибки оценки для ученика, имеющего оценку 100 по Х и 31 по У

Меню: Analyze, Regression, Linear (линейная)

Результаты расчетов

Результаты расчетов (продолжение)

Пояснения к расчетам Получим уравнение регресcии: y = x R2 = Частное от деления рассчитанных коэффициентов и стандартной ошибки дают величину t=1.663 / 0.103= Соответственный уровень значимости относится к существованию ненулевых коэффициентов регрессии (0,000 и 0,897). Средняя часть расчетов отражает два источника дисперсии: дисперсию, которая описана уравнением регрессии и дисперсия, которая не учитывалась при записи уравнения – остаточная дисперсия. Частное от суммы квадратов, обусловленных регрессией и общей дисперсией называется мерой неопределенности R-квадрат. Для нашего случая R-квадрат = / = 0,949 Эта величина характеризует качество регрессионной прямой, т.е. степень соответствия между моделью и исходными данными. Мера неопределенности всегда лежит между 0 и 1.

Построение регрессионной прямой Чтобы на диаграмме рассеяния изобразить регрессионную прямую, поступите следующим образом: Выберите в меню Graphs... (Графики) Scatter... Диаграммы рассеяния Откроется диалоговое окно Scatter plots... (Диаграмма рассеяния) В диалоговом окне Scatter plots...(Диаграмма рассеяния) оставьте предварительную установку Simple (Простая) и щёлкните на кнопке Define (Определить). Откроется диалоговое окно Simple Scatter plot (Простая диаграмма рассеяния)

Окно Simple Scatterplot (простая диаграмма рассеивания) Перенести переменну ю «Продано всего» в Y Axis, «Продано в первые пять недель» в X Axis

Появится диаграмма рассеивания

Чтобы построить прямую регрессии на диаграмме рассеивания Дважды щелкнуть на графике, чтобы перевести его в редактор диаграмм Выбрать Chart, Options… В окне Scatterplots Options поставить флажок у опции Total и щелкнуть на кнопке Fit Options. В окне Fit Line выбрать Linear Regression, нажать Continue, OK.

Линия регрессия

Предсказанные значения и остатки Линия регрессии выражает наилучшее предсказание зависимой переменной (Y) по независимым переменным (X). Однако, природа редко бывает полностью предсказуемой и обычно имеется существенный разброс наблюдаемых точек относительно подогнанной прямой. Отклонение отдельной точки от линии регрессии (от предсказанного значения) называется остатком.

Интерпретация коэффициента детерминации R-квадрат Если имеется R-квадрат равный 0.4, то 40% от исходной изменчивости могут быть объяснены в модели, а 60% остаточной изменчивости остаются необъясненными. Значение R-квадрата близкое к 1.0 показывает, что модель объясняет почти всю изменчивость соответствующих переменных.

Еще примеры регрессии Взаимосвязь между числом сигарет, выкуриваемых в день, и частотой пульса

Город, в котором мы живем Связано ли отношение к городу с длительностью проживания в нем?

Уравнение регрессии

3.Регрессия в Excel Меню: Сервис, Анализ данных, Регрессия

Построение линии регрессии в Excel

4. Множественная линейная регрессия Общее назначение множественной регрессии состоит в анализе связи между несколькими независимыми переменными (называемыми также регрессорами или предикторами) и зависимой переменной. Термин множественная регрессия был впервые использован в работе Пирсона в 1908 г.

Пример Например, агент по продаже недвижимости мог бы вносить в каждый элемент реестра размер дома (в квадратных футах), число спален, средний доход населения в этом районе в соответствии с данными переписи и субъективную оценку привлекательности дома. Как только эта информация собрана для различных домов, было бы интересно посмотреть, связаны ли и каким образом эти характеристики дома с ценой, по которой он был продан. Например, могло бы оказаться, что число спальных комнат является лучшим предсказывающим фактором (предиктором) для цены продажи дома в некотором специфическом районе, чем "привлекательность" дома (субъективная оценка). Могли бы также обнаружиться и "выбросы", т.е. дома, которые могли бы быть проданы дороже, учитывая их расположение и характеристики.

Пример регрессии в отделе кадров Специалисты по кадрам обычно используют процедуры множественной регрессии для определения вознаграждения адекватного выполненной работе. Параметры –"размер ответственности" (Resp) –или "число подчиненных" (No_Super), оказывают влияние на стоимость работы. Кадровый аналитик затем проводит исследование размеров окладов (Salary) среди сравнимых компаний на рынке, записывая размер жалования и соответствующие характеристики (т.е. значения параметров) по различным позициям. Эта информация может быть использована при анализе с помощью множественной регрессии для построения регрессионного уравнения в следующем виде: Salary = 0.5*Resp +0.8*No_Super

Пример: цена здания под офис Предположим, что застройщик оценивает стоимость группы небольших офисных зданий в традиционном деловом районе. Застройщик может использовать множественный регрессионный анализ для оценки цены офисного здания в заданном районе на основе следующих переменных: X1 - площадь здания X2 - число офисов X3 - число входов под офис X4 - срок эксплуатации здания Y - оценочная цена под офис 4 независимых переменных Зависимая переменная

Данные: цена здания под офис

Уравнение множественной регрессии В случае множественного регрессионного анализа необходимо оценить коэффициенты уравнения y = b0 + b1*x1 + b2*x bn*xn где n количество независимых переменных, обозначенных как х1, …, хn, b0 некоторая константа. Переменные, объявленные независимыми, могут сами коррелировать между собой; этот факт необходимо обязательно учитывать при определении коэффициентов уравнения регрессии для того, чтобы избежать ложных корреляций.

Множественная регрессия в SPSS

Результаты расчетов: сводная таблица модели Коэффициент детерминации R-квадрат

Результаты расчетов: дисперсионный анализ

Результаты расчетов: Коэффициенты y = 27,64*x *x *x ,24*x

Уравнение регрессии y = 27,64*x *x *x ,24*x4 + 52,318 Определите оценочную стоимость здания под офис в том же районе, которое имеет площадь 2500 квадратных метров, три офиса, два входа, зданию 25 лет, используя уравнение регрессии: y = 27,64* * * ,24* = р.

Интерпретация коэффициентов уравнения множественной регрессии Для интерпретации направления связи между переменными смотрят на знаки (плюс или минус) регрессионных коэффициентов или B- коэффициентов. Если B-коэффициент положителен, то связь этой переменной с зависимой переменной положительна (например, чем больше площадь здания, тем выше его цена); если B-коэффициент отрицателен, то и связь носит отрицательный характер (например, чем меньше срок эксплуатация здания, тем выше его цена). если B-коэффициент равен 0, связь между переменными отсутствует.

4. Нелинейное оценивание Иногда, при проведении анализа линейной модели, исследователь получает данные о ее неадекватности. В этом случае для уточнения модели в ее уравнение добавляются некоторые нелинейные члены. Нелинейное оценивание оставляет выбор характера зависимости за вами. Например, вы можете определить зависимую переменную как логарифмическую функцию от предикторной переменной, как степенную функцию, или как любую другую композицию элементарных функций от предикторов.

Analyze, Regression, Curve Estimation (оценивание с помощью кривой)

Модели диалогового окна Сurve Estimation (оценивание с помощью кривых)

Модели диалогового окна Сurve Estimation ( продолжение)

Две модели нелинейной регрессии

Коэффициенты уравнения регрессии для квадратичной и кубической модели Мо- дель Rsq d.f.FSig f b0b1b2b3 QUA, ,69, ,122,8232-,0142 CUB, ,14, ,3471, ,E-05 Выберите лучшую модель и запишите в тетрадь уравнение полученной кривой.