Эконометрика Лекция 1.2 Повторение теории вероятностей и математической статистики Демидова О.А. E-mail:demidova@hse.ru 2011. - презентация

1 Эконометрика Лекция 1.2 Повторение теории вероятностей и математической статистики Демидова О.А. 2011

2 2 Теория вероятностей. Случайные величины Опр. Случайными величинами называют числовые функции, определенные на множестве элементарных событий:

3 3 Теория вероятностей. Дискретные случайные величины Опр. Если случайная величина принимает конечное или счетное множество значений, то она называется дискретной. Дискретные случайные величины удобно задавать с помощью таблицы, в первой строке которой перечислены значения, которые принимает случайная величина, а во второй – соответствующие вероятности: XX1X1 …XnXn PP1P1 …PnPn

4 4 Пример дискретной случайной величины Случайная величина X – количество очков на верхней грани брошенной кости X P1/6

5 5 Функция распределения случайной величины Опр. Функцией распределения F X (x) случайной величины Х называется F X (x) = P(X x). Свойства функции распределения: 1) 2) 3) F(x) – неубывающая функция

6 6 Непрерывная случайная величина Опр. Случайная величина называется непрерывной, если существует кусочно непрерывная функция f(x) такая, что F(x) = f(x). f(x) называется функцией плотности распределения. Свойства функции плотности 1) f (x) 0 2) 3)

7 7 Математическое ожидание случайной величины Существует две основных числовых характеристики случайных величин: математическое ожидание и дисперсия. Опр. Математическое ожидание случайной величины:,если X – дискретная случайная величина,,если X – непрерывная случайная величина.

8 8 Дисперсия случайной величины Опр. Дисперсией (обычно обозначаемой σ 2 ) случайной величины называется: Var(X) = σ X 2 = E(X – E(X)) 2. Опр. Стандартным отклонением называется корень из дисперсии.

9 9 Ковариация и коэффициент корреляции случайных величин Х и Y Опр. Ковариацией случайных величин Х и Y называется Cov(X,Y) = E(X – E(X))(Y – E(Y)) Опр. Коэффициентом корреляции случайных величин Х и Y называется: Свойства коэффициента корреляции: 1) |r XY | 1 2) Если r XY = 0, то не существует линейной связи между X и Y 3) Если |r XY | = 1, то между случайными величинами X и Y существует точная линейная связь: Y = aX + b

10 10 Свойства математического ожидания, дисперсии и ковариации 1) E(C) = C 2) E(CX) = CE(X) 3) E(X + Y) = E(X) + E(Y) 4) Var(C) = 0 5) Var(CX) = C 2 Var(X) 6) Var(X + Y) = Var(X) + 2 Cov(X,Y) + Var(Y) 7) Cov(X + Y, Z) = Cov(X, Z) + Cov(Y, Z) 8) Cov(CX,Y) = CCov(X, Y) 9) Cov(X,Y) = Cov(Y, X) 10) Cov(X,X) = Var(X), где С - константа, X,Y, Z – случайные величины.

11 11 Совместное распределение двух случайных величин Пусть X, Y - случайные величины с совместным законом распределения. Это может быть таблица, если X, Y принимают конечное или счетное множество значений. Закон совместного распределения непрерывных случайных величин может быть задан с помощью совместной функции плотности f(x,y).

12 12 Маргинальные распределения Если задан совместный закон распределения случайных величин X и Y, то маргинальное распределение случайной величины Х имеет вид: P(X = X i ) = j P(X = X i, Y = Y j ), i = 1,…,n для дискретного случая, f x (x) = f(x,y)dy – функция плотности для непрерывной случайной величины. Математическое ожидание и дисперсия случайных величин X, Y определяются как обычно.

13 13 Условные распределения Условная плотность распределения определяется следующим образом: P(Y = Y j |X = X i ) = P(X = X i, Y = Y j )/P(X = X i ) в дискретном случае, f(y|x) = f(x,y)/f x (x) в непрерывном случае.

14 14 Независимость случайных величин Если P(Y = Y j |X = X i ) = P(Y = Y j ) для всех i в дискретном случае, или f(y|x) = f(y) в непрерывном случае, то случайные величины X,Y называются независимыми. В случае независимости случайных величин X, Y P(X = X i,Y = Y j ) = P(X = X i ) P(Y = Y j ) в дискретном случае, f(x,y) = f x (x) f Y (y) в непрерывном случае.

15 15 Условное математическое ожидание E(Y|X = X i ) = j Y j P(Y = Y j |X = X i ) в дискретном случае, E(Y|X) = yf(y|x)dy в непрерывном случае.

16 16 Нормальное распределение Опр. Случайная величина Х имеет нормальное распределение с математическим ожиданием a и дисперсией σ 2 (сокращенно это обозначается ), если функция плотности этой случайной величины имеет вид

17 17 Нормальное распределение Опр. Случайная величина Х имеет стандартное нормальное распределение, если

18 18 Функция плотности нормально распределенной случайной величины

19 19 Хи - квадрат распределение Опр. Случайная величина Y имеет Хи – квадрат распределение с k степенями свободы (сокращенно ), если, где случайные величины X i – независимые нормально распределенные случайные величины с математическим ожиданием 0 и дисперсией 1.

20 20 Функция плотности распределения Хи – квадрат

21 21 Таблицы для Хи – квадрат распределения χ 2 (хи-квадрат) распределение: Критические значения χ 2 Уровень значимости 5% 1% 0.1% Число степеней свободы

22 22 t - распределение Опр. Случайная величина Z имеет t – распределение с k степенями свободы (сокращенно Z ~ t(k)), если, где X ~ N(0,1), Y имеет хи – квадрат распределение с k степенями свободы, X и Y независимы.

23 23 t - распределение: Критические значения t Число степеней Двусторонний тест 10% 5% 2% 1% 0.2% 0.1% свободы Односторонний тест 5% 2.5% 1% 0.5% 0.1% 0.05% ………………… …………………

24 24 Функция плотности t- распределения Функция плотности t - распределения. Двусторонний тест

25 25 Функция плотности t - распределения. Односторонний тест Функция плотности t- распределения

26 26 F - распределение Опр. Случайная величина Z имеет F - распределение со степенями свободы m и n (сокращенно Z ~ F(m, n)), если, где случайная величина X имеет распределение хи– квадрат с m степенями свободы, случайная величина Y имеет распределение хи– квадрат с n степенями свободы, X и Y независимы.

27 27 F - распределение F -распределение: Критические значения F (5% уровень значимости) v v

28 28 Математическая статистика Совокупность всех возможных значений случайной величины называется генеральной совокупностью. Подмножество генеральной совокупности называется выборкой. Основная задача математической статистики – оценивание характеристик генеральной совокупности по выборке. Обо всей генеральной совокупности мы, как правило, ничего не знаем точно и можем строить лишь догадки - гипотезы. Для проверки своих гипотез мы исследуем независимую выборку из генеральной совокупности и строим на основании выборки выборочные оценки неизвестных теоретических параметров. Различают точечные и интервальные оценки.

29 29 Точечные оценки Предположим, что мы имеем выборку X 1,…,X n из распределения, зависящего от параметра θ. Опр. Точечной оценкой (статистикой) называется любая числовая функция от выборки.

30 30 Несмещенность, эффективность, состоятельность оценок Точечные оценки считаются «хорошими», если они обладают определенными свойствами: несмещенностью (в этом случае математическое ожидание оценки совпадает с оцениваемым теоретическим параметром); состоятельностью (это означает, что для больших выборок вероятность значимых отклонений величины оценки от значения оцениваемого теоретического параметра равна нулю); эффективностью (чем меньше дисперсия оценки, тем она считается эффективнее).

31 31 Несмещенные оценки для математического ожидания и дисперсии Предположим, X 1,…,X n - выборка из генеральной совокупности, _ E(X i ) = μ, D(X i ) = σ 2, i = 1,…,n. Несмещенные оценки для математического ожидания и дисперсии (выборочное среднее и выборочная дисперсия) :

32 32 Несмещенная оценка для ковариации Для двух выборок X 1,…,X n и Y 1,…,Y n несмещенная оценка для ковариации случайных величин X и Y имеет вид:

33 33 Интервальные оценки При интервальном оценивании конструируются две функции от выборки: такие, что Этот интервал называется (1 – α)100% доверительным интервалом для параметра θ.

34 34 Проверка гипотез Предположим, что мы имеем выборку X 1,…,X n из распределения, зависящего от параметра θ. Относительно параметра θ выдвигаются две гипотезы, основная H 0 и альтернативная H 1, например: H 0 : θ = θ 0 H 1 : θ θ 0

35 35 Проверка гипотез Статистическим тестом (или просто тестом) называется процедура, основанная на наблюдениях X 1,…,X n, результатом которой является одно из двух возможных решений: 1)Не отвергать основную гипотезу H 0, 2) Отвергнуть нулевую гипотезу H 0 в пользу альтернативной гипотезы H 1. При этом можно совершить две ошибки: 1)Ошибка первого рода – отвергнуть нулевую гипотезу, когда она верна, 2)Ошибка второго рода – не отвергнуть нулевую гипотезу, когда она не верна.

36 36 Проверка гипотез Вероятность ошибки первого рода обозначается α и называется уровнем значимости теста, Вероятность ошибки второго рода обозначается β. 1 – β называется мощностью теста.

37 37 Проверка гипотез На практике для построения тестов часто используют следующий подход. Находят такую статистику t n (X 1,…,X n ), что если гипотеза H 0 верна, то распределение случайной величины t n известно. Тогда для заданного уровня значимости α можно найти такую область К α, что P(t n Є К α ) = 1 – α. Тогда тест проводится следующим образом: 1) На основании наблюдений X 1,…,X n вычисляется значение статистики t n. 2) Для заданного уровня значимости α находится область К α. 3) Если t n Є К α, то нулевая гипотеза не отвергается. 4) В противном случае нулевая гипотеза отвергается в пользу альтернативной.

38 38 Проверка гипотез Статистику t n называют критической статистикой, а область К α – критической областью. На практике критические статистики часто имеют распределение N(0,1), t, «хи – квадрат», F. В этих случаях для критической статистики легко рассчитать p-value (p-значение) – минимальный уровень значимости, при котором основная гипотеза отвергается.