ЭЛЕМЕНТЫ ДИАГНОСТИКИ. Диагностика чего ? -Модели ? -Свойств данных ? -Результата ? Примем, что свойства модели уже известны: она протестирована на модельный. - презентация

1 ЭЛЕМЕНТЫ ДИАГНОСТИКИ

2 Диагностика чего ? -Модели ? -Свойств данных ? -Результата ? Примем, что свойства модели уже известны: она протестирована на модельный данных, доказано, что она способна делать то, что продекларировано её авторами, по крайней мере, в условиях умеренной зашумленности данных и небольших отклонений от основных гипотез

3 Иногда «первичное» тестирование моделей также называют диагностикой. Мы будем понимать под диагностикой выяснение свойств решения как отражение особенностей взаимодействия конкретных данных с конкретной моделью с целью: -выявления проблемных мест -определения путей их устранения С этой задачей творчески имеют дело все специалисты в области оценки запасов, поэтому замечания и дополнения весьма приветствуются

4 Первичный анализ данных также важен (чтоб заранее представлять с чем имеем дело)

5 -Можно посмотреть на устойчивость селективности -видно, например, что поколение 1992 г.р. имеет сильную аномалию в уловах в младших возрастах и может быть разумным иметь более высокие остатки для этого поколения. Это означает, что общая оценка в меньшей степени основана на этом поколении анализ логарифмов уловов по поколениям

6 Аналогично – для съемок Можно увидеть Сильные поколения Колоколообразная Форма говорит о низкой улавдива- емкости в младших возрастах Some recent year classes strong. Has the mortality increased? Year effects

7 Анализ корреляции внутри съемки: U(a,y) vs. U(a+1,y+1)

8 Итак, посмотрели на данные: -увидели, что они, как всегда, не идеальны, однако других нет; -подумали о выборе модели и её опций; -применили её и получили некий результат. И всё ? Нет. Всё только начинается.

9 Прежде всего, надо убедиться, что мы взяли «решение» в минимуме провозглашенной целевой функции модели, т.е.: -«доехала» ли минимизационная процедура до минимума, хотя бы – локального? -Есть ли невырожденный минимум вообще? -Единственен ли он? -Если локальных минимумов несколько, то который из них глобальный? В него ли мы пришли? -Разумные ли оценки параметров имеем в глобальном минимуме или лучше выбрать, пусть локальный, но дающий оценки, имеющие биологический смысл ? (актуально для сильно зашумленных данных с аутлаерами) -Отчетлива ли локализация минимумов и т.д.

10 Если количество параметров модели обозримо, то: - «просканировать» поверхность целевой функции, меняя параметры с достаточно мелким шагом, и представить её проекции относительно параметров Продукционная модель с тремя параметрами: Минимума нет, т.е. нет и решения. Что делать? - Переформулировать модель -Изменить вид целевой функции -Найти и откорректировать аутлаеры в данных - Или всё вместе, до победы.

11 Если параметров очень много и (или) программа не позволяет провести сканирование, то хотя бы -Провести многократное оценивание, стартуя из разных начальных приближений -Варьировать параметры минимизационной процедуры и сравнить конечные значения целевой функции

12 Если целевая ф-я модели многокомпонентная, то следует провести анализ информативности данных (профили компонент Ц.Ф.)

13 Если сигналы от разных видов данных (положения минимумов соотв. компонент Ц.Ф.) противоречивы, а от некоторых сигнала нет вовсе (нет минимума), то: -Попытаться улучшить (сблизить) сигналы путем выбора других (более робастных) целевых функций и (или) опций модели -Те виды данных, которые так и не дадут вразумительный сигнал, лучше не использовать вовсе -Подумать о весовых коэффициентах при компонентах Ц.Ф. -Вернуться к анализу входных данных: выявить и уничтожить (или сгладить) аутлаеры с помощью, например, робастной винзоризации -Начать всё с начала.

14 Кое о чём может сказать анализ остатков 1. Суммы остатков (по годам и возрастам) -«смещенность» описания -автокорреляции

15 Или только по годам, если возрастной структуры нет (как в продукционных моделях) Некоторые процедуры оценки параметров позволяют искать только «несмещенные» решения.

16 2. Анализ характера распределения остатков Полезен: -Для проверки выбора целевой функции -Для дальнейшего бутстрапа

17 3. Анализ характера распределения остатков квантиль-квантильные графики (Q-Q plots) Тут в «реальном» распределении ошибок больше доля больших ошибок, чем в принятом распределении, т.е. можно попробовать распределение с более тяжёлыми хвостами

18 3. Анализ характера распределения остатков квантиль-квантильные графики (Q-Q plots) Здесь данные генерировались с гамма-распределенной ошибкой, а при оценке параметров использовалось предположение о логнормальном распределении ошибок. При правильном стандартном отклонении оно «широковато»

19 Многообразие встреченных на практике форм распределения наблюдений физических величин породило целые семейства их аналитической аппроксимации. Напомним лишь некоторые из них: Логарифмически нормальное : а) = 0 б) = 1 Экспоненциальное распределение Распределение Вейбулла

20 Гамма-распределение: а) l =1 б) n =3 Казалось бы, их хватит, чтобы описать всё разнообразие жизни. Однако, как мы увидим позже, для работы с реальными ошибками и их оказалось мало. Преимущество применения типовых законов распределения состоит в их хорошей изученности и возможности получения состоятельных, несмещенных и относительно высоко эффективных оценок параметров. Однако рассмотренные выше типовые законы распределения не обладают необходимым разнообразием форм, поэтому их применение не дает необходимой общности представления случайных величин, которые встречаются при исследовании систем

21 Функции плотности распределения для некоторых из распределений

22

23 Надо помнить, что: классические функции правдоподобия исключительно не робастны распространенные подходы: -распределения с утяжеленными хвостами (в надежде лучше описать аутлаеры) -смешанные (mixture) распределения -экзотические сверхгибкие распределения, «натяжимые» на что угодно (но каков смысл этого? –масса параметров, при том натягиваемых на случайные аутлаеры) - квази-функции правдоподобия (quasi-likelihoods), основанные на снижении влияния «плохих» наблюдений (M-оценки)

24 Методы повышения робастности оценок: -Цензурирование входных данных (например, на основе статистических методов анализа, например, двумерных массивов данных (в т.ч. крекинг) -Процедуры последовательного улучшения оценок, например, a-винзоризация - Применение робастных статистик при минимизации -Отход от классической статистики (нормальных распределений и метода наименьших квадратов) - Логнормальная модель распределения ошибок - Меры близости, свободные от вида распределения и изначально более устойчивые к резко выделяющимся значениям, чем сумма квадратов остатков - сумма абсолютных остатков - a-урезанное среднее - медиана распределения квадратных остатков - абсолютное медианное отклонение (медиана распределения абсолютных отклонений остатков от медианы распределения остатков) -оценка Ходжеса – Лемана (медиана распределения всех попарных средних, взятых из распределения остатков модели) и др.

25 3. Анализ структуры остатков низкое качество данных для начального периода

26 «годовой эффект» - неоднородность условий съемок 3. анализ структуры остатков

27 «когортный эффект» - проблемы с устойчивостью селективных свойств промысла и др. 3. анализ структуры остатков

28 Если использованы «поточечное» взвешивание данных (хотя с этим надо поступать осторожно), то удобно такое представление: Невзвеш. ост-ки Взвеш. ост-ки Вклад в целевую функцию Веса И так для каждого вида входных данных

29 Диагностика: - графики сравнения оценок запаса со съемками по поколениям

30 Диагностика: - То же, но устранены точки съемок, которым придан нулевой вес

31 Одна из возможных причин – то, что принято за константу (например, q для съемок), систематически меняется Ретроспективный анализ (есть ли «историческое» смещение) например, из-за всё более «компактного» распределения запаса в результате присутствия в запасе всё меньшего числа разных возрастных классов при плохом пополнении за несколько последних лет

32 Оценка неопределенности – традиционные способы: 1. По ковариационной матрице для параметров i. Из определителя Гесса в рамках дельта-метода: Cov ij = 2 opt /(m-n)*H ij -1, где компонент ii - дисперсия оценки параметра i. opt – оптимальное значение целевой функции, H ij -1 – компоненты обратной матрицы Гесса: (H: H ij 2 i j ) m-n – количество компонентов минус число параметров. Определитель Гесса обычно получается в ходе квази-Ньюто- новой оптимизации, но может быть посчитан и специально. 2. Путем бутстрапирования входных данных

33 Бутстреп - Способ получить «что-то из ничего» В одной из версий легенд о бароне Мюнхгаузене он вытянул себя не за волосы, а за петлю на ботфорте (bootstrap) - безусловный непараметрический (многократная перетасовка наблюдений) - условный непараметрический ( многократная их генерация по распределению) - безусловный параметрический (добавление к наблюдениям перетасованных остатков) - условный параметрический (добавление остатков, сгенерир. по распределению)

34 Общая проблема – Пусть есть набор наблюдений Х 1,... X n, случайно выбранных из неизвестного распределения F. Нас интересует оценить некоторый параметр используя информацию по выборке, по которой есть оценка = t(x). Иметь некоторую оценку точности оценки также важно, как и саму оценку: нас интересует стандартная ошибка для, а ещё лучше - доверительные интервалы для истинного значения. –Эфрон и ле Паж (1992)

35 Общая первичная гипотеза: наша выборка содержит всю информацию о генеральной совокупности, тогда –Генерировать большое количество наборов псевдо- наблюдений x1, x2, x3,... xb, из имеющихся Наблюдения в каждом наборе данных генерируются путем случайного выбора из числа наблюдений в имеющемся наборе данных Каждый набор псевдо-наблюдений имеет то же кол-во наблюдений, что и исходный набор. –Прогон модели с каждым из этих наборов и подсчет интересующих статистик (стандартные отклонения, доверит. Интервалы, среднее, медиана и т.д.) – Понятно, что этот простейший подход (безусловный параметрический) не всюду годится

36 Перед тем, как проводить бутстрап, надо задуматься: - какой из видов бутстрапа уместен для тех или иных видов данных (catch-at-age, съемки с возр. структурой, и др.) - что бутсрепировать: всю матрицу (ряд) с одними параметрами или со спецификой (например, данным для разных возрастных групп свойственна разная ошибка и т.д.; специфика отдельных лет с особо плохими данными – у них должна быть та же «привязка» или они могут кочевать и т.д.

37 Итак, провели бустреп

38 И задумались над результатами - Например, увидели, что бутстрап-среднее сильно отличается от базового результата. Почему? -А как себя ведет бутстрап-медиана? Тоже сильно отличается? -А не взять ли другой вариант бутстрапа? -А не взять ли другой закон распределения ошибок (если применен условный параметрический бутстрап) ? -А не взять ли вообще другой вариант самой оценочной модели и не начать ли всё заново? В рамках «непродуманного» бутстрапа порой могут генерироваться наборы псевдо-наблюдений «несовместимые с жизнью» самой модели или её процедуры оценки параметров: Подумать, как это происходит и как с этим бороться