Анализ данных в системе Fitter Алексей Померанцев Институт химической физики РАН

Содержание 1.Введение 2.Данные 3.Модель 4.Оценка параметров 5.Пример BoxBod 6.Прогнозирование 7.Тестирование модели 8.Мультиколлинеарность 9.Прогноз срока службы ПВХ изоляции 10.Выводы

Введение

Содержательно (hard) или формально (soft)? СодержательноФормально Откуда Формула Построение Проблемы Назначение Программы y=f (x,a)+ y=Xa+ Физика, химия, ….Математика, … Трудно ?Легко ? Придумать модельПолучить данные Экстраполяция Интерполяция Fitter, Matlab, Origin, … Unscrambler, Simca, SIC,… Разнообразие украшает жизнь!

Система Fitter Отклик Веса Модель Фактор Параметры Уравнение Комментарии Значения Fitter –это надстройка (Add-In) к программе Excel

Установка Fitter Add-In Fitter Add-In установлен!

Главный диалог системы Fitter Настройки Регистрация данных Регистрация модели Регистрация апр. инфор. Дополнит. диалог Выход Поиск Помощь Число итераций Пауза на итерации Точность поиска Вывод хода поиска Вывод результатов

Данные

Данные и ошибки Отклик ПредикторыВесаПараметрыМодель АбсолютнаяВес и дисперсия Относительная При содержательном подходе связь между данными нелинейная например y=a 1 *exp(a 2 *x)+a 3 *exp(a 4 *x)

Регистрация типа ошибки Настройки

Регистрация типа ошибки. Шаг 1 Точность вычислений Формат таблиц Панель инструментов Абсолютная ошибка Относительная ошибка Закончить Продолжить Тип ошибки установлен!

Представление данных в системе Fitter Все данные вводятся и выводятся на страницу Excel

Регистрация данных

Регистрация данных. Шаг 1 Продолжить Адрес таблицы данных Закончить

Регистрация данных. Шаг 2 Первый ряд таблицы – это титул Интерпретация столбца таблицы данных Закончить Вернуться на шаг назад Продолжить

Регистрация данных. Шаг 3 Результаты регистрации таблицы данных Закончить Вернуться на шаг назад При регистрации данные нельзя изменить, а можно только объяснять

Модель

Данные и модель Мера согласия Мера согласия данных и модели- это сумма квадратов отклонений

Представление модели в системе Fitter Модель записывается в текстовое поле (Text Box), а параметры на страницу Excel

Модель f(x,a) Различные формы записи одной и той же модели Явная y = a + (b – a) 1.sh bad find_related.js lib stem_test.js exp(–c 1.sh bad find_related.js lib stem_test.js x) Неявная 0 = a + (b – a) 1.sh bad find_related.js lib stem_test.js exp(–c 1.sh bad find_related.js lib stem_test.js x) – y Дифф. уравнение d[y]/d[x] = – c 1.sh bad find_related.js lib stem_test.js (y –a); y(0) = b Представление в Fitter Очень сложная модель!

Регистрация модели

Регистрация модели. Шаг 1 Выбор текстового поля с моделью Адрес первой клетки таблицы параметров Закончить Продолжить

Регистрация модели. Шаг 2 Вид модели Переменные модели Закончить Продолжить Вернуться на шаг назад

Регистрация модели. Шаг 3 Первый ряд таблицы параметров – это титул Начальные значения параметров Вернуться на шаг назад Закончить При регистрации модель нельзя изменить, а можно только объяснять

Оценка параметров

Целевая функция Q(a) Сумма квадратов Байесовский член Целевая функция Оценки параметров Целевая функция Q- это сумма квадратов и, может быть, что-то еще…

Градиентный метод поиска оценок Проблемы поиска Исходная точка a 0 Локальный минимум Параметры a Целевая функция Q(a) Матрица A – это ключ к поиску!

Точность оценивания (статистики) Матрица ковариаций Средне-квадратичные отклонения оценок Матрица корреляций F-матрица (Фишера) Оценка дисперсии и число степеней свободы Матрица A – это мера качества оценивания!

Регистрация настроек статистик Настройки

Регистрация настроек. Шаг 1 Продолжить

Регистрация настроек статистик. Шаг 2 Общие данные СКО Ковариации Корреляции F-матрица Итоги поиска Закончить

Пример BoxBod (NIST) Априорная (байесовская) информация Данные Модель Параметры Посмотрим, как работает Fitter

Переключаемся в Excel

Прогноз

Достоверный прогноз Оценка отклика Доверительные границы Линеаризация Достоверный прогноз должен учитывать погрешности в оценках

Имитационное прогнозирование Нелинейные модели требуют специальных методов достоверного прогноза

Пример разных методов прогноза Результат ускоренных испытанийВерхняя доверительная граница Модель старения резины Линеаризация – быстро, но не точно, моделирование – точно,но долго

Регистрация настроек прогноза Настройки

Регистрация настроек. Шаг 1 Продолжить

Регистрация настроек прогноза. Шаг 2 Достоверность прогноза Метод - линеаризация Метод - моделирование Число повторов Правая граница Левая граница Закончить

Тестирование модели

Проверка гипотез Статистика сравнивается с критическим значением t ( ) Тестовая статистика Из эксперимента Из теории Проверка не доказывает верности модели! Она только показывает, что гипотеза противоречит или не противоречит данным!

Адекватность и гомоскедастичность Эти тесты используют выборочные дисперсии и они не могут быть проверены без реплик! Реплика 1 Дисперсии по репликам Реплика 2 Эти тесты часто вводят в заблуждение

Выбросы и тест серий Эти тесты используют только остатки, поэтому они могут быть проверены и без реплик Положитель- ные остатки Отрицатель- ные остатки Приемлемые отклонения Тест серий –очень чувствительный !

Регистрация настроек проверки гипотез Настройки

Регистрация настроек. Шаг 1 Продолжить

Регистрация настроек гипотез. Шаг 2 Уровень значимости Тест выбросов Тест адекватности Тест дисперсий Тест серий Коэффициент нелинейности Закончить

Мультиколлинеарность

Что такое мультиколлинеарность Мультиколлинеарность – это вырождение матрицы A Целевая функция Q(a) Разброс собственных значений: это мера вырождения матрицы A 1N(A) =24567 Мультиколлинеарность – это наш главный враг!

Причины мультиколлинеарности Строгая мультиколлинеарность Нестрогая мультиколлинеарность Планирование эксперимента!

Подготовка данных и модели ((a + b) + c) + d a + (b + (c + d)) т.к –20 = 1 64-х битное представление числа в компьютере 1001…011 Цель сделать матрицу A регулярной, т.е. уменьшить N(A) Шкалирование X mX Центрирование X X – X 0 Перепараметризация a (a) x (x) y (y) Средства Компьютеру трудно – нужно ему помочь!

Пример: закон Аррениуса Обычная форма записиУлучшенная форма записи Шкалирование и центрирование Перепараметризация N(A) = 20N(A) = 2 Простые преобразования, дающие большой выигрыш!

Вычисление производных и точность N( A ) A -1 y=f (a,x) 0=f (y,a,x)dy/dx=f (y,a,x) 66+2=88+0=88+2=1010+2= =1010+0=1010+2=1212+2= =1212+0=1212+2= =16 2) Автовычисление аналитических производных f=exp(-a*t) df/da=-t*exp(-a*t) 1) Численное вычисление разностных производных

Прогноз срока службы ПВХ изоляции

Постановка задачи ОбъектКабельная изоляция из ПВХ ЦельПрогноз срока службы ЭкспериментТермогравиметрический метод ОбработкаНелинейная регрессия + Fitter Предсказать значения,которые нельзя измерить – это экстраполяция!

ТГА эксперимент и данные ТГА экспериментТГА данные Это схема эксперимента, а не грешник в аду!

Переменные в примере ТГА Измеряемые Оцениваемые Отклик Промежуточные y=m/m 0 Изменение массы C Концентрация пластификатора ФакторыПараметры t Время y0y0 Начальное значение y C0C0 Исходная концентрация k0k0 Константа скорости испарения v Скорость нагрева E Энергия активации T0T0 Начальная температура F Удельная поверхность образца Нелинейная задача малой размерности!

Модель испарения пластификатора Закон испарения Изменение объема Закон Аррениуса Рост температуры Диффузия здесь не важна!

Пример ТГА на рабочем листе Fitter Просто!

Прогноз срока службы На все условия, произвольный размер,с любой достоверностью!

Выводы Загадочная природа Формальный подход Содержательный подход Спасибо за внимание!