Лекция в ОмГУ Все что вы хотели знать о хемометрике, но стеснялись спросить Алексей Померанцев Институт химической физики РАН Российское хемометрическое общество Научная конференция

Лекция в ОмГУ Содержание Введение 1.Калибровка 2.Анализ изображений 3.Экология 4.Биология 5.MSPC & PAT 6.Четвертая парадигма

Лекция в ОмГУ Хемометрика - это научная дисциплина, находящаяся на стыке химии и математики, предметом которой являются математические методы исследования химических данных сайт Российского хемометрического общества Хемометрика: два определения Дедуктивное Хемометрика – это то, что делают хемометрики. сайт Международного хемометрического общества Хемометрики – это такие люди, которые все время пьют пиво и воруют идеи у математиков Svante Wold Индуктивно е

Лекция в ОмГУ Что делают хемометрики? контролируют производство полупроводников, аспирина и пива; исследуют причины разрушения старинных документов; проводят допинг контроль спортсменов; расшифровывают состав косметики Древнего Египта; локализуют месторождение золота в Швеции; идентифицируют подозреваемого в убийстве Анны Линд; проводят диагностику артрита и рака на ранних стадиях; исследуют органические субстанции в кометном веществе; исследуют кормовой рацион на свинооткормочных комплексах; проверяют, как рацион питания влияет на умственные способности; определяют фальшивые лекарства; и еще многое, многое другое контролируют производство полупроводников, аспирина и пива; исследуют причины разрушения старинных документов; проводят допинг контроль спортсменов; расшифровывают состав косметики Древнего Египта; локализуют месторождение золота в Швеции; идентифицируют подозреваемого в убийстве Анны Линд; проводят диагностику артрита и рака на ранних стадиях; исследуют органические субстанции в кометном веществе; исследуют кормовой рацион на свинооткормочных комплексах; проверяют, как рацион питания влияет на умственные способности; определяют фальшивые лекарства; и еще многое, многое другое

Лекция в ОмГУ А если серьезно.... Хемометрика имеет дело с данными (зачас- тую с очень большими), поэтому хемометрика - это подраздел информатики (Data mining) Данные, которые исследует хемометрика по большей части происходят из химии, поэтому хемометрика - это подраздел химии (Analytical chemistry) Методы, которые использует хемометрика ориентированы на формальное моделирование (Soft modeling) Хемометрика имеет дело с данными (зачас- тую с очень большими), поэтому хемометрика - это подраздел информатики (Data mining) Данные, которые исследует хемометрика по большей части происходят из химии, поэтому хемометрика - это подраздел химии (Analytical chemistry) Методы, которые использует хемометрика ориентированы на формальное моделирование (Soft modeling)

Лекция в ОмГУ Два «не» и три «да» 1. Хемометрика химическая метрология 2. Хемометрика статистика в химии 1. Хемометрика химическая метрология 2. Хемометрика статистика в химии Хемометрика решает следующие задачи : (1) как получить информацию из химических данных (2) как представить эту информацию (3) как получить данные, содержащие такую информацию. Хемометрика решает следующие задачи : (1) как получить информацию из химических данных (2) как представить эту информацию (3) как получить данные, содержащие такую информацию.

Лекция в ОмГУ Когда появилась? «Каждая попытка применить математи- ческие методы для исследования хи- мических проблем должна рассматрива- ться как абсолютно абсурдная и проти- воречащая самому духу химии. Если математический анализ, когда - либо займет сколько-нибудь значительное место в химии – извращение, которое по счастью почти невероятно – это повлечет за собой повсеместно быстрое вырожде- ние этой науки». Огюст Конт, 1825 «Каждая попытка применить математи- ческие методы для исследования хи- мических проблем должна рассматрива- ться как абсолютно абсурдная и проти- воречащая самому духу химии. Если математический анализ, когда - либо займет сколько-нибудь значительное место в химии – извращение, которое по счастью почти невероятно – это повлечет за собой повсеместно быстрое вырожде- ние этой науки». Огюст Конт, 1825

Лекция в ОмГУ США, Сиэтл, 1974 год Сванте Волд (Svante Wold) Брюс Ковальски (B. Kowalski)

Лекция в ОмГУ Прогресс хемометрики Статьи, опубликованные в журналах издательства Elsevier

Лекция в ОмГУ Хемометрика 1970 Психометрика 1940 Биометрика 1900 Хемометрика среди своих сестер Область приложений Оригинальность методов

Лекция в ОмГУ Основные принципы хемометрики Использование многомерного подхода при конструировании экспериментов и анализе их результатов. 2. Что считать шумом, а что – информацией, всегда решается с учетом поставленных целей и методов, используемых для ее достижения Понятие эффективного (химического) ранга и скрытых, латентных переменных, число которых равно этому рангу.

Лекция в ОмГУ Основная задача хемометрики Заменить прямые измерения, которые либо – невозможны дороги длительны на косвенные измерения, которые – доступны дешевы быстры с последующей их обработкой (калибровкой). Заменить прямые измерения, которые либо – невозможны дороги длительны на косвенные измерения, которые – доступны дешевы быстры с последующей их обработкой (калибровкой).

Лекция в ОмГУ Много переменных и много измерений Одно измерение – спектр (600 точек)Один цикл – 800 спектров (времен) ю... Один массив данных – 200 образцов (циклов)

Лекция в ОмГУ Представление данных в подпространстве

Лекция в ОмГУ Формальные и содержательные модели Содержательные Hard models Формальные Soft models Откуда Физика, химия, ….Из данных Формула y=f (x,a)+ y=Xa+ Параметры Имеют физ. смыслФизически бессмысленны Проблемы Построить модельОбработать данные Назначение ЭкстраполяцияИнтерполяция Пример Хим. кинетикаANOVA

Лекция в ОмГУ Хемометрика Аналитическая химия Статистика Математика Численные методы Технология Промышленность Биология Экспертиза Множество приложений Теоретическая и физическая химия Хемометрика Органическая химия QSAR QSPR X-omics Фармацевтика Экология Распознавание образов Кинетика Эл. язык и нос

Лекция в ОмГУ Часть 1. Калибровка Битва снеговиков и углевиков

Лекция в ОмГУ Антиоксиданты Антиоксиданты – это специальные добавки, которые замедляют термоокислительное старение полимеров. Они защищают материал от окисления в ходе изготовления материала и при эксплуатации изделий Задача состоит в оценке эффективности новых, перспективных химических соединений

Лекция в ОмГУ Период индукции - OIP T = 140°C t = дней Обычный метод – это длительное термическое старение

Лекция в ОмГУ Температура начала окисления - OIT Альтернатива – это дифф. сканирующая калориметрия

Лекция в ОмГУ Цель Создать быстрый метод для тестирования АО Средство Построить калибровку: температура начала окисления - период индукции Построить калибровку: температура начала окисления - период индукции

Лекция в ОмГУ Подготовка образцов 25 образцов AO Полипропилен (PP) 3 концентрации AO

Лекция в ОмГУ DSC эксперименты. 5 скоростей нагрева

Лекция в ОмГУ Данные и их интерпретация

Лекция в ОмГУ PLS1 регрессия: Xa i = y i X 3 модели для каждой начальной концентрации AO y 1 y 2 y 3

Лекция в ОмГУ Построение модели. Три набора данных A0A0 X expl Y exp RMSEC r 2 (cal) RMSEP r 2 (test) β %92% %88% %84%

Лекция в ОмГУ Прогноз периода индукции для A 0 = 0.05

Лекция в ОмГУ SIC Метод Все погрешности ограничены! Существует максимальное отклонение,, такое что Prob{| | > }= 0 Область допустимых значений RPV Прогнозные интервалы: SIC & PLS

Лекция в ОмГУ Простое интервальное оценивание Пятница 6 апреля 11:30 ауд. 208 О.Е. Родионова Простой взгляд на простое интервальное оценивание Пятница 6 апреля 11:30 ауд. 208 О.Е. Родионова Простой взгляд на простое интервальное оценивание

Лекция в ОмГУ Прогнозные интервалы для A 0 =0.05 Обучающие образцы AO1-AO18 Проверочные образцы AO19-AO25

Лекция в ОмГУ N-way методы PARAFAC Tucker3

Лекция в ОмГУ Часть 2. Анализ изображений Still Life

Лекция в ОмГУ Разложение изображения по каналам Red channel Blue channel Green channel

Лекция в ОмГУ Оцифровка изображения

Лекция в ОмГУ Применение МГК для анализа X PCA Образ ГК1 Образ ГК2

Лекция в ОмГУ Он же в пространстве ГК1Исходный аэроснимок Исследование состояния лесов (Канада) Область с высоким коэффициентом отражения Область в тениНовые посадкиСтарые деревья

Лекция в ОмГУ Часть 3. Экология Пухтоград

Лекция в ОмГУ Счета и нагрузки. Свалка Безенчук возраст ~ 25 лет объем ~ м 3 площадь ~ м 2 состав отходов: 1. бытовые 2. аграрные 3. промышленные E.V. Mikhailov et al Ecological assessment of landfills with multivariate analysis a feasibility study, Chemom. Intell. Lab. Syst., WSC-5 issue, In Press

Лекция в ОмГУ Отбор проб Глубина (Depth) Зольность (Ash) Влажность (Humidity) Об. вес (Weight) t o летом (Summer T) t o зимой (Winter T) Измеряемые Оцениваемые Линза (Lens = ± 1 ) Основа (Base = ± 1)

Лекция в ОмГУ Матрица данных восемь переменных: j=1….J 123 образца : i =1,…, I X s2s2 X ={X ij }

Лекция в ОмГУ Счета и нагрузки линзы основа

Лекция в ОмГУ Часть 4. Биология Биолог в аду

Лекция в ОмГУ Новая биология: X- omics Традиционный подход: Один ген/белок/реакция за раз Исследование отдельной модели Новый «системный» подход: Все ДНК/РНК/белки исследуются вместе Глобальный анализ больших данных

Лекция в ОмГУ Что такое microarray - чип? Каждый микрореактор содержит ДНК (или белок) Обычно в каждом реакторе разные ДНК, с повторами для контроля точности За один раз несколько микрореакторов гибридизируются с экстрактами тканей Результат виден как образ, состоящий из множества цветных пятен

Лекция в ОмГУ Эксперименты с ДНК Сравниваются две пробы ДНК. Они подкрашиваются разными красителями Результат эксперимента это интенсивности через два фильтра - красный и зеленый Подготовка проб ДНК контроль тест подкрашивание красителями смешивание в равных объемах гибридизация пробы скани- рование Подготовка чипа Подготовка чипа

Лекция в ОмГУ Сегментация

Лекция в ОмГУ Результат сегментирования ХорошийПлохой

Лекция в ОмГУ Оцифровка изображения

Лекция в ОмГУ Псевдо - спектры 480 образцов (строк) × 196 переменных (столбцов)

Лекция в ОмГУ Первая ГК

Лекция в ОмГУ Вторая и третья ГК

Лекция в ОмГУ Часть 5. Промышленность Металлурги и компьютер

Лекция в ОмГУ Что такое PAT? Process Analytical Technology (PAT) = Технология (методы) анализа процессов FDA = U.S. Department of Health and Human Services Food and Drug Administration Guidance for Industry PAT A Framework for Innovative Pharmaceutical Development, Manufacturing, and Quality Assurance Pharmaceutical CGMPs, September 2004

Лекция в ОмГУ PAT: Определение бюрократа PAT – это система планирования, анализа и конт- роля критических переменных, характеризующих состояние производственных материалов и про- цессов в реальном времени (т.е. по ходу производ- ства), с целью подтверждения качества произво- димого продукта. Guidance for Industry PAT A Framework for Innovative Pharmaceutical Development, Manufacturing, and Quality Assurance. Pharmaceutical CGMPs, September 2004 PAT – это система планирования, анализа и конт- роля критических переменных, характеризующих состояние производственных материалов и про- цессов в реальном времени (т.е. по ходу производ- ства), с целью подтверждения качества произво- димого продукта. Guidance for Industry PAT A Framework for Innovative Pharmaceutical Development, Manufacturing, and Quality Assurance. Pharmaceutical CGMPs, September 2004

Лекция в ОмГУ Исторические данные … … Реализации процесса s1, s2,...,s54 Ключевые переменные процесса (датчики) X1, X2,..., X17

Лекция в ОмГУ Карты Шухарта SPS (1927)

Лекция в ОмГУ МГК на исторических данных Образцы = Счета TПеременные = Нагрузки P

Лекция в ОмГУ Одномерная область контроля Стат. контроль процессов (SPC) X1 X2 Многомерная область контроля t t t t t t t t t t t t t t X2X1

Лекция в ОмГУ Контроль процесса (не просто игра)

Лекция в ОмГУ MSPC & PAT Пятница 6 апреля 9:45 ауд. 208 А.Л. Померанцев Аналитический контроль процессов Пятница 6 апреля 9:45 ауд. 208 А.Л. Померанцев Аналитический контроль процессов

Лекция в ОмГУ Часть 6. Четвертая парадигма Парадигма – концептуальная схема, используемая для постановки проблем и их решения, господствующая в научном сообществе в течение длительного исторического периода. Энцик. словарь Академик Кадыров

Лекция в ОмГУ Парадигмы науки VII c. BC Пифагор, Евклид Геометрическая парадигма науки. Теорема Пифагора XV c. AD Лука Пачоли, папа Сильвестр II Арифметическая парадигма науки. Таблица умножения XVII c. AD Исаак Ньютон, Готфрид Лейбниц Дифференциальная парадигма науки. Производная XXI c. AD ????? Новая парадигма науки. Неформальное моделирование

Лекция в ОмГУ I. Геометрическая V- III вв до н.э.

Лекция в ОмГУ II. Алгебраическая X-XV н.э.

Лекция в ОмГУ III. Дифференциальная XVII в. –н.в.

Лекция в ОмГУ 2H 2 +O 2 2H 2 O

Лекция в ОмГУ IV. Новая парадигма

Лекция в ОмГУ Наивный пример PAT Качество еды Эффективность производства Ресторанное качество Стандартный контроль Качество фастфуда ISO 900X Домашнее качество PAT Домашнее качество Экспертный контроль

Лекция в ОмГУ Sixth Winter Symposium on Chemometrics Школа: февраля 2008 Конференция: февраля 2008 Казань

Лекция в ОмГУ Участники WSC-5 в Самаре

Лекция в ОмГУ Благодарность В презентации использованы репродукции картин Питерского художника Николая Копейкина За это ему – большое спасибо! Автопортрет в костюме Деда Мороза

Лекция в ОмГУ Спасибо за внимание!