Методы автоматизированной предварительной диагностики заболеваний и морфологических изменений желудочно-кишечного тракта с применением беспроводной капсульной эндоскопии Конев В.Н., аспирант каф. 36 НИЯУ МИФИ, 2013 Москва 1 Научный руководитель, Михайлов Д.М., к.т.н.

Методы диагностики ЖКТ Четыре классических метода исследований ЖКТ Рентгенологическое исследование Рентгенологическое исследование Хирургическое вмешательство Хирургическое вмешательство Классическая эндоскопия (гастроскопия) Классическая эндоскопия (гастроскопия) Колоноскопия Колоноскопия Москва 2 Недостатки существующих решений Неинвазивные методы дают лишь грубые оценки патологий Неинвазивные методы дают лишь грубые оценки патологий Высокий уровень дискомфорта пациента Высокий уровень дискомфорта пациента Этический аспект Этический аспект Невозможность осмотра все полости ЖКТ Невозможность осмотра все полости ЖКТ Невозможность проведения дистанционного обследования Невозможность проведения дистанционного обследования Проблемы с обследованием тонкого кишечника Проблемы с обследованием тонкого кишечника

Капсульная эндоскопия Общие принципы проведения исследования: Пользователь проглатывает миниатюрную капсулу Пользователь проглатывает миниатюрную капсулу С определенной частотой осуществляется подсветка стенок ЖКТ и их фото-съемка С определенной частотой осуществляется подсветка стенок ЖКТ и их фото-съемка Данные накапливаются или передаются на считыватель Данные накапливаются или передаются на считыватель Врач просматривает результаты на ПК Врач просматривает результаты на ПК Москва 3

Рынок эндоскопических капсул Москва 4 На рынке медицинских услуг представлено достаточно большое количество эндоскопических капсул: Given Imaging PillCam ESO Given Imaging PillCam ESO Given Imaging PillCam ESO 2 Given Imaging PillCam ESO 2 Given Imaging PillCam SB Given Imaging PillCam SB Olympus EndoCapsule Olympus EndoCapsule RF Systems Sayaka RF Systems Sayaka Jinshan OMOM Jinshan OMOM IntroMedic MiroCam IntroMedic MiroCam Разрабатываемое решение ориентировано на работу с разработанной в НИЯУ МИФИ эндоскопической капсулой «Ландыш»

Базовая классификация Москва 5 В общем виде все эндоскопические капсулы можно классифицировать следующим образом: Желудочные капсулы Желудочные капсулы Капсулы для кишечника Капсулы для кишечника Управляемые капсулы Управляемые капсулы Раковые капсулы Раковые капсулы Ph-капсулы Ph-капсулы Лекарственные капсулы Лекарственные капсулы

Технические характеристики Москва 6 Типовая капсула для исследования кишечника имеет следующие характеристики: Размер: 11х26 мм (цилиндрическая) Размер: 11х26 мм (цилиндрическая) Вес: 4-6 грамма Вес: 4-6 грамма Передвижение: пассивное (за счет перистальтики) Передвижение: пассивное (за счет перистальтики) Подсветка: белые светодиоды Подсветка: белые светодиоды Камера: одна или две торцевые типа CMOS Камера: одна или две торцевые типа CMOS Разрешение: 300x300 px Разрешение: 300x300 px Частота съемки: 2-4 кадра в секунду Частота съемки: 2-4 кадра в секунду Угол обзора: градусов Угол обзора: градусов Накопление данных: беспроводная передача на считыватель Накопление данных: беспроводная передача на считыватель Общий объем данных: – кадров Общий объем данных: – кадров

Технологические ограничения Москва 7 Основными технологическими ограничениями на качество изображения являются: Необходимость беспроводной передачи данных без их накопления на капсуле Необходимость беспроводной передачи данных без их накопления на капсуле Ограничения диапазона допустимых частот и мощности радиосигнала согласно медицинским стандартам Ограничения диапазона допустимых частот и мощности радиосигнала согласно медицинским стандартам Малый форм-фактор капсулы и вытекающие из него ограничения на размер элемента питания и радиоборудования Малый форм-фактор капсулы и вытекающие из него ограничения на размер элемента питания и радиоборудования Ограничения вычислительной сложности Ограничения вычислительной сложности Из всего этого следует, что даже несмотря на имеющиеся частоты съемки в 15 к/с для CMOS матриц при разрешении в 1024х768 px, на базе существующих продуктов можно достигнуть только частот в 2-4 к/с при разрешении 300х300 px.

Основные патологии ЖКТ Москва 8 Основные патологии ЖКТ: Различные заболевания: рак, язвы, злокачественные опухоли, болезнь Крона и т.д. Различные заболевания: рак, язвы, злокачественные опухоли, болезнь Крона и т.д. Доброкачественные опухоли и различные тканевые образования – полипы; Доброкачественные опухоли и различные тканевые образования – полипы; Кровотечения; Кровотечения;

Существующее ПО Москва 9 Существующие программные комплексы обработки данных позволяют: Просматривать весь объем полученных изображений; Просматривать весь объем полученных изображений; Менять скорость воспроизведения видеоряда; Менять скорость воспроизведения видеоряда; Осуществлять перематывание видеоряда вперед и назад; Осуществлять перематывание видеоряда вперед и назад; Выводить на экран несколько снимков одновременно – мультискрин Выводить на экран несколько снимков одновременно – мультискрин

Недостатки ПО Москва 10 При этом стоит отметить: Врачу приходится просматривать весь объем полученных данных Врачу приходится просматривать весь объем полученных данных Процедура крайне утомительна для специалиста Процедура крайне утомительна для специалиста Нет практически никакой предварительной обработки данных Нет практически никакой предварительной обработки данных Нет возможностей работы с изображениями Нет возможностей работы с изображениями Процедура занимает до 2 часов работы врача! Процедура занимает до 2 часов работы врача! Имеющееся ПО работает только под управлением специализированных рабочих станций, средней стоимостью рублей Имеющееся ПО работает только под управлением специализированных рабочих станций, средней стоимостью рублей

Цели и задачи Москва 11 Целью данной работы является разработка программного средства для ускорения и упрощения процедуры диагностирования патологий ЖКТ пациента по результатам капсульной эндоскопии: Основные задачи: Разработать алгоритмические основы методов предварительной обработки изображений; Разработать алгоритмические основы методов предварительной обработки изображений; Разработать алгоритмические основы функционирования «маркеров» патологий ЖКТ Разработать алгоритмические основы функционирования «маркеров» патологий ЖКТ Реализовать предложенные методы программно в расчете на типовой ПК под управление распространенных ОС (Windows, Mac OS X, Ubuntu) Реализовать предложенные методы программно в расчете на типовой ПК под управление распространенных ОС (Windows, Mac OS X, Ubuntu) Провести комплексное тестирование разработанного продукта Провести комплексное тестирование разработанного продукта

Опорные характеристики Москва 12 По результатам исследований предметной области и работы с экспертами можно заключить, что большинство патологий ЖКТ вызывают отклонение от нормы хотя бы одного из следующих признаков: Изменение цвет стенки ЖКТ Изменение цвет стенки ЖКТ Изменение формы стенки ЖКТ Изменение формы стенки ЖКТ Изменение текстуры стенки ЖКТ Изменение текстуры стенки ЖКТ При этом изменение цвета в абсолютном большинстве случаев связано с наличием внутренних кровотечений, а изменение формы с наличием добро- или злокачественных образований – полипов.

Назначение «маркеров» Москва 13 Одной из главных задач разработки ПО является разработка «маркеров» патологий ЖКТ. При этом предполагается: Все входящие изображения разделяемые на два класса – изображения содержащие патологию, и ее не содержащие; Все входящие изображения разделяемые на два класса – изображения содержащие патологию, и ее не содержащие; Первая группа по своим размерам существенно меньше второй; Первая группа по своим размерам существенно меньше второй; Задачей «маркера» является реализация формального критерия разделения изображений на эти категории; Задачей «маркера» является реализация формального критерия разделения изображений на эти категории; Реализацию механизмов работы «маркеров» предлагается возложить на отработанные алгоритмы «машинного обучения». Исследовательской задачей при этом является выделение необходимых векторов признаков для работы алгоритмов. Реализацию механизмов работы «маркеров» предлагается возложить на отработанные алгоритмы «машинного обучения». Исследовательской задачей при этом является выделение необходимых векторов признаков для работы алгоритмов.

Гистограммный анализ Москва 14 Результаты показали, что для разных болезней гистограммы будут различаться, однако уровень различий с учетом имеющихся шумов не позволяет построить удовлетворительного разделяющего правила. Первоначальным направлением исследований было проведение гистограммного анализа входящих изображений. При этом исследования проводились для двух цветовых пространств – RGB и HSV.

Выделение опорных изображений Москва 15 Итоговый объем полученных данных очень велик и проведение его анализа в полном объеме является крайне ресурсоемкой задачей и в целом не целесообразно. Для решения этой задачи был разработан алгоритм выделения «Опорных изображений».

Выделение опорных изображений Москва 16 Работа алгоритма выглядит следующим образом: Для каждого изображения вычисляются гистограммы тона, насыщенности и яркости; Для каждого изображения вычисляются гистограммы тона, насыщенности и яркости; Из гистограмм выбрасываются краевые значения(0 и 255); Из гистограмм выбрасываются краевые значения(0 и 255); Проводится нормирование гистограмм; Проводится нормирование гистограмм; Строится разница гистограмм; Строится разница гистограмм; Отбрасываются единичные выбросы – шум зернистости матрицы; Отбрасываются единичные выбросы – шум зернистости матрицы; Вычисляется среднеквадратическая разность гистограмм; Вычисляется среднеквадратическая разность гистограмм; В случае превышения заданного порога α выделяется новое опорное изображение; В случае превышения заданного порога α выделяется новое опорное изображение;

«Маркер» сегментации видеоряда Москва 17 Однако, усредненные гистограммы в пространстве HSV сильно разделяются для различных отделов ЖКТ. «Эталонные» гистограммы планируется получить экспериментальным путем на основании имеющихся изображений от разных пациентов.

«Маркер» кровотечений Москва 18 Для ускорения обработки данных метод поиска кровотечений реализован в два этапа: На первом этапе производится поиск «кандидатов»-изображений на наличие кровотечений быстрым грубым методом; На первом этапе производится поиск «кандидатов»-изображений на наличие кровотечений быстрым грубым методом; На втором этапе производится уточнение результатов путем более подробного анализа полученных изображений; На втором этапе производится уточнение результатов путем более подробного анализа полученных изображений; Стоит отметить, что основным признаком кровотечений является наличие ярких красных пятен на изображение, значительно превосходящих по яркости стенки ЖКТ.

Этап 1 Москва 19 Изображение разбивается на 16 крупных блоков, по которым вычисляется среднее значение цветовой насыщенности; Изображение разбивается на 16 крупных блоков, по которым вычисляется среднее значение цветовой насыщенности; Угловые блоки и самый ненасыщенный блок выкидываются из рассмотрения так как не содержат полезных данных; Угловые блоки и самый ненасыщенный блок выкидываются из рассмотрения так как не содержат полезных данных; Следующий по насыщенности блок принимается за базовый с насыщенностью I s ; Следующий по насыщенности блок принимается за базовый с насыщенностью I s ; Если насыщенность хоть одного из оставшихся блоков превышает значение насыщенности базового на заданный порог I j >I s +m, то все изображение принимается за потенциального кандидата на кровотечение; Если насыщенность хоть одного из оставшихся блоков превышает значение насыщенности базового на заданный порог I j >I s +m, то все изображение принимается за потенциального кандидата на кровотечение;

Этап 1 Москва 20

Этап 2 Москва 21 Вычисляются значения насыщенности для каждого пикселя изображения; Вычисляются значения насыщенности для каждого пикселя изображения; Динамически определяются пороговые значения насыщенности изображения по схеме: Динамически определяются пороговые значения насыщенности изображения по схеме: T h = I ave + a 1 T h = I ave + a 1 T l = I ave - a 2 T l = I ave - a 2 Где T h – верхний порог, T l – нижний порог, I ave – среднее значение пиксельной насыщенности по изображению, a 1, a 2 – экспериментально определяемые коэффициенты Где T h – верхний порог, T l – нижний порог, I ave – среднее значение пиксельной насыщенности по изображению, a 1, a 2 – экспериментально определяемые коэффициенты Для изображений с высоким уровнем освещенности (значение I s в интервале [0.6, 0.75]) – прежний критерий совмещается с новым 0.95 > I s (x,y) > 0.7 Для изображений с высоким уровнем освещенности (значение I s в интервале [0.6, 0.75]) – прежний критерий совмещается с новым 0.95 > I s (x,y) > 0.7 При I s в интервале [0.75, 1.0]) – используется критерий 0.95 > I s (x,y) > 0.85 При I s в интервале [0.75, 1.0]) – используется критерий 0.95 > I s (x,y) > 0.85

Этап 2 Москва 22

Макет программного средства Москва 23

Заключение Москва 24 На текущий момент решены следующие задачи: Проведено комплексное аналитическое исследование рассматриваемой проблемной области; Проведено комплексное аналитическое исследование рассматриваемой проблемной области; Изучены существующие продукты и конкуренты; Изучены существующие продукты и конкуренты; Сформулированы требования к функциональности разрабатываемого программного средства; Сформулированы требования к функциональности разрабатываемого программного средства; Выделены основные признаки патологий ЖКТ; Выделены основные признаки патологий ЖКТ; Разработан алгоритм выделения опорных изображений; Разработан алгоритм выделения опорных изображений; Разработан метод сегментации ЖКТ пациента на различные отделы; Разработан метод сегментации ЖКТ пациента на различные отделы; Разработан метод выделения кровотечений; Разработан метод выделения кровотечений; Получена тестовая выборка данных; Получена тестовая выборка данных;

Актуальность работ Москва 25 Основной целью проводимых работ является автоматизация процесса диагностики заболеваний желудочно-кишечного тракта пациента по результатам проведения процедуры капсульной эндоскопии. Данная цель обосновывает высокую практическую значимость прогнозируемых результатов работ. Научная новизна работы состоит в предлагаемом комплексе математических и алгоритмических основ функционирования «маркеров» патологий ЖКТ человека.

Формальные признаки Москва 26 По формальным признакам подготовки аспиранта к защите диссертационной работы выполнено: Опубликованы 10 печатных статей в научных журналах; Опубликованы 10 печатных статей в научных журналах; Из них 4 в журналах из перечня ВАК; Из них 4 в журналах из перечня ВАК; Сданы аттестационные экзамены по английскому языку и философии науки; Сданы аттестационные экзамены по английскому языку и философии науки; Принято участие с докладами в 3 научно- технических конференциях; Принято участие с докладами в 3 научно- технических конференциях;

План работ до конца 2013 года Москва 27 Для соблюдения всех формальных признаков до конца 2013 года планируется: Опубликовать 3 научных статьи; Опубликовать 3 научных статьи; В том числе одну в журналах из перечня ВАК и одну на иностранном языке; В том числе одну в журналах из перечня ВАК и одну на иностранном языке; Сдать аттестационный экзамен по специальности; Сдать аттестационный экзамен по специальности; Выполнить план работ по преподавательской деятельности; Выполнить план работ по преподавательской деятельности; Выступить с докладом как минимум на одной научно-технической конференции; Выступить с докладом как минимум на одной научно-технической конференции;