Выполнил: Ромашкин Амир, 545гр Руководитель: Петров Александр, аспирант кафедры СП. - презентация

1 Выполнил: Ромашкин Амир, 545гр Руководитель: Петров Александр, аспирант кафедры СП

2 Контроллер-приставка для Xbox Что в него входит: RGB Камера 3D сенсор Микрофонный массив Kinect SDK Распознавание скелета человека Главное достоинство: 3D зрение за 150$ Альтернативы: ViEye – система распознавания жестов без 3D сенсора

3 Сфера - хирургия Часто требуется во время некоторых операций иметь возможность: Просмотра снимков томографии Просмотра 3D моделей анатомии человека Анализа поверхности тела пациента Хирургами в СПБ и г. Савонлинна (Финляндия) подтверждена полезность следующих действий: Вычисление длины отрезка на теле пациента Вычисление объема слоя снимаемой ткани с пациента

4 При помощи Kinect позволять пользователю: Просматривать 2D снимки и 3D модели при помощи жестов рук Проводить анализ поверхности тела: Вычислять длину отрезка по двум точкам, отмеченными пальцем на теле Вычислять объем слоя ткани по введенной глубине и отмеченному пальцем контуру

5 Главные модули системы и зависимости между ними

6 Поддерживаемые форматы: Классические растровые изображения DICOM-снимки – стандартный формат хранения снимков томографии и данных о пациенте Поддерживаемые действия при помощи жестов: Листание на кадр вперед/назад Быстрое листание вперед/назад Масштабирование, навигация в увеличенном изображении

7 Использовалась open-source библиотека работы с 3D моделями Поддерживаются классические форматы Поддерживаемые действия при помощи жестов: Поворот Масштабирование

8 Реализованы следующие варианты анализа поверхности: Вычисление длины отрезка Вычисление объема слоя, ограниченного контуром, при введенной глубине Разработана вспомогательная библиотека распознавания пальцев

9 Для анализа поверхности тела пациента используются 2 сенсора Kinect 1ый – для съемки пациента 2ой – для анализа полученной фотографии

10 Алгоритм нахождения пальцев: Определение контура ладони «Заливка» от центра ладони до «прыжка в глубину» Использовался нерекурсивный алгоритм построчной заливки Нахождение выпуклой оболочки контура Разные эвристики: «Прореживание» оболочки Отбрасывание лишних мелочей Особенность реализации: Алгоритм модифицирован для распознавания пальцев, направленных на камеру

11

12 Действия пользователя: Отмечаются две точки на сцене Метод вычисления длины: 2D отрезок дробится на некоторое количество отрезков в 3D пространстве Возвращается суммарная длина этих отрезков

13 Действия пользователя Заранее вводится глубина слоя Пальцем обводится контур Метод вычисления объема: Вычисляется площадь 3D поверхности внутренней части контура Возвращается площадь, умноженная на введенную глубину

14

15

16

17 ТелоИзгиб гитары Сильно согнутый листок бумаги Плоскость под углом Средняя погрешность Длина отрезка (см) Real: 23 Out : 23 Real: 32 Out : 34 Real: 25 Out : 24 Real: 54 Out : % Площадь внутренности контура(см2) Real: 606 Out : 612 -Real: 162 Out : 150 Real: 1419 Out: % Real – реальное значение Out – результат работы программы

18 Улучшение алгоритма распознавания пальцев Тестирование не более точных сенсорах Вычисления длины отмечаемой пользователем произвольной линии, а не отрезка Использование лишь одного сенсора Kinect «Тотальное Kinect-взаимодействие»

19 Реализованы инструменты для: Просмотра 3D моделей Просмотра 2D DICOM-снимков Анализа поверхности пациента: Вычисление длины отрезка Вычисление объема слоя, ограниченного контуром Спасибо за внимание Конец.