Разработка тренажерного комплекса « Виртуальная шахта » на базе платформы Microsoft Kinect к. т. н., доц. каф ПМИ Бабков В. С.

Актуальность Угольные шахты – сложное производство с высокой степенью аварийности и опасности Частая причина аварий - « человеческий фактор »

Актуальность Обучение персонала правилам проведения работ, правилам поведения в аварийных ситуациях, навыкам работы с оборудованием должно быть максимально наглядным и реалистичным

Тренажерные системы Варианты решения : - обучение на реальном объекте ; - обучение на учебном объекте ( опытная или учебная шахта ) - наглядные пособия ( альбомы, видеоролики ) - компьютерные модели ( интерактивные и неинтерактивные )

Тренажерные системы Недостаток обычных компьютерных моделей – низкий уровень реалистичности : - модель воспринимается как игровой мир, а не реальная среда - низкая степень проникновения в виртуальное пространство ;

1. Подсистема ввода 2. Модель на основе реальных данных 3. Игровой движок

Проблема 1 Решение – платформа Microsoft Kinect

Проблема 1 Платформа предоставляет - Фиксацию объектов класса « человек » в области видимости - Отделение объектов от фона и друг от друга - Сопровождение (tracking) перемещения - Скелетизацию объектов

Проблема 1

Средства для работы с Kinect: Open NI SDKMicrosoft SDK ?

Проблема 2 Варианты решения 1. Строить модель вручную (3D Studio, AutoCAD, Blender, …) 2. Строить модель в автоматизированном режиме

Проблема 2

Проблема 3 Варианты решения ( игровые движки ): GameBlander ORGE Genesis Irrlicht OpenSim ….

Проблема 3 Open Sim – клиент - серверная платформа для развертывания виртуальных миров. Модели – свой собственный формат, любая БД (MySQL, Oracle и т. д.) Написана на.NET. Ориентирована на работу на кластере ( каждый подмир – узел кластера ) Открытый протокол взаимодействия с клиентом.

Проблема 3 Моделирует физические эффекты ( гравитация, взаимодействие объектов ) Открыт для интерактивного и скриптового создания сценариев работы виртуального мира.

Проблема 3 Для визуализации можно использовать разнообразнейшие клиенты ( самый известный HippoViewer)

Проблема 3 Hippo Viewer – open source клиент - визуализатор – открытый для модификации подсистемы ввода ( связь с Kinect)

Архитектура прототипа

Прототип

Прототип

Дальнейшие шаги 1. Переход на Microsoft SDK 2. Модификация HippoView для работы с Kinect 3. Переход на движок OpenSim 4. Наполнение модели игровой логикой и артефактами 5. Расширение возможностей подсистемы ввода ( движение по большой территории, панораный обзор и т. д.)

Ссылки us/um/redmond/projects/kinectsdk