Естественно-интуитивное взаимодействие с компьютером Лекция 1 Обзор применения технологии естественно- интуитивного взаимодействия с компьютером в сферах. - презентация

1 Естественно-интуитивное взаимодействие с компьютером Лекция 1 Обзор применения технологии естественно- интуитивного взаимодействия с компьютером в сферах жизни, основываясь на исследовании пользовательского опыта

2 Содержание лекции Введение Приложения для медицинских целей Воспринимающий компьютинг в образовании Управление встроенными системами и техникой Естественно-интуитивное управление мультимедиа Дополненная реальность Виртуальные музыкальные инструменты Естественно-интуитивное управление в играх Заключение

3 Естественно-интуитивное взаимодействие с компьютером Перстами легкими как сон Моих зениц коснулся он. Отверзлись вещие зеницы, Как у испуганной орлицы. Моих ушей коснулся он, И их наполнил шум и звон: И внял я неба содроганье, И горний ангелов полет, И гад морских подводный ход, И дольней лозы прозябанье.... И бога глас ко мне воззвал: «Восстань, пророк, и виждь, и внемли, Исполнись волею моей, И, обходя моря и земли, Глаголом жги сердца людей» А.С. Пушкин «Пророк»

4 Введение Начиная с интерфейса командной строки (CLI) и перейдя к графическим пользовательским интерфейсам (GUI), в данный момент мы находимся на пороге открытия следующего этапа более естественных интерфейсов, которые основаны на традиционных парадигмах человеческого взаимодействия, таких как осязание, зрение, речь и, самое главное, творчество.

5 Приложения для медицинских целей (1) Система GestSure ( использует усовершенствованные датчики, которые позволяют хирургу получать доступ к изображениям с помощью простых жестов. Находясь рядом с операционным столом, хирург использует простой набор команд-жестов, который позволяет им выполнять все, что и при работе с обычной мышью.

6 Приложения для медицинских целей (2) Jintronix ( использует сенсор глубины Kinect и превращает процесс реабилитации жертв инсульта в интересный и менее болезненный процесс. Система отображает последовательность действий и жестов, которые должен совершить пациент, отслеживает и анализирует их, повышая тем самым выносливость пациента и его мобильность.

7 Приложения для медицинских целей (3) В Центре по работе с детьми с аутизмом (штат Вашингтон, США) используется интерактивные камеры для лечения нарушения моторики двигательного аппарата, выработки специальных навыков и повышения социальной активности детей.

8 Приложения для медицинских целей (4) Небольшое приложение Sit Perfect, присланное в рамках конкурса Intel Perceptual Challenge, отслеживает положение человека за компьютером и сигнализирует о неправильной осанке и близости нахождения к монитору. Ссылка на видео:

9 Воспринимающий компьютинг в образовании (1) Дистанционное обучение принимает новый вид при использовании анимированных аватаров. Анимация дистанционного обучения, совместной работы над проектами и общение между классами с помощью аватаров превращает обычные видео-звонки в полностью виртуальную среду. С другой стороны, применив данную возможность в классе, ученик теряет страх выступления перед аудиторией, ведь вместо него может выступать его аватар, а это еще один интересный способ вовлечь ученика в активное обучение. Ссылка на видео:

10 Воспринимающий компьютинг в образовании (2) Возможности воспринимающего компьютинга позволяют производить сегментацию изображения, за счет камеры глубины. Подобная функция также нашла свое место в дистанционном образовании и онлайн общении. Программный продукт Nuvixa StagePresence помещает изображение лектора поверх любого презентуемого материала. Такой подход к созданию электронных учебных материалов позволит студентам видеть лектора в процессе дистанционного обучения. Ссылка на видео:

11 Воспринимающий компьютинг в образовании (3) Функции дополненной реальности реализованы в системе Augmented Reality Magic Mirror for Medical Data Visualization. Система создает иллюзию рентгеновского снимка части тела в реальном времени. Такая система, например, может бы использована для обучения анатомии. Ссылка на видео:

12 Управление встроенными системами и техникой (1) Управление освещением в помещении, на улице с помощью датчиков, камер уже стало привычным. Происходит обнаружение присутствия человека в той или иной части комнаты, участка улицы и в зависимости от этого включаются или отключаются соответствующие осветительные приборы. Проект Kilight - ссылка на видео:

13 Управление встроенными системами и техникой (2) Новая технология интеллектуального управления Samsung Smart Interaction позволяет управлять работой телевизора без нажатия кнопок на пульте управления. Используя голосовые команды и жесты, становится возможным включать или выключать телевизор, переключать каналы, открывать и закрывать приложения, работать в Интернете. Интегрированная камера с функцией распознавания лиц запомнит лицо пользователя и даст возможность зайти на портал Smart Hub (сервис дополнительных функций) без ввода логина и пароля. Ссылка на видео:

14 Управление встроенными системами и техникой (3) Проект GestureCarAudioController, представленный Казуки Ариматсу в рамках финального этапа конкурса Intel Perceptual Challenge, позволяет водителю управлять аудио системой автомобиля без каких-либо нажатий, только с помощью жестовых команд. Система состоит из камеры Creative gesture camera и Intel NUC. Жестовый модуль Intel Perceptual Computing SDK обнаруживает движения рук водителя и управляет аудио системой автомобиля. Ссылка на видео:

15 Управление встроенными системами и техникой (4) Роберт Волтер предложил простой подход к превращению любую плоской поверхности в сенсор, реагирующий на множественные касания. Рабочая поверхность сенсора касания определяется вручную. Самая близкая к поверхности точка в пределах заданного порогового значения считается касанием и может являться курсором. Ссылка на видео:

16 Управление встроенными системами и техникой (5) Английские студенты из Школы компьютерных наук и электронной инженерии Университета Эссекса разработали модель инвалидного кресла, управляемого движением головы. Программы управляет электрическим мотором по заранее заданным жестам. Ссылка на видео:

17 Управление встроенными системами и техникой (6) В рамках конкурса Intel Perceptual Challenge было разработано приложение для управления роботом. Управление может работать в нескольких режимах: голосовое управление – робот реагирует на простые голосовые команды, может следовать за человеком, распознавая его присутствие в видеопотоке, объезжать препятствия, реагировать на жесты и отвечать на несложные вопросы. Для реализации проекта использовалась Creative Interactive Gesture Camera и Intel Perceptual Computing SDK. Ссылка на видео:

18 Естественно-интуитивное управление мультимедиа (1) Приложение NoTouch Window Control разработано для управлениями окнами в ОС Windows. С помощью стандартных жестов из Intel Perceptual Computing SDK, пользователь может перемещать открытые окна, менять их размер, сворачивать и восстанавливать окна. Также в приложение реагирует на простые голосовые команды. Ссылка на видео: в рамках проекта Intel Perceptual Challenge.

19 Естественно-интуитивное управление мультимедиа (2) В рамках конкурса Intel Perceptual Challenge было разработано приложение Perceptual Helper, которое позволяет назначать жестовые команды для выполнения действий по управлению мультимедиа в операционной системе. Разработчики заявляют, что в следующей версии функционал приложения будет расширен голосовыми и мимическими командами. Ссылка на видео:

20 Естественно-интуитивное управление мультимедиа (3) В рамках конкурса Intel Perceptual Challenge было разработано приложение Perceptual Gallery для навигации в фотоальбоме при помощи жестов. С помощью жестовых команд пользователь может перемещаться между папками с фото, переключать фотографии, вращать фото и запускать слайд шоу. Ссылка на видео: приложение Google Earth Controller для виртуальных путешествий в любую точку мира, с помощью него можно просматривать фотоснимки городов и зданий при помощи жестового управления. Ссылка на видео:

21 Дополненная реальность (1) Система Beamatron использует интерактивную камеру для отслеживания объектов в видеопотоке и проектор для создания ощущения взаимодействия виртуального объекта с реальным миром. В демонстрации видео (Ссылка на видео: главный научный сотрудник Энди Уилсон показывает, как виртуальная машинка на пульте дистанционного управления сталкивается с реальными препятствиями. Расстояние до проектора компенсируется и, заехав на некоторое возвышение, размеры машинки остаются неизменными.

22 Дополненная реальность (2) TryLive Eyewear от компании Total Immersion, чье программное обеспечение входит в состав Intel Perceptual Computing SDK, работает как виртуальная примерочная, позволяя онлайн-покупателям просмотреть весь ассортимент оправ и в реальном времени подобрать себе подходящую (

23 Виртуальные музыкальные инструменты (1) Можно сказать, что мы стоим на пороге революции в области музыкальной индустрии. Джонатан Хаммонд из Великобритании работает над диджейской станцией, где все управление музыкой и звуковыми эффектами происходит при помощи жестов. В его проекте в качестве технического обеспечения взята технология захвата движения Leap Motion. Следующее видео демонстрирует невероятные возможности человеко- машинного взаимодействия (

24 Виртуальные музыкальные инструменты (2) Возможности Intel Perceptual Computing SDK демонстрируются в приложении Digital Piano. Нажатие клавиш виртуальных музыкальных инструментов происходит за счет отслеживания кончиков пальцев, а смена музыкального инструмента производиться голосом. Ссылка на видео:

25 Естественно-интуитивное управление в играх (1) Современный мир невозможно представить без игровой индустрии. Примерно 30% времени, проведенного за компьютером, современный человек проводит в играх. Очевидны возможности применения идей естественно- интуитивного взаимодействия в компьютерных играх. Напрашивается реализация жестового или голосового управления действующими игровыми персонажами, а также возможность манипуляции игровыми объектами с помощью жестов или голосовых команд.

26 Естественно-интуитивное управление в играх (2) Часто можно наблюдать ребенка, изображающего машину и управляющего ею с помощью воображаемого руля. Существуют решения, позволяющие управлять движущимися на экране объектами с помощью жестов. Управление автомобилем: Управление самолетом:

27 Естественно-интуитивное управление в играх (3) Часто встречаются игры, в которых реализуется уход и взаимодействие с виртуальным домашним животным, когда- то все начиналось с тамагочи. Пример приложения, реализующего уход за виртуальным животным с использованием идей естественно-интуитивного взаимодействия: Жестовое управление марионеткой:

28 Естественно-интуитивное управление в играх (4) Можно предположить, что использование идей естественно- интуитивного взаимодействия является будущим индустрии компьютерных игр. Ссылка на видео:

29 Выводы Реализация функций естественно-интуитивного взаимодействия в интерактивных приложениях позволит: Отражать реальность, а не создавать копию реальности; Буквально, а не абстрактно отображать объекты реального мира; Создавать приложения интуитивно понятными; Создавать надежные приложения; Расширять функционал интерактивных приложений.

30 Заключение С развитием технологий обработки речи, изображений и видео, взаимодействие человека с компьютером выходит на новый этап. В последние годы человеко-компьютерное взаимодействие было расширено и конечной целью является то, что связь между людьми и машинами должна стать похожа на коммуникацию человека с человеком.