Естественно-интуитивное взаимодействие с компьютером Лекция 5 Разработка пользовательских мультимедийных приложений с использованием возможностей Intel Perceptual Computing SDK

Содержание лекции Краткое понятие мультимедиа и мультимедийных приложений Преимущества от использования Intel Perceptual Computing SDK при разработке мультимедиа приложений Принципы управления мультимедиа приложением с использованием Intel Perceptual Computing SDK Разработка графического редактора с жестовым управлением Голосовое управление в стандартных сервисных приложениях (браузер, проигрыватель, слайд шоу) Контрольные вопросы Лекция 5.

Краткое понятие мультимедиа Мультимедиа (multimedia) - это совокупность компьютерных технологий, одновременно использующих несколько информационных сред: графику, текст, видео, фотографию, анимацию, звуковые эффекты, звуковое сопровождение, человеческую речь. Мультимедийные технологии - это совокупность современных цифровых средств, которые позволяют вводить, сохранять, перерабатывать и воспроизводить мультимедиа. Пользовательский интерфейс - результаты представления элементов мультимедиа на экране и средства управления ими.

Разновидности мультимедиа Линейное мультимедиа - пассивный просмотр элементов мультимедиа по сценарию Нелинейное (интерактивное) мультимедиа - управления элементами мультимедиа в режиме диалога. Гипермедиа – интерактивная структура связанных элементов мультимедиа, которые пользователь может последовательно выбирать. Реальное видео – трансляция потока данных с одного устройства на другое в режиме реального времени.

Применение мультимедиа Процессы производства, хранения и распространения информации Электронный бизнес Рекламная деятельность, управление маркетингом Индустрия развлечений, создание компьютерных игр, киноиндустрия Современное цифровое искусство Обучение и образование Глобальный обмен информацией и культурными ценностями, коммуникации

Классификация мультимедиа приложений Средства создания и обработки изображения Средства создания и обработки 2D и 3D – графики Средства создания и обработки видео и анимации Средства создания и обработки звука Средства создания презентации

Прежде чем начинать разработку… Приложение будет полезно пользователю только в том случае, если оно корректно обрабатывает мультимедиа. Чтобы реализовывать эффектные и полезные мультимедиа приложения с использованием Intel Perceptual Computing, необходимо четко определить, какие именно мультимедиа форматы и в какой степени будут задействованы в конкретном приложении и какие технологии нужны для работы с этими форматами.

Intel Perceptual Computing SDK в мультимедиа Можно говорить о появлении нового поколения мультимедийных приложений, имеющих гораздо более широкий спектр возможностей по обработке различных типов файлов и потоков данных Увеличивается степень интерактивности мультимедиа приложений Повышение эффективности в образовательной и развлекательной сферах человеческой деятельности Реализация в коммерческих и рекламных целях, на различных презентациях и демонстрациях.

Intel Perceptual Computing SDK в мультимедиа При продуманной агрегации нескольких мультимедиа технологий в одном приложении пользователю предоставляется больше возможностей для работы с цифровой информацией, что только усиливается при использовании жестового или голосового управления. Позволяет решать простые пользовательские задачи Выступает в качестве гибкого и сложного инструмента в различных сферах Облегчает управление сложными мультимедиа комплексами

Примеры использования (1) Процесс работы с музыкальным симулятором

Примеры использования (2) Дирижер виртуального оркестра

Примеры использования (3) Воспроизведение композиции в приложении-синтезаторе

Примеры использования (4) Моделирование трехмерного видеопотока в реальном времени

Примеры использования (5) Трехмерное моделирование в простейшем редакторе

Примеры использования (6) 3D-модель, созданная с помощью жестового редактора CubeFlow

Примеры использования (7) Управление трехмерной анимацией с помощью жестового интерфейса

Примеры использования (8) Трехмерное сканирование объектов реального мира

Примеры использования (9) Редактирование презентации, управляемой жестами

Intel Perceptual Computing SDK в мультимедиа Различные комбинации мультимедиа и Perceptual Computing позволяют решать пользовательские задачи разных уровней. Количество вариантов совместного использования мультимедиа и Intel Perceptual Computing стремительно возрастает, что увеличивает спектр возможностей по обработке и взаимодействию с мультимедиа.

Управление мультимедиа с IPC SDK С одной стороны, процесс управления должен быть максимально понятен пользователю, с другой - необходимо обеспечить функциональную полноту приложения. Баланс функциональности и удобства в использовании особенно важен для мультимедиа приложений, которые носят развлекательный, информативный или обучающий характер. Поэтому при разработке мультимедиа приложения, в котором будет использоваться Intel Perceptual Computing, этому аспекту следует уделять особое внимание.

Управление мультимедиа с IPC SDK На начальном этапе разработки необходимо провести декомпозицию задачи пользователя, которую будет решать приложение. Главная задача разбивается на несколько более узких, эти задачи также подвергаются декомпозиции. Этот процесс стоит осуществлять до тех пор, пока задачи не будут представлять собой элементарно реализуемые операции. Это позволит однозначно определить список функций мультимедиа приложения.

Управление мультимедиа с IPC SDK На этапе проектирования интерфейса список конечных функций приложения следует соотнести с элементами управления программой - кнопки, checkboxы, radiobuttonы, выпадающие списки и др., их вариации, и голосовые команды и жесты. При разработке жестовых и голосовых интерфейсов для мультимедиа приложений следует учитывать наиболее общие правила проектирования стандартных пользовательских интерфейсов.

Принципы проектирования User Interface в одном функциональном блоке не больше 5-7 элементов все важные элементы интерфейса должны быть заметны использовать готовые паттерны управления для решения стандартных задач (принцип умного заимствования) взаимодействие с подобными по виду элементами и объектами должно происходить всегда единообразно обеспечение обратимости команд везде информировать пользователя о состоянии системы применять модель «объект-действие» защищать от случайных действий

Управление мультимедиа с IPC SDK В отношении Perceptual Computing на данный момент нельзя выделить устоявшихся интерфейсных шаблонов в силу новизны и низкой распространенности технологии, но в дальнейшем необходимо их учитывать. На данном этапе ориентироваться следует в первую очередь на то, что пользователю должно быть интуитивно понятно, какой жест или голосовую команду ждет от него приложение, чтобы выполнить его задачу.

Управление мультимедиа с IPC SDK Пользователь ожидает, что противоположные действия вызывают соответственно противоположные реакции приложения. Если жест большой палец вверх запускает запись сигнала с видеокамеры в файл, то жест большой палец вниз должен эту запись останавливать. Аналогичным образом следует поступать и с голосовыми командами.

Управление мультимедиа с IPC SDK Для мультимедиа приложений характерно дублирование конечных простейших функций на несколько способов управления. Например, в большинстве проигрывателей воспроизведение можно начать не только щелчком по кнопке, но и нажатием клавиши пробел, а перемотать запись на определенный момент можно клавишами вперед и назад, такими же кнопками, или передвинув ползунок progress barа.

Управление мультимедиа с IPC SDK Используя технологию Intel Perceptual Computing при разработке любых мультимедиа приложений, следует учитывать эту особенность и предоставлять пользователю возможность выбора наиболее удобного для него способа управления мультимедиа в той или иной ситуации. Поэтому целесообразно дублировать жестовое управление для наиболее часто используемых функций программы голосовыми командами.

Функционал проф. графических редакторов устранение различных дефекты изображений ретуширование, подавление шума корректировка яркости и контрастности, цветокоррекция настройка цветового фона и фокусировки кадрирование изображения изменение композиции, фотомонтаж и коллажирование применение спецэффектов и фильтров расширение динамического диапазона перевод изображение из одного цветового пространства в другое.

Жестовый графический редактор Функционал простейшего редактора растровой графики реализует базовые инструменты для работы с изображениями, такие как: дорисовка изображения выборочное редактирование и кадрирование коллажирование и фотомонтаж Именно такой набор функций лучше всего подходит для реализации графического редактора, использующего технологию Intel Perceptual Computing.

Жестовый графический редактор Во избежание путаницы в интерфейсе редактора необходимо использовать минимальный набор жестовых команд, для управления однотипными функциями рекомендуется использовать одинаковые жесты. Также для удобства пользователя возможно предусмотреть дублирование управляющих жестов голосовыми командами.

Жестовый графический редактор Запустив приложение, пользователь должен выбрать изображение для редактирования из галереи, которая перелистывается движением кистей рук вправо и влево. Выбор изображения для редактирования осуществляется с помощью любой позы, например большой палец вверх или победа.

Жестовый графический редактор Процесс редактирования изображения

Альтернативный вариант Реализация в качестве надстройки над любым популярным программным пакетом для растровой графики. Предпочтительнее предоставлять жестовое управление для тех функций, где оно будет способствовать увеличению производительности и не приведет к снижению удобства использования графического редактора: рисование с помощью различных кистей изменение форм объектов навигация по слоям проекта и т.д.

Голосовое управление мультимедиа Частью функциональности любого мультимедийного приложения можно управлять с помощью голосовых команд. Такой тип управления подходит, прежде всего, для стандартных сервисных приложений, набор функций в которых, как правило, ограничен и реализует базовые потребности пользователя при работе с мультимедиа.

Голосовое управление слайд шоу Базовый функционал Go - старт показа изображений Pause - пауза и Stop - остановка показа Previous - переход к предыдущему изображению Next - переход следующему изображению Дополнительно: desktop - установка текущего изображения в качестве фона рабочего стола

Голосовое управление слайд шоу Управление скоростью показа изображений постепенное изменение скорости на определенную долю командами faster и slower переключение между тремя режимами быстро, умеренно, медленно соответственно командами fast, medium, slow.

Голосовое управление проигрывателем управление громкостью проигрываемой записи. Рекомендуется изменять уровень громкости командами louder и quieter на определенный процент. возможность поиска композиции в мультимедиа библиотеке с помощью команд search или find. возможность голосового управления плейлистами: создание нового плейлиста, добавление и удаление композиции из плейлиста, проигрывание плейлиста.

Голосовое управление браузером У правление с помощью голосовых команд в данном случае должно быть реализована как дополнительный функциональный модуль приложения. Перечень функций для голосового управления голосовой поиск интернет-страниц, изображений и видео прямой переход по задаваемой пользователем ссылке добавление страницы в закладки управление вкладками и т.д.

Контрольные вопросы 1. Что подразумевается под понятиями мультимедиа и мультимедиа технологии? 2. Какие существуют типы распространенных мультимедиа приложений? 3. В чем основные преимущества от совместного использования мультимеиа и технологии Perceptual Computing? 4. В чем заключаются основные подходы к жестовому и голосовому управлению мультимедиа приложениями? 5. Какой набор функций по обработке растровой графики можно реализовать через жестовый интерфейс? 6. Какие функции стандартных сервисных приложений можно реализовать с помощью голосового управления?