Опыт и проблемы удаленного тестирования

В классической экспериментальной психологии под тестированием понимается метод измерения и оценки психологических характеристик носителей психики с помощью специальных методик, именуемых тестами. (Никандров В.В., Экспериментальная психология, СПб, 2003) Психологические тесты – это стандартизированные системы вопросов и заданий, позволяющих обнаружить и измерить уровень развития различных психологических свойств человека (там же). Определения Юзабилити-тестирование – тестирование для определения соответствует ли система или программное обеспечение определенным требованиям usability. (testingstandarts.co.uk) Удаленное юзабилити-тестирование (remote usability testing) – вариация usability-тестирования, с одним большим отличием – тестируемый со совим ПК может находится где угодно в мире. (Online Computer Library Center Inc.)

Удаленное тестирование Тестирование в лаборатории Испытуемый находится в естественной среде Испытуемый находится в непривычной обстановке Широкий региональный охват Опосредованное техническими средствами наблюдение Меньшие временные затраты Узкая локализация участников тестирования Непосредственное наблюдение Большие временные затраты Когда используется: Web-приложения Интранет Большие информационные сайты Коммерческие сайты Высокий уровень конфиденциальности Длительность сессии более трех часов При необходимости непосредственного наблюдения за испытуемым Получение большого количества тестового материала в относительно короткий срок Объект тестирования не может находится в он-лайн доступе +

Виды удаленного тестирования При модерируемом тестировании модератор проводит индивидуальное тестирование с одним участником, видит его экран, разговаривает с ним, сам дает инструкцию. Модерируемое Автоматизированое Подразумевает большое количество испытуемых, сообщающих о своем поведении через браузер, в котором етсь поле для ввода текста и вопросы. В процессе того как пользователь работает с сайтом, он отвечает на специфичные для данной страницы вопросы или дает обратную связь. Это больше чем просто опрос, так как изучает еще и поведение, но никто не наблюдает за действиями пользователя и не говорит с пользователем. Данные собираются автоматически.

Структура проведения удаленного юзабилити-тестирования: Определение тестируемого продукта Подбор испытуемых Проектирование и описание процедуры тестирования, создание подробной инструкции для испытуемого Проведение процедуры тестирования Анализ полученных результатов Написание отчета в формате CIF (Common Industry Format for Usability Test Reports) Определение программы для проведения тестирования Техническая обработка аудио и видео файлов, полученных в результате тестирования Постановка целей и задач тестирования

Инструменты и технические требования для проведения удаленного тестирования: Программа для проведения удаленного тестирования Инструмент для фиксации невербальных реакций тестируемого (web-камера) Инструмент для разговора модератора и испытуемого (телефон, Skype, внутренние возможности программы для удаленного тестирования) Требования к аппаратной платформе Требования к программному обеспечению Требования к монитору Инструменты Требования Требования к соединению

Примеры программ для удаленного тестирования: UserVue от TechSmith Ethnio от Bolt Peter User Experience Live Meeting от Microsoft Office

Участники тестирования Модератор/фасилитатор (moderator, facilitator) Наблюдатель (observer) – до 10 человек Участник/испытуемый (participant) Модератор разговаривает с участником и записывает видео и аудио информацию с помощью специальной программы для удаленного юзабилити тестирования. Некоторые программы для удаленного тестирования позволяют модератору напрямую манипулировать с объектами на ПК участника. Наблюдатель может видеть экран участника в реальном времени и слышать разговор участника с модератором. Однако не может менять никакие опции и параметры длящейся сессии. Программы для тестирования поддерживают возможность подключения до 10 наблюдателей к сессии. Наличие наблюдателя в сессии не является обязательным. Человек, проводящий непосредственное тестирование какого-либо продукта под руководством модератора. Существует три способа подбора участников.

Способы подбора участников тестирования Традиционный. Подбор испытуемых по объявлениям, через рассылки, рекрутинговые агентства (на Западе). On-line. Участники записываются в специальный лист тестирования на сайте. Live recruiting. Использование слежения за экраном, в естественной среде.

Подготовка описания тестирования, требования к скрипту Описание процедуры тестирования должно выглядеть следующим образом: Должно содержать подробное описание вербального материала, который будет использован в процессе сессии модератором. Должны быть сформулированы четкие цели для каждого блока тестирования.

Требования к взаимодействию модератора и участника Модератор должен поздороваться, представиться, напомнить участнику о том, что была назначена сессия, и спросить готов ли он уделить Х минут сейчас для ее проведения. Уточнить есть ли у участника вопросы. После получения согласия на проведения сессии от испытуемого, модератор должен рассказать участнику о том, что ему необходимо установить на свой компьютер программу и предоставить «ключ» для ее установки. Обязательно надо предупредить участника о том. что будет с этой программой после завершения сессии. После установки программы модератор должен озвучить некоторые правила проведения сессии, например: «Ваша задача проста, вам необходимо вести себя на этом сайте так, как вы ведете себя на любом другом сайте. Пожалуйста, будьте честны в своих оценках сайта. Вы не нанесете мне никакого оскорбления своим мнением, так как я не являюсь разработчиком сайта, а выступаю в роли стороннего исследователя. Вы можете задавать мне вопросы, на которые по мере своей возможности я буду отвечать». После завершения вводной части модератор приступает собственно к тестированию. После завершения тестирования необходимо поблагодарить участника, спросить остались ли у него вопросы.

Оформление отчета Отчет оформляется в соответствии со стандартом CIF (Common Industry Format for Usability Test Reports).

Проблемы встречающиеся при проведении удаленного тестирования: Технические «Человеческий фактор» Требования к аппаратной платформе Требования к программному обеспечению Сетевое соединение Поиск испытуемых

FAQ Сколько участников необходимо для получения достоверных результатов? Когда следует проводить тестирование? Считается, что для получения модели поведения в процессе процедуры тестирования конкретного продукта достаточно трех участников, но рекомендуется все же проводить исследование на 6-8 испытуемых. - На начальном этапе разработки - В процессе разработки - На завершающих стадиях разработки

В подготовке презентации использованы материалы: Remote Usability Testing, Menghini Calderon Fabrizio Antonio, Cтатьи Guide to remote Usability Testing, Nate Bolt, Стандарты Common Industry Format for Usability Test Reports ANSI INCITS (formerly ANSI NCITS )