Учебный курс «Человеко-центрированное проектирование ПО» Преподаватель: к. т. н. Пескова Ольга Вадимовна

Оценка проектного решения Лекция 12 Юзабилити-рецензирование

Место в общем плане проектирования Человеко-центрированное проектирование ПО. Лекция 12. 3

1)полная оценка юзабилити систем (оценка завершённых продуктов): для оценки качества готового продукта (что делать с выявленными недостатками!?) для перепроектирования готового продукта (для разработки новой версии); для сравнения разных продуктов. 2)промежуточная оценка: тестируется конкретная концепция продукта на этапе, когда изменения в проекте ещё допустимы. Человеко-центрированное проектирование ПО. Лекция 8. 4 Мероприятия по оценке проектного решения Виды оценок юзабилити системы, или когда проводить оценку

Человеко-центрированное проектирование ПО. Лекция 11.5 Мероприятия по оценке проектного решения 1)Экспертное юзабилити-рецензирование (usability-reviewing). Привлекаются эксперты для обследования системы с целью выявления потенциальных проблем юзабилити. 2)Юзабилити-тестирование (usability-testing). Привлекаются пользователи из целевой группы продукта для оценки системы путём практического выполнения заданий. Два типа исследований юзабилити системы Юзабилити – это степень эффективности, продуктивности и удовлетворенности, с которой продукт может использоваться определенными пользователями для достижения определенных целей в определенном контексте. [ISO ]

Человеко-центрированное проектирование ПО. Лекция 11.6 Юзабилити-рецензирование НазначениеОценка юзабилити интерактивной системы путём анализа соответствия набору юзабилити-принципов, на практике общепризнанных наилучшими. Область применения см. общие случаи оценки юзабилити системы; перед юзабилити-тестированием. Подвиды без использования списка «эвристик»; с использованием «списка эвристик» (heuristic based reviews); сценарный обход (scenario based reviews); комбинированный Процедура1) каждый эксперт независимо обследует систему (несколько проходов) и записывает обнаруженные проблемы; 2) эксперты совместно вырабатывают единый список проблем; 3) каждой проблеме назначаются приоритет (важность для успеха продукта) и предлагают идеи решения. Сложность проведения в общем случае требует приглашения 3-5 экспертов; может потребоваться наблюдатель (со стороны разработчика); временные затраты: 1-3 дня. Инструменты система или её прототип (в любом виде); бланки для фиксации обнаруженных проблем; бланк отчёта.

Человеко-центрированное проектирование ПО. Лекция 11.7 Юзабилити-рецензирование. Эвристики 10 эвристик Якоба Нильсена Якоб Нильсен (Jakob Nielsen), Ph.D. в области человеко-машинного взаимодействия, «защитник пользователей» и руководитель компании Nielsen Norman Group, основанной совместно с Дональдом Норманом (бывшим вице-президентом «Apple Computer».) в До этого Нильсен занимал должность ведущего инженера в компании «Sun Microsystems», где был специалистом по юзабилити.Nielsen Norman Group "the guru of Web page usability"the guru of Web page usability (©The New York Times) 1)Обратная связь [Информирование о текущем состоянии системы]. 2)Соответствие поведения и языка системы внекомпьютерной действительности. [Следование общепринятым соглашениям в обычном мире]. 3)Свобода совершения ошибок пользователем [Необходимость «экстренных выходов» из нежелательного состояния]. 4)Целостность и следование стандартам [Единообразие в передаче информации и использования функций]. 5)Предотвращение ошибок [Защита пользователя от совершения ошибок]. 6)Минимизация необходимости запоминать/вспоминать [Отображение полного контекста для решения текущей задачи]. 7)Гибкость использования системы. [Короткие пути для опытных/профессиональных пользователей]. 8)Эстетика и минимализм в дизайне [Минимализм в подаче сведений, важных для решения текущей задачи]. 9)Помощь в опознавании, диагностике ошибок и восстановлению после них 10)Справочная информация [Справка: быстрая, краткая, продуктивная].

Человеко-центрированное проектирование ПО. Лекция 11.8 Юзабилити-рецензирование. Детали Сколько экспертов необходимо? Эксперимент 1 [Nielsen, 1992]: система автоответчика, с помощью которого клиенты банка получали доступ к своим счетам 16 различных проблем; 19 участников (экспертов). Эксперимент 2 наилучшее число экспертов – от 3 до 5

Человеко-центрированное проектирование ПО. Лекция 11.9 Юзабилити-рецензирование. Детали (2) Сколько экспертов необходимо? Эксперимент 2 (продолжение) [Nielsen and Landauer, 1993]: 6 проектов; L – от 19% до 51%$ N – от 16% до 50%; Стоимость = $(4, i) = Стоимость каждой необнаруженной ошибки составляла 15000$. Оптимальное количество участников – 4 человека. Общая стоимость найденных проблем ~ $. К(i) = N(1 - (1-L) i ), К – это количество обнаруженных проблем; N – общее количество различных проблем; L – среднее количество проблем, обнаруженных одним экспертом; i – количество экспертов. Для того, чтобы определить оптимальное число экспертов, необходимо соотнести стоимость эвристической оценки с её отдачей. Соотношение отдачи от оценки к её стоимости

Человеко-центрированное проектирование ПО. Лекция Достоинства и недостатки экспертных оценок Достоинства 1)являются быстрым и дешёвым способом оценки; 2)охватывают широкий спектр аспектов системы (множество проблемных участков интерфейса, сценариев и функций системы); 3)подходят для сравнительного анализа систем; 4)могут быть проведены относительными новичками. Недостатки 1)не сообщают, как на самом деле используется система, а только как она может использоваться; 2)важные юзабилити-проблемы могут быть не выявлены, а подозреваемые юзабилити-проблемы могут вообще не являться проблемами; 3)разнятся от эксперта к эксперту («эффект оценщика»); 4)субъективны (нет строгого доказательства необходимости исправления выявленных проблем); 5)глубина зависит от опытности эксперта; 6)могут оказаться слишком критиканскими (хорошие решения и находки в отчете обычно не упоминаются).

Человеко-центрированное проектирование ПО. Лекция Примеры юзабилити-рецензий (1) Project: X ( Industry: Travel Contact: Mr. ABC Target audience: Tourists, business travelers, executive assistants Primary goals: Be found for travelers that need accommodation within 100 km range from Y, and be contacted for a reservation. Consultant: Nardo Kuitert Date: December 27, 2002 Фрагмент отчёта content/uploads/2010/01/scorecardsample.pdf content/uploads/2010/01/scorecardsample.pdf

Человеко-центрированное проектирование ПО. Лекция Примеры юзабилити-рецензий (2) Project: Онлайн каталог ресурсов для нерегулярной милиции (Minuteman Library Network (MLN) online catalog) Сontact: Hal Shubin Date: December 2005 Рецензия содержит следующие категории проблем: формулировка поисковых запросов; концептуальная модель (или как ищут информацию народные дружинники); терминология; целостность (следование стандартам поисковых веб-машин и др.) Фрагмент отчёта

Человеко-центрированное проектирование ПО. Лекция Примеры юзабилити-рецензий (3) usability-report-from-Interaction-Design.pdf usability-report-from-Interaction-Design.pdf Фрагмент отчёта

Человеко-центрированное проектирование ПО. Лекция Примеры юзабилити-рецензий (4) Project: Yellow Pages Фрагмент отчёта

Человеко-центрированное проектирование ПО. Лекция Примеры юзабилити-рецензий (5) Фрагмент отчёта

Человеко-центрированное проектирование ПО. Лекция Комбинированный подход к экспертному рецензированию (1) Процедура 1)Разработать список сценариев, в который включить самые типичные и важные для успеха системы задачи. По каждому сценарию ответить на вопросы: Кто пользуется системой? Использовал он или она такую систему раньше? Что он или она стараются сделать? Какое действие пытаются предпринять? Впервые или нет они пытаются это сделать? Почему он или она используют систему? Какая у них цель? Где он или она используют систему? 2)По сценариям пройтись так, как делал бы каждый персонаж, чтобы достичь своей цели. На каждом шаге задаваться вопросами: Будет ли пользователь знать, что делать? Существует ли (виден ли) понятный маршрут для решения задачи? Является ли очевидным, что пользователю необходимо совершить на данном этапе (шаге)? Увидит ли (поймёт ли) пользователь как это сделать? Является ли запуск действия очевидным? Узнает ли пользователь, было ли его действие завершено корректно? Какой вид обратной связи предоставлен? Ясно ли пользователю, что он находится на верном пути к решению задачи или нет? 3)Заполнить оценочную таблицу юзабилити-рецензирования (usability review scorecard).

Человеко-центрированное проектирование ПО. Лекция Комбинированный подход к экспертному рецензированию (2) Оценочная таблица 45 принципов, анализирующих следующие аспекты системы: возможности и функциональность главная/стартовая страница навигация поиск обратная связь формы ошибки содержимое и текст помощь производительность. Итоговый показатель юзабилити системы – максимум 100 баллов.

Человеко-центрированное проектирование ПО. Лекция Пример «Школьный сайт». Комбинированный подход. Примеры обнаруженных проблем К сценарию 1 для Пети Ершова: Страница «Учителя» в разработке… А документы «Сведения о членах методического объединения учителей », имеющиеся в некоторых предметных разделах, не соответствует терминологии персонажа + далеко запрятаны. К сценарию 2 для Кузнецовой Ирины: затруднён поиск конкретного события в фотогалерее. Рекомендация: добавить календарь.

Человеко-центрированное проектирование ПО. Лекция Пример «Школьный сайт». Комбинированный подход. Оценочная таблицаОбщий показатель юзабилити. Пример «Школьный сайт». Комбинированный подход. Оценочная таблица. Общий показатель юзабилити. Итоговый показатель юзабилити системы = 83 балла из 100 («хороший»)

Человеко-центрированное проектирование ПО. Лекция Юзабилити-тестирование НазначениеОценка юзабилити интерактивной системы путём выяснения, как на практике целевые пользователи взаимодействуют с продуктом. Процедура1)планирование исследования (бюджет, время, цели, сценарии и др.); 2)набор пользователей из целевой аудитории; 3)проведение тестовых сессий; 4)анализ результатов («мозговой штурм») и вычисление количественных показателей (метрик); 5)выработка рекомендаций по улучшению дизайна системы. Сложность проведения высокие затраты на наём лаборатории, отбор и привлечение пользователей и др. временные затраты: 2-5 недель. Инструменты лабораторное оборудование; аудио- и видео-регистрация; средства онлайн-тестирования; и др.

Человеко-центрированное проектирование ПО. Лекция Юзабилити-рецензирование vs. Юзабилити-тестирование Что общего? выявление проблем юзабилити и определение их приоритетов. Одинаковые ли проблемы они обнаруживают? 1)рецензии – поиск высокоуровневых нарушений принципов проектирования и целостности дизайна упускают проблемы, полученные при тестировании; находят такие проблемы, которые не обнаруживает тестирование; 2)тестирование – выявление проблем, связанных с предметной областью продукта и анализом его задач (на примере реальных пользователей). Результаты обоих исследований могут пересекаться (на 41% по данным одного исследования [ resources/web-usability/website-review.shtml]).

Частные методики. Быстрые методы оценки концепций на ранних стадиях 1)Обратная карточная сортировка. 2)Оценка восприятия визуального стиля пользователями. 3)Тест ожиданий. Человеко-центрированное проектирование ПО. Лекция © UsabilityLab

Быстрые методы оценки концепций на ранних стадиях. Обратная карточная сортировка Человеко-центрированное проектирование ПО. Лекция 8.23 Название метода Обратная карточная сортировка НазначениеПроверка информационной архитектуры: понятна ли пользователю навигация. Процедура1)пользователю показывают детальный макет, на котором пронумерованы интерактивные объекты; 2)задают серию вопросов вида «где вы станете искать информацию о том-то или том-то»; 3)пользователь в ответ выбирает номер объекта на макете. РезультатПроцент «правильных» ответов и перечни вопросов, на которые не были даны «правильные» ответы и варианты «неверных ответов».

Обратная карточная сортировка. Пример (1). Человеко-центрированное проектирование ПО. Лекция 8.24 © UsabilityLab. См. вебинар:

Обратная карточная сортировка. Пример (2). Человеко-центрированное проектирование ПО. Лекция 8.25 © UsabilityLab. См. вебинар: Задания пользователям

Быстрые методы оценки концепций на ранних стадиях. Тест ожиданий Человеко-центрированное проектирование ПО. Лекция 8.26 Название метода Тест ожиданий НазначениеСравнение ожидаемого и фактического поведения элементов ПИ. Процедура1)Показать пользователю детальный макет или интерактивный макет продукта. 2)Задать вопросы об ожидаемом поведении того или иного элемента, например: «Что вы ожидаете увидеть, когда нажмёте на него?» «Что произойдёт после выбора этой опции?» 3)Сравнить ожидания пользователей с тем, что планировалось реализовать. РезультатПеречень элементов ПИ (или экранов в целом), поведение которых пользователю неочевидно.