Учебный курс «Проектирование интерфейса пользователя» Преподаватель: к. т. н. Пескова Ольга Вадимовна

Оценка проектного решения Лекция 13 Юзабилити-тестирование

Место в общем плане проектирования Проектирование интерфейса пользователя. Лекция 13. 3

Подготовка и планирование юзабилити- исследования Для планируемого ю-исследования определить: 1)цели (исследование «формирующее» или итоговое); 2)задачи сценарий исследования; 3)группы пользователей-участников; 4)технологии сбора и анализа данных (лабораторное тестирование, он-лайн-тестирование и т. п.); 5)бюджет и время проведения. Проектирование интерфейса пользователя. Лекция 13.4 Thomas Tullis, William Albert Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. – Publisher: Morgan Kaufmann. – – 336 p. – The Morgan Kaufmann Series in Interactive Technologies.

Виды показателей юзабилити ПО Проектирование интерфейса пользователя. Лекция 13.5 Показатели производительности (Performance Metrics) 1 Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Самоговорящие показатели (Self-reported metrics) 3 Поведенческие и физиологические показатели (Behavioral and Physiological Metrics) 4 Комбинированные и сравнительные показатели 5 Прочие специализированные показатели 6

Проектирование интерфейса пользователя. Лекция 13.6 Показатели производительности 1

Успех задания (task success) Проектирование интерфейса пользователя. Лекция 13.7 НазначениеПоказать, сколько пользователей с легкостью достигнут своей цели, решая типичные для продукта задачи. Область применения универсальная мера (везде, где перед пользователем возможно чётко сформулировать задачу, можно измерить успешность её выполнения, например, при онлайн-покупке продукции, при поиске ответа на определённый вопрос или при заполнении онлайн-формы и др.). Подвиды «двоичный» успех задания; градация успешности задания. Процедура для каждой задачи чётко определить конечное состояние её решения (определить критерий успешного завершения задачи или стоп-критерий); получить ответ от пользователя (вербальный, на бумаге, через он-лайн инструмент; в произвольной или структурированной форме); представить результат в наглядной форме для анализа. Показатели производительности 1

Успех задания. «Двоичный» успех Проектирование интерфейса пользователя. Лекция 13.8 Значение меры «двоичного» успеха («success rate») Как собирать данные для измерения Двоичного успеха Показатели производительности 1

Проектирование интерфейса пользователя. Лекция 13.9 Как анализировать и представлять Двоичный успех по отдельным задачам; по пользователям, например: часто/редко используют продукт, есть/нет предыдущий опыт работы с продуктом, мало/много знаний в предметной области продукта, по возрасту. Проблема обобщения полученного уровня успеха на всю совокупность пользователей: 1)пропорция (% тех участников, которые справились с задачей верно) – не надёжно; 2)вычислить доверительный интервал (например, см. калькулятор для вычисления доверительного интервала для двоичного успеха - Пример (80% справились): если 4 из of 5 успешно решили задачу, то дов. инт. (95%) – от 36 до 98; если из 16 of 20 успешно решили задачу, то дов. инт. (95%) – от 58 до 93; если 80 из of 100 успешно решили задачу, то дов. инт. (95%) – от 71 до 87. 1) Столбчатая диаграмма: Успех задания. «Двоичный» успех Показатели производительности 1

Проектирование интерфейса пользователя. Лекция ) Столбчатая диаграмма – «сколько участников справлялись/не справлялись с всеми задачами, и с какой частотой?» Как анализировать и представлять Двоичный успех количество участников Успех задания. «Двоичный» успех Показатели производительности 1

Проектирование интерфейса пользователя. Лекция Успех задания. Градация успешности задания (levels of success). Показатели производительности 1 Возможные основания для градации успешности задания: 1)степень завершённости задачи; 2)опыт выполнения задания (размер усилий); 3)путь решения задачи (оптимальный или иной). Уровни по степени завершённости задания: 1)полный успех: с помощью; без помощи; 2)частичный успех: с помощью; без помощи 3)провал задания: участник ошибочно решил, что завершил задание; участник сдался. Что такое «помощь»: модератор восстановил начальное состояние системы для новой попытки; модератор ответил предоставил информацию, помогающую найти решение; пользователь воспользовался справочным руководством системы, онлайн-справкой, позвонил коллеге и др. Как собирать данные для измерения уровней успешности

Проектирование интерфейса пользователя. Лекция Успех задания. Градация успешности задания (levels of success). Показатели производительности 1 Уровни по опыту пользователя: 1)1 = проблем не возникло; 2)2 = незначительные проблемы; 3)3 = серьёзные проблемы; 4)4 = задача выполнена не верно/пользователь сдался. Уровни по пути решения задачи (по ответу на задание) : 1)вес оптимального ответа – 1.0; 2)вес приемлемого ответа – 0.75 или 0.5 (в зависимости от качества ответа). 3)нет ответа – 0. Как собирать данные для измерения уровней успешности

Проектирование интерфейса пользователя. Лекция Как анализировать и представлять градацию успешности success rate success score Не путать «показатель успеха» («success rate» ) с «весом успеха» («success score») 1) Линейчатая диаграмма, демонстрирующая различные уровни успешности. Например, градация успешности по степени завершённости задания: 2) «Средний вес» успешности заданий. Как на рис. 4.2, но по оси OY вместо «% successful» отложить «средний вес успеха» («average success score»). Успех задания. Градация успешности задания. Показатели производительности 1

Проектирование интерфейса пользователя. Лекция Время выполнения задания (time-on-task) Показатели производительности 1 чем быстрее участник выполнит задание, тем лучше UX (опыт взаимодействия); исключения: игры, образовательные программы и т. п.; важно для часто повторяющихся задач. Как собирать данные для измерения времени выполнения задания Инструменты: 1)модератор с секундомером; 2)видеозапись с отображением времени; 3)автоматизированные инструменты измерения времени (наименьшее влияние на состояние пользователя). Например, Usability Testing Environment (UTE, … в секундах

Проектирование интерфейса пользователя. Лекция Время выполнения задания (time-on-task) Показатели производительности 1 Показатели: 1)среднее время выполнения задания (визуализация разницы между заданиями). Как анализировать и представлять время выполнения задания

Проектирование интерфейса пользователя. Лекция Время выполнения задания (time-on-task) Показатели производительности 1 Показатели: 2)для каждого задания: построить дискретные временные интервалы, сопоставить каждому из них количество участников – разброс времён выполнения задания участниками. 3)пороговые значения: сколько участников уложилось в приемлемое время? Дополнительно вычислить % участников в и за пределами порога. Как анализировать и представлять время выполнения задания очистить данные от выбросов – «очень больших» и «очень малых» значений времён, особенно в случае он-лайн исследования; вычислять для всех заданий или только тех, что завершены успешно? влияние протокола «мысли вслух»

Проектирование интерфейса пользователя. Лекция Ошибки Показатели производительности 1 в общем случае ошибка – это любое действие, мешающее пользователю выполнить задание наиболее эффективным способом; измерение ошибок полезно в случае, когда необходимо понять, какие конкретные действия могут привести к провалу задания, и как различные варианты дизайна могут сократить/увеличить количество ошибок. Область применения: 1)когда ошибка приводит к существенной потери производительности, например, к заметному снижению скорости выполнения задания, к потере уже введённых данных; 2)когда ошибка приводит в существенным затратам, например, увеличение звонков в службу поддержки или увеличение числа возвратов продукта; 3)когда ошибка приводит к провалу задания, например, проголосовать не за того кандидата, купить не тот товар и др.

Проектирование интерфейса пользователя. Лекция Ошибки Показатели производительности 1 Процедура: 1)определить множество корректных действий для решения задачи; 2)определить, сколько возможно допустить ошибок (ошибки ввода, ошибки навигации, ошибки выбора, ошибки интерпретации); 3)(опционально) выбрать тип ошибки для измерения; 4)ошибки подсчитать при просмотре видеозаписи (в лаборатории) или автоматизировано (он-лайн исследование); 5)составить таблицу «пользователь-задание», вписать количество сделанных во время исследования ошибок. Как собирать данные для измерения ошибок

Проектирование интерфейса пользователя. Лекция Ошибки Показатели производительности 1 Задания с единственной возможностью ошибки: 1) вычислить частоту ошибок (error rate) для каждого задания (количество ошибок, делённое на число участников, выполнявших данное задание); 2)общий взгляд на «как участники выполняют задания в целом»: усреднить показатель ошибок (error rate) по заданиям (для отчётов); усреднить показатель ошибок только по тем заданиям, которые имеют определенное количество ошибок (например, 50% заданий имеют показатель ошибки 10% и более). Как анализировать и представлять ошибки QWERTY различные экранные клавиатуры Пример с клавиатурами

Проектирование интерфейса пользователя. Лекция Ошибки Показатели производительности 1 Задания с множеством возможностей для ошибок: 1)для каждого задания уравновесить число ошибок по количеству возможностей для ошибок; 2)усреднить количество ошибок по числу участников для каждого задания; 3)сравнить показатель ошибок с допустимым пороговым значением; 4)при необходимости учесть степень важности каждой ошибки – взвесить: 1 – незначительная, 2 – умеренная, 3 – серьёзная; вычислить «вес ошибок» для каждого задания и усреднить по участникам. Как анализировать и представлять ошибки

Проектирование интерфейса пользователя. Лекция Эффективность (efficiency) Показатели производительности 1 объём усилий для выполнения задания: когнитивных (поиск места для выполнения задания, выбор следующего необходимого действия, интерпретация результатов) и физических (перемещение мыши, ввод текст, переключение выключателя и др.); анализ числа действий или шагов, выполняемых участниками для решения задачи. 1)определить действия, подлежащие измерению, определить «положительные» действия; 2)определить начало и конец действия; 3)подсчитать действия (видеозапись или автоматизированные средства); 4)каждое действие должно представлять увеличение когнитивных или физических усилий; 5)рассматривать только успешные задания. Как собирать данные для измерения эффективности

Проектирование интерфейса пользователя. Лекция Эффективность (efficiency) Показатели производительности 1 1)Какая задача требует наибольших усилий? для каждой задачи усреднить по числу участников количество действий. 2)Для Web вычислить показатель потерянность (lostness): Как анализировать и представлять эффективность L = 0L = 0,56 N – количество различных веб-страниц, посещённых при выполнении задания; S – общее количество веб-страниц, посещённых при выполнении задания (в повторными посещениями); R – минимальное (оптимальное) количество страниц, необходимое для посещения для выполнения задания.

Проектирование интерфейса пользователя. Лекция Эффективность (efficiency) Показатели производительности 1 3) Эффективность как комбинация успеха задания и время на его выполнение: Common Industry Format (CIF) для Отчётов по ю-исследованиям (Usability Test Reports) (NIST, 2001): «основная мера эффективности – это отношение показателя успеха задания к среднему времени его выполнения» ( успех в минуту). Как анализировать и представлять эффективность

Проектирование интерфейса пользователя. Лекция Эффективность (efficiency) Показатели производительности 1 Пример эффективности как комбинация успеха задания и времени на его выполнение Как анализировать и представлять эффективность

Проектирование интерфейса пользователя. Лекция Обучаемость (learnability) Показатели производительности 1 обучаемость – время и усилия, потраченные на освоение чего-либо, нагрузка на память пользователя; применять там, где важно знать как и когда пользователи достигнут уверенного уровня владения инструментом для решения задачи. 1)Собирать данные многократно: испытания (trial) проводить так часто, как планируется использовать продукт (по возможности); определить количество испытаний. 2)Наблюдать за тем, как различные меры эффективности изменяются со временем (время на задание, количество ошибок, число шагов, показатель успешности заданий в минуту). Как собирать данные для измерения обучаемости

Проектирование интерфейса пользователя. Лекция Обучаемость (learnability) Показатели производительности 1 1)Представить меру эффективности как функцию от опыта пользователя. 2)Обратить внимание на: наклон кривой обучения; точку, в которой график начинает выравниваться (участники научились на столько, что дальше мало возможности для совершенствования навыков); разницу между min и max по оси OY (сколько нужно обучаться, чтобы достичь наибольшей производительности); количество испытаний, приводящих к наибольшей производительности. Как анализировать и представлять обучаемость Пример с клавиатурами

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Отрицательные аспекты: всё, что мешает успешному завершению задания; всё, что сбивает пользователя с пути решения задачи; всё, что вводит пользователя в замешательство; всё, что приводит к ошибке; не замечено то, что должно быть замечено; всё, что ошибочно признано корректным (завершённым); непонимание навигации; др. Положительные аспекты: ясное отображение сложной информации (в простом формате, понятном пользователю); обучение без особых затрат; поддержка пользователя в выполнении сложной транзакции наиболее эффективным образом и без путаницы. Примеры аспектов для обсуждения юзабилити => «полезные» отрицательные аспекты указывают на возможные улучшения продукта => положительные перечисляются, чтобы не быть потерянными в дальнейших итерациях проектирования

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Способы выявления аспектов для обсуждения юзабилити: 1)в лаборатории или при тестировании по телефону: наблюдения за поведением пользователей и уточнении по окончании сессии; несколько наблюдателей; протокол «мысли вслух» (что, как, почему и ожидания). 2)он-лайн тестирования: сбор комментариев, рейтингов и т. п. (в структурированной и открытой форме). 3)экспертная оценка ПИ. Аспекты для обсуждения юзабилити: 1)истинные: большинство участников столкнулись с ними; столкнулся только один человек (малое число участников); выполнен анализ его поведения, «логики» обнаружена. 2)ложные: столкнулся только один человек (малое число участников); выполнен анализ его поведения, «логика» не обнаружена. Как выявлять аспекты для обсуждения юзабилити приготовиться к тому, что могут быть найдены совсем не те ю-аспекты, что ожидались изначально. Пример «Apple Presents Apple». Детализация аспектов: 1)более детальные, например: неверно понята подпись к полю ввода. 2)менее детальные, например: запутанная организация всего сайта; слишком высокая плотность информации на странице, пользователю трудно заметить нужные ссылки.

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Уровень серьёзности (severity) аспектов: 1)по степени влияния на опыт пользователя, например: низкий, или «косметический» (цвета); средний – аспект досаждает или расстраивает пользователя, но не приводит к срыву задания (неоптимальный путь); высокий – приводит к срыву выполнения задания, потере данных; «катастрофический» - безвозвратная потеря данных, вред, причиняемый аппаратному обеспечению/ПО; отсрочивание даты внедрения/выпуска продукта. Как оценить аспекты для обсуждения юзабилити 2)по комбинации факторов – частоты использования и влияния на бизнес-цели. Например три шкалы: влияние на UX (1=низкое, 2=среднее, 3=высокое); предполагаемая частота использования (1=низкое, 2=среднее, 3=высокое); влияние на бизнес-цели (1=низкое, 2=среднее, 3=высокое). суммарный рейтинг – от 3 до 9. Выбрать шкалу серьёзности и использовать её для всех исследований

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 1)Какова общая юзабилити продукта? 2)Улучшается ли показатель юзабилити от итерации к итерации проектирования? 3)На чём сфокусировать внимание при дальнейшем улучшении? Анализ и представление показателей для юзабилити-аспектов Показатели: 1)общее количество уникальных юзабилити- аспектов (без рейтинга): без учёта уровня серьёзности; с учётом уровня серьёзности (количество уникальных юзабилити-аспектов, классифицированных по рейтингу серьёзности).

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Анализ и представление показателей для юзабилити-аспектов Показатели: 2)среднее количество ю-аспектов по всем участникам: без учёта уровня серьёзности; с учётом уровня серьёзности. без учёта уровня серьёзности

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Анализ и представление показателей для юзабилити-аспектов Показатели: 3)количество участников, столкнувшихся в конкретными ю-проблемами: без учёта уровня серьёзности; с учётом уровня серьёзности (в качестве фильтра ю-аспектов или для агрегирования данных по уровням серьёзности). например, сравнение двух итераций проекта относительно конкретного элемента ПИ.

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Анализ и представление показателей для юзабилити-аспектов Показатели: 4)количество юзабилити-проблем, разбитых на общим категориям (количество категорий от3 до 8).

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Анализ и представление показателей для юзабилити-аспектов Показатели: 5)показатели юзабилити-проблем, разбитых на задачам: количество уникальных ю-проблем для каждой задачи (с какими задачами связано наибольшее число ю-вопросов?); количество участников, столкнувшихся хотя бы с одним ю-вопросом при выполнении конкретной задачи; количество ю-вопросов высокого уровня серьёзности, связанных с каждой задачей. анализ позитивных юзабилити-аспектов аналогичен анализу негативных; возможен анализ отношения числа позитивных ю-аспектов к негативным.

Проектирование интерфейса пользователя. Лекция Показатели, основанные на аспектах для обсуждения юзабилити (Issues-Based Metrics) 2 Анализ и представление показателей для юзабилити-аспектов Факторы, влияющие на выявление юзабилити-вопросов: 1)участники (разная мотивация, уровень опытности в предметной области, техническая грамотность и др.); 2)задания (формулировка, области продукта и т. п.); 3)метод исследования; 4)форма продукта («бумажный» прототип, полуфунциональный прототип и готовый продукт); 5)среда (прямое/косвенное взаимодействие, освещение, рабочее место, наблюдатели, видеозапись и т. п.); 6)модераторы. Количество участников: с какой вероятностью мы выясним новые ю-аспекты при исследовании поведения нового участника? [Nielsen&Landauer, 1993]: p = 30%; «магическая цифра 5» - за и против.

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Примеры того, что следует выяснить: общий уровень удовлетворённости; простота использования; эффективность навигации; ясность терминологии; осведомлённость о конкретных функциях; визуальная привлекательность; и др. Подходы к сбору данных: шкалы оценки (рейтинги); открытые вопросы («перечислите три особенности продукта, которые вам понравились больше всего»); списки атрибутов; и т. п. Сбор и анализ самоговорящих метрик субъективные данные

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Виды шкал оценки : 1)Шкала Ликерта [Rensis Likert, 1953]: нечётное число степеней согласия (5, 7 позиций) в некоторым выражением, от полюса к полюсу; например: 2)Семантически дифференцирующая шкала [Charles E. Osgood, 1957]: пары полярных по значению прилагательных, выражающих отношение; межу полюсами нечетное число позиций; например: Анализ результата: 1)назначить каждой позиции рейтинга числовое значение, усреднить по участникам; 2)рассматривать только по два крайних значения (top-2 and bottom-2-boxes), например: узнать % пользователей, попавших в top-2-box. Сбор и анализ самоговорящих метрик

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Показатели: 1)Легкость использования: шкала Ликерта с выражением «Это задание было легко выполнено»; семантически дифференцирующая шкала – «Легко/Трудно». 2)After-Scenario Questionnaire (ASQ) [Jim Lewis, 1991]: «Я удовлетворён легкостью выполнения задач в данном задании (сценарии)»; «Я удовлетворён объёмом временных затрат на выполнение задач в данном задании (сценарии)»; «Я удовлетворён сопутствующей информацией (онлайн справка, сообщения, документация) при выполнении задач». Сбор и анализ показателей. После каждого задания какие задания самые трудные? какие области продукта особо нуждаются в совершенствовании? получить оценку участников выполнения каждого задания по нескольким шкалам. из определения юзабилити: продуктивность (п.1), производительность (п.2), удовлетворённость (п. 1-3)

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Показатели: 3)Показатель ожидания/опыт: выяснить перед выполнением задания ожидания относительно легкость/трудности его выполнения; узнать после выполнения, на сколько легко/трудно оказалось на самом деле выполнение этого задания; для каждого задания вычислить средний показатель ожидания (average expectation rating) и средний показатель опыта выполнения (average experience rating). Сбор и анализ показателей. После каждого задания трудно легко конкурентные преимущества

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Показатели: 3)Оценка величины юзабилити (Usability Magnitude Estimation) [Mick McGee, 2004]: дать возможность пользователю самому придумать линейку для оценки юзабилити; показать пользователю два варианта дизайна, «плохой» и «хороший»; оценивать задания относительно этих вариантов. Сбор и анализ показателей. После каждого задания

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. После каждого задания Эксперимент по сравнению показателей: 1)Сравниваемые показатели: легкость использования по шкале Ликерта; легкость использования по семантически дифференцирующей шкале; два первых вопроса из ASQ (без справки); показатель «ожидание/опыт»; аналог Оценки величины юзабилити – оценить от 1 до 100 (выше значение – лучше опыт). 2)он-лайн исследование, 6 заданий, готовое приложение (резюме сотрудников), 1131 участник, по одной технике на участника; 3)выявить взаимосвязь с «объективными» данными – показателями производительности (бинарный успех задания и время на задание). 4) дальнейшее исследование показало, что: на «большой» выборке все 5 техник дают одинаковый результат; на «малой» выборке (

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. В конце сессии тестирования Показатели: 1)Усреднённый показатель оценки по отдельным задачам: не даёт представление о снимке впечатления в конце сессии. 2)Шкала юзабилити системы (System Usability Scale) [Brooke, 1996]: 5 положительных и 5 отрицательных выражения и степени согласия; итоговый вес – от 1 до 100. формула: из весов для выражений 1,3,5,7,9 вычесть 1; из 5 вычесть веса для для выражений 2,4,6,8,10; суммировать значения; умножить на коэффициент 2,5. общее впечатление об опыте выполнения заданий посредством продукта; для сравнения результата различных итераций проектирования; для сравнения с аналогичными продуктами. Какой вес SUS хорош (плох)? ниже 60% - низкий уровень опыта взаимодействия; выше 80% - высокий.

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. В конце сессии тестирования Показатели: 3)Computer System Usability Questionnaire (CSUQ) [Jim Lewis, 1995]: полезность системы; качество информации; качество интерфейса; общая удовлетворенн ость.

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. В конце сессии тестирования Показатели: 4)Questionnaire for User Interface Satisfaction (QUIS) [Chin, Diehl, & Norman, 1988]: общая реакция; экран; терминология и информация; обучение; производительность системы. Онлайн анкеты/опросы от GARY PERLMAN (QUIS, ASQ, CSUQ и др.): html html

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. В конце сессии тестирования Показатели: 5)Usefulness, Satisfaction, and Ease of Use Questionnaire (USE) [Arnie Lund, 2001] : полезность; удовлетворённость; легкость использования; легкость обучения.

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. В конце сессии тестирования Показатели: 6)Карточки с реакциями на продукт от Майкрософт (Product Reaction Cards) [Benedek&Miner, 2001] : участники выбирают карточки, наилучшим образом отвечающие их впечатлению от работы с продуктом; объяснить пять самые выразительные карточки; вычислить отношение позитивных карточек к негативным.

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. В конце сессии тестирования Эксперимент по сравнению показателей [Tullis & Stetson, 2004]: 1)Сравниваемые показатели (анкеты адаптированы для анализа веб-сайтов): SUS; QUIS; CSUQ; карточки с реакциями; собственная техника (9 позитивных выражения и шкала Ликерта). 2)онлайн-тестирование, оценивают два веб-портала, 123 участника, каждому участнику по 2 задачи, по 2 веб-портала, по одному виду опроса; 3)общий результат: первый веб-портал заметно предпочтительнее второго (по всем техникам) – «корректное заключение»; выяснить как изменится результат (то есть способность давать «корректное заключение») в зависимость от величины выборки (от 6 до 14).

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. Онлайн-сервисы Варианты обратной связи: 1)Website Analysis and Measurement Inventory (WAMMIwww.wammi.com) [Human Factors Research Group of University College Cork in Ireland]: выросло из Software Usability Measurement Inventory (SUMI); доступно на большинстве европейских языков; сравнение результата с БД уже оцененных веб- сайтов (!); оценки по категориям. обратная связь от пользователей веб-сайтов («Voice of the Customer», или VoC.); аналог самоговорящих показателей в конце сессии тестирования; (а) случайному пользователю всплывающий опрос, например, при выходе из системы; (б) сбор обратной связи в различных местах сайта от всех желающих. представление результата средний вес

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. Онлайн-сервисы WAMMI

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. Онлайн-сервисы Варианты обратной связи: 2)American Customer Satisfaction Index (ACSIwww.TheACSI.org) [Business School of The University of Michigan]: используется на

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. Онлайн-сервисы ACSI

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. Онлайн-сервисы Варианты обратной связи: 3)обратная связь от OpinionLab ( постраничный аналог тестирования «после каждой задачи».

Проектирование интерфейса пользователя. Лекция Самоговорящие показатели (Self-reported metrics) 3 Сбор и анализ показателей. Онлайн-сервисы На что обратить внимание при использовании онлайн- средств: 1)количество вопросов; 2)добровольность обратной связи (склонность к отрицательным отзывам); 3)дублирование данных (от одного пользователя).