Почему достаточно 10 пользователей? 25 вебинар UX Russia Дмитрий Сатин, Андрей Сикорский

Вопрос ответственности Достаточно – недостаточно: критерий ответственности?

Знания против решения Исследование или оценка?

The World Is Not Enough

Задачи статистического вывода Бесконечно большие и конечные генеральные совокупности

Примерные цифры Бизнес-исследование: – Опросы (телефон и интернет) = ~240-~1,000 – Фокус-группы = (зависит от целей исследования и затронутых сегментов) – Тестирование = респондентов – Полевые исследования = респондентов – Карточная сортировка = (чем больше тем лучше, так как в этом исследовании применяются статистические методы, в частности кластерный анализ ) Академическое исследование: – Выборки большего размера – в зависимости от объема исследования и его целей (например, 15 пользователей на сегмент или пользователей на тест).

Кого исследуем Продукт или пользователя? – Пользователи отличаются по природе – Продукт – по назначению

Уточняем границы Мы обсуждаем – Оценку – Продукта Поэтому вопрос о количестве испытаний

Неправильные цели Из результатов ю-т прогнозировать поведение всей генеральной совокупности невозможно

Количество или качество Критериальный вопрос – количество испытаний много не нужно Исследовательский вопрос (среднее время) – важно количество испытаний

Глупый вопрос Загорится ли лампочка в 501 раз, если 500 раз она уже загоралась? Ни одно новое испытание не гарантирует выполняемость последующего.

Место для анекдота Раз говорим слово «качество», то уместно вспомнить вопрос: – Кто устанавливает критерии качества? Когда этот вопрос был задан тестировщикам ПО, опытное большинство дало на него неправильный ответ – «мы» (то есть – тестировщики). Так кто устанавливает критерии качества?

Фолкнер против Нильсена 5 – Якоб Нильсен, Томас Ландауэр – Лаури Фолкнер, 2004

Убывание предельной полезности выборки Дизайн содержит конечное количество дефектов Каждый пользователь будет сталкиваться с одними и теми же проблемами Каждый пользователь будет обнаруживать всё меньше новых дефектов Но на каждого пользователя мы тратим одни и те же ресурсы

CUE-4

Определение количества участников Общее правило 10 участников от группы Больше участников – больше надежность выводов Больше участников – меньше новых результатов Если нужно много участников, лучше проводит несколько раундов тестирования на маленьких группах, чем один с большой группой

Критерии выбора размера группы Критичность дизайна для проекта Опыт команды тестировщиков Ожидаемых разброс реакций участников Сложность прототипа Проводится ли тестирование удаленно или в лаборатории

CIF for UT reports CIF для ю-тестирования - вопрос проверки гипотез: – Выработка гипотез – Механизм и правила подтверждения Это не для бизнеса

Сколько достаточно? Ответ может быть найден двумя путями: – Статистически – Критерии качества устанавливает заказчик

Оценка и мониторинг Оценка была 99%- что делать с 1%? – В один из моментов тестирование надо перевести в мониторинг

Спасибо! вопросы?