Почему достаточно 10 пользователей? 25 вебинар UX Russia Дмитрий Сатин, Андрей Сикорский. - презентация

1 Почему достаточно 10 пользователей? 25 вебинар UX Russia Дмитрий Сатин, Андрей Сикорский

2 Вопрос ответственности Достаточно – недостаточно: критерий ответственности?

3 Знания против решения Исследование или оценка?

4 The World Is Not Enough

5 Задачи статистического вывода Бесконечно большие и конечные генеральные совокупности

6 Примерные цифры Бизнес-исследование: – Опросы (телефон и интернет) = ~240-~1,000 – Фокус-группы = (зависит от целей исследования и затронутых сегментов) – Тестирование = респондентов – Полевые исследования = респондентов – Карточная сортировка = (чем больше тем лучше, так как в этом исследовании применяются статистические методы, в частности кластерный анализ ) Академическое исследование: – Выборки большего размера – в зависимости от объема исследования и его целей (например, 15 пользователей на сегмент или пользователей на тест).

7 Кого исследуем Продукт или пользователя? – Пользователи отличаются по природе – Продукт – по назначению

8 Уточняем границы Мы обсуждаем – Оценку – Продукта Поэтому вопрос о количестве испытаний

9 Неправильные цели Из результатов ю-т прогнозировать поведение всей генеральной совокупности невозможно

10 Количество или качество Критериальный вопрос – количество испытаний много не нужно Исследовательский вопрос (среднее время) – важно количество испытаний

11 Глупый вопрос Загорится ли лампочка в 501 раз, если 500 раз она уже загоралась? Ни одно новое испытание не гарантирует выполняемость последующего.

12 Место для анекдота Раз говорим слово «качество», то уместно вспомнить вопрос: – Кто устанавливает критерии качества? Когда этот вопрос был задан тестировщикам ПО, опытное большинство дало на него неправильный ответ – «мы» (то есть – тестировщики). Так кто устанавливает критерии качества?

13 Фолкнер против Нильсена 5 – Якоб Нильсен, Томас Ландауэр – Лаури Фолкнер, 2004

14 Убывание предельной полезности выборки Дизайн содержит конечное количество дефектов Каждый пользователь будет сталкиваться с одними и теми же проблемами Каждый пользователь будет обнаруживать всё меньше новых дефектов Но на каждого пользователя мы тратим одни и те же ресурсы

15 CUE-4

16 Определение количества участников Общее правило 10 участников от группы Больше участников – больше надежность выводов Больше участников – меньше новых результатов Если нужно много участников, лучше проводит несколько раундов тестирования на маленьких группах, чем один с большой группой

17 Критерии выбора размера группы Критичность дизайна для проекта Опыт команды тестировщиков Ожидаемых разброс реакций участников Сложность прототипа Проводится ли тестирование удаленно или в лаборатории

18 CIF for UT reports CIF для ю-тестирования - вопрос проверки гипотез: – Выработка гипотез – Механизм и правила подтверждения Это не для бизнеса

19 Сколько достаточно? Ответ может быть найден двумя путями: – Статистически – Критерии качества устанавливает заказчик

20 Оценка и мониторинг Оценка была 99%- что делать с 1%? – В один из моментов тестирование надо перевести в мониторинг

21 Спасибо! вопросы?