11 Тестирование демо-версии продукта компании Drupal с использованием eye- tracking Сентябрь-октябрь 2009. - презентация

1 11 Тестирование демо-версии продукта компании Drupal с использованием eye- tracking Сентябрь-октябрь 2009

2 22 Содержание 1. Основные принципы исследования …………… Описание основных результатов исследования в целом по сценарию………………………………………… Анализ выполнения 1 задания: поиск демо- версии на сайте ……………………………………………… Анализ выполнения заданий 2-5: работа на демо-версии………………………………………………… Анализ модуля Структура…………………………… Рекомендации ………………………………………………

3 33 Основные принципы тестирования

4 44 Цель исследования Основной целью тестирования было выявление удобства пользования демо-версией данной cms при выполнении наиболее распространенных действий.

5 55 Сценарий тестирования Тестируемые должны были выполнить следующие действия: 1.Найти демо-версию продукта на главной странице сайта 2.Создать новую страницу "Привет, мир!" в главном меню сайта. 3.Добавить текст "Hello, world!" 4.Просмотреть страницу на сайте. 5.Переместить страницу в другое место в меню сайта.

6 66 Задачи исследования 1.Время, затраченное каждым пользователем на полное прохождение сценария 2.Среднее время на выполнение задания 3.Эффективность выполнения сценария (все ли выполнено и всеми ли, каков процент эффективности) 4.Количество кликов 5.Где именно искали те или иные кнопки во время выполнения сценария 6.На что обращали внимание в первую очередь 7.Субъективная оценка удобства пользования (насколько было удобно, что именно не устроило, с какими проблемами столкнулись, как бы предложили исправить)

7 77 Выборка исследования

8 88 Группы тестируемых Тестирование проводилось на 2-х группах пользователей по 5 человек в каждой: Люди, которые хорошо разбираются в компьютерах, программном обеспечении – «продвинутые пользователи». Люди, которые мало разбираются в компьютерах, программном обеспечении – «неопытные пользователи».

9 99 Эффективность выполнения заданий и сценария в целом Под эффективностью понималась доля пользователей, которые успешно выполнили задание относительно общего количества пользователей по группе. По общепринятой практике показатель ниже 70% считается сигналом того, что в интерфейсе есть проблемы, мешающие эффективной работе пользователей.

10 10 Продуктивность выполнения сценария Под продуктивностью понималось количество времени, затрачиваемое каждым тестируемым на выполнение каждого задания и сценария в целом, а так же средние значения времени по каждому заданию по группам. При обработке данных весь период процесса тестирования каждого респондента был разбит на следующие периоды: время поиска информации на сайте для выполнения каждого задания, время непосредственного выполнения каждого задания.

11 11 Оценка удобства выполнения заданий Общее удобство пользования от работы с интерфейсом измерялось по 5-балльной шкале, где баллы соответствуют следующим значениям: 1 балл – очень неудобно; 2 балла – довольно неудобно; 3 балла – затрудняюсь ответить; 4 балла – довольно удобно; 5 баллов – очень удобно.

12 12 Описание основных результатов исследования в целом по сценарию

13 13 Эффективность выполнения заданий и сценария в целом Найти на русской версии сайта Drupal демо- версию продукта было невозможно, в силу того, что ссылка на сайте отсутствует. Определенные проблемы при выполнении сценария были у респондентов обеих групп. В целом, показатели эффективности выполнения заданий достаточно невысокие. Полностью весь сценарий на демо-версии выполнили лишь 7 из 10 тестируемых. Основные трудности возникли при перемещении страницы в меню сайта (задание 5), а также при просмотре страницы на сайте (задание 4).

14 14 Эффективность выполнения заданий и сценария в целом группа1 группа2 группа респондент ы 12345среднее задание задание задание задание ,8 5 задание , ,6 Весь сценарий, в % задание выполнено, 0- задание не выполнено

15 15 Продуктивность выполнения сценария по группам 1.На выполнение всего сценария в среднем по массиву людям потребовалось 549 секунд (9 мин 9 сек). для «компьютерщиков» в среднем понадобилось 575 секунд (9 мин 35 сек) для простых пользователей -524 секунды (8 мин 44 сек) 2. «чистое» время на выполнение самих заданий в целом по массиву составило в среднем 104 секунды (1 мин 44 сек) для 1 группы – 81 секунда (1 мин 24 сек) в среднем, для второй практически в два раза больше – 145 секунд (2 мин 25 сек).

16 16 Продуктивность выполнения сценария по группам «Чистое» время указано только у респондентов, выполнивших все задания на демо-версии

17 17 Оценка удобства выполнения заданий в целом задания, по мнению респондентов, выполнять в чем-то удобно, а в чем-то нет. для всех пользователей самыми неудобными заданиями были поиск демо-версии и перемещение страницы на сайте.

18 18 Оценка удобства выполнения заданий 1 группа2 группаВ целом по массиву удобство выполнения 1 задания 111 удобство выполнения 2 задания 3,83,63,7 удобство выполнения 3 задания 44,44,2 удобство выполнения 4 задания 3,23,63,4 удобство выполнения 5 задания 1,82,62,3

19 19 Анализ выполнения 1 задания: поиск демо-версии на сайте

20 20 Поиск демо-версии Разработчики Drupal не разместили на своем русифицированном сайте демо- версию продукта. Для того, чтобы тестируемые могли попробовать продукт данного производителя, после первоначального поиска на основном сайте, им было предложено набрать в адресной строке и перейти на демо-версию.

21 21 Продуктивность выполнения 1 задания В ыполнение 1 задания – поиск на сайте демо-версии cms, которую можно попробовать в онлайн-режиме, занял у респондентов 152 секунды (2 мин 32 сек). Представители группы продвинутых пользователей секунд Простые пользователи- 157 секунд.

22 22 Тепловая карта главной страницы В процессе поиска большинство внимания респондентов притягивали кнопка меню «O Drupal», «Скачать Drupal». При этом интерес ко второй может быть объяснен тем, что тестируемые принимали эту кнопку за искомую Демо-версию. Рис. 1 Тепловая карта главной страницы за все время просмотра по количеству взглядов.

23 23 Тепловые карты главной страницы по группам Рис. 2 Распределение внимания группы «компьютерщиков» по количеству взглядов Рис. 3. Распределение внимания группы простых пользователей по количеству взглядов

24 24 Тепловые карты за первые 10 секунд просмотра Все респонденты1 группа 2 группа Рис. 4. Распределение внимания за первые 10 секунд просмотра на главной странице по количеству взглядов

25 25 Зоны внимания Для выяснения того, каким именно частям на главной странице уделяли внимание респонденты в процессе выполнения 1 задания, были выделены следующие зоны внимания: логотип (синяя зона), верхнее меню (бирюзовая зона), основное меню (зеленая зона), информация о Drupal (сиреневая зона), кнопка «Скачать» (желтая зона), документация (розовая зона), новости (салатовая зона), справка (голубая зона) и форум (оранжевая зона). Рис. 5. Зоны внимания на главной странице

26 26 Измеряемые показатели Для каждой зоны были измерены следующие показатели в каждой из групп: процент респондентов, обративших внимание на зону; процент респондентов, кликнувших по зоне; время до первой фиксации зоны взглядом; количество предыдущих фиксаций (общее число фиксаций до того, как респонденты впервые попали в данную зону взглядом); время от фиксации взглядом до первого клика по зоне; общее время на странице до клика по зоне. При этом все показатели представляют собой усредненные данные каждой группы (медианы) по каждой зоне.

27 27 Значения основных показателей по зонам внимания Логотип Верхнее меню Основное меню ВсеГруппа 1Группа 2ВсеГруппа 1Группа 2ВсеГруппа 1Группа 2 % респондентов, обративших внимание на зону 60 (6 чел) 60 (3 чел) 60 (3 чел) 70 (7 чел) 60 (3 чел) 80 (4 чел) 70 (7 чел) 60 (3 чел) 80 (4 чел) % респондентов, кликнувших по зоне (3 чел) 40 (2 чел) 20 (1чел) 10 (1 чел) - 20 (1 чел) Время до первой фиксации зоны взглядом (сек) Количество предыдущих фиксаций взгляда Время от фиксации взглядом до клика по зоне Время на странице до клика по зоне

28 28 Значения основных показателей по зонам внимания Информация о DrupalКнопка «Скачать»Документация ВсеГруппа 1Группа 2ВсеГруппа 1Группа 2ВсеГруппа 1Группа 2 % респондентов, обративших внимание на зону 100 (10 чел) 100 (5 чел) 100 (5 чел) 80 (8 чел) 100 (5 чел) 60 (3 чел) 80 (8 чел) 100 (5чел) 60 (3 чел) % респондентов, кликнувших по зоне 20 (2 чел) 40 (2 чел) (2 чел) 20 (2 чел) - Время до первой фиксации зоны взглядом (сек) Количество предыдущих фиксаций взгляда Время от фиксации взглядом до клика по зоне Время на странице до клика по зоне

29 29 Значения основных показателей по зонам внимания НовостиСправкаФорум ВсеГруппа 1Группа 2ВсеГруппа 1Группа 2ВсеГруппа 1Группа 2 % респондентов, обративших внимание на зону 70 (7 чел) 80 (4 чел) 60 (3 чел) 80 (8 чел) 100 (5 чел) 60 (3 чел) 100 (10 чел) 100 (5 чел) 100 (5 чел) % респондентов, кликнувших по зоне (1 чел) - 20 (1 чел) 10 (1 чел) 20 (1 чел) - Время до первой фиксации зоны взглядом (сек) Количество предыдущих фиксаций взгляда Время от фиксации взглядом до клика по зоне Время на странице до клика по зоне

30 30 Логотип, зоны верхнего и основного меню 7 респондентов из 10 обратили внимание на зоны основного и верхнего меню. При этом кликнули по этим зонам только 3 и 1 респондент соответственно. Логотипу внимание уделили еще меньшее число респондентов.

31 31 Информация о Drupal, документация и кнопка «Скачать» Информацию о Drupal увидели все 10 респондентов, 8 из 10 обратили внимание на Документацию и Кнопку «Скачать». Зона информация о Drupal первой по сравнению другими попадает в область внимания тестируемых. В среднем по группам на 3-ей секунде.

32 32 Новости, Справка, Форум Все респонденты обратили внимание на зону форума. Зона Новости в меньшей степени заинтересовала тестируемых – по ней не кликнул ни один человек. В тоже время из трех областей, данный район первым попадал во внимание респондентов.

33 33 Порядок просмотра страницы Судя по показателям «время до первой фиксации зоны взглядом» и «количество предыдущих фиксаций взгляда» в данном случае страница рассматривалась из центра, и движение взглядов постепенно поднималось вверх. Причем, если простые пользователи начинали смотреть из центра (Информация о Drupal, форум), а затем по периферии, начиная слева, двигались по кругу (новости, верхнее меню, логотип, документация, основное меню, справка). То «компьютерщики» начинали слева (новости), центр и верх ( информация о Drupal, основное меню форум), затем правая сторона (справка) и возврат вверх (верхнее меню, логотип)

34 34 Анализ выполнения заданий 2-5: Работа на демо-версии

35 35 Особенности работы на демо- версии Перед выполнением каждого задания тестируемые сначала сами пытались найти на сайте, что им следует сделать, чтобы выполнить задание. В том случае, если респондент говорил, что он не знает, как ему выполнить задание, ему предлагалась инструкция с написанной последовательностью действий. Тестируемый мог воспользоваться подсказкой, либо игнорировать ее.

36 36 Время поиска информации для выполнения заданий, в сек группа1 группа2 группа респондент ы 12345среднее задание задание задание задание

37 Время поиска информации для выполнения заданий В среднем у респондентов 1 группы уходило больше времени по сравнению со второй группой на поиск информации для ряда заданий. Тестируемые «компьютерщики» старались найти необходимую для выполнения заданий информацию собственными силами, в отличие от простых пользователей, которые после осуществления поиска самостоятельно, пользовались подсказкой. Времени на поиск для заполнения текстом страницы не требуется, так как при создании страницы окно для наполнения текстом появляется автоматически.

38 38 Время, затраченное на выполнение каждого задания, в сек респонденты 2 группы тратили больше времени по сравнению с 1 группой на создание страницы и заполнение ее текстом, но быстрее просматривали и перемещали страницу. группа1 группа2 группа респондент ы среднее задание задание задание задание

39 39 Количество кликов при поиске информации в среднем люди сделали по 51 клику за все время выполнения сценария. на выполнение заданий на демо-версии в среднем 16 кликов. тестируемые 1 группы делали больше кликов при поиске информации для 4-го и 5-го задания. группа1 группа2 группа респонденты12345среднее12345 Количество кликов при поиске для 2 задания Количество кликов при поиске для 3 задания Количество кликов при поиске для 4 задания Количество кликов при поиске для 5 задания

40 40 Количество кликов при выполнении заданий группа11 группа2 группа респонденты12345среднее12345 Количество кликов при выполнении 1 задания Количество кликов при выполнении 2 задания Количество кликов при выполнении 3 задания Количество кликов при выполнении 4 задания Количество кликов при выполнении 5 задания

41 41 Анализ модуля Структура

42 42 Тепловые карты Основное внимание всех респондентов в целом в большей степени привлекало само дерево сайта и действия, которые возможно осуществлять со структурой сайта Рис. 6 Распределение внимания на модуле Структура всеми респондентами за весь период работы с модулем по количеству взглядов

43 43 Тепловые карты Рис. 7 Распределение внимания на модуле Структура респондентами 1 группы за весь период работы с модулем по количеству взглядов Рис. 8 Распределение внимания на модуле Структура респондентами 2 группы за весь период работы с модулем по количеству взглядов

44 44 Распределение внимания на модуле Структура Простые пользователи обращали основное внимание на действия, которые можно совершать со структурой сайта и с конкретными страницами Представителей 1 группы в основном привлекало само дерево сайта и действия, которые возможно осуществлять со структурой сайта

45 45 Распределения внимания в первые 10 секунд Основное внимание сосредоточено на действиях осуществляемых со страницами. Простые пользователи достаточно пристально изучают действия, которые можно осуществлять на сайте «Компьютерщики» обращают также внимание на ту часть страницы, где расположено главное меню (левая часть страницы).

46 46 Зоны внимания на модуле Структура На данной странице были выделены следующие зоны: верхнее меню (голубой), главное меню (розовый), действия, осуществляемые на странице(синий), дерево сайта (зеленый), управление страницами (оранжевый). Рис. 9 Зоны внимания на модуле Структура

47 47 Длительность просмотра 1. Все тестируемые респонденты уделили внимание всем зонам, за исключением зоны «верхнего меню»- его увидели лишь 4 (40%) тестируемых. 2. Длительность просмотра - количество времени непрерывной последовательности взглядов внутри данной области, т.е. собственно интерес группы к конкретной зоне. для «компьютерщиков» такими зонами интереса выступали – управление страницами (93,6) и дерево сайта (77,5) для 2 группы – дерево сайта (28,8) и иконки модулей (17,4).

48 48 Значения показателей на модуле Структура по зонам по массиву и по каждой группе Верхнее менюИконки модулейПомощьДерево сайтаУправление страницами Заголовок модуляНавигация в заголовке ВсеГруппа 1 Груп па 2 ВсеГрупп а1 Группа 2 ВсеГруппа 1 Группа 2 ВсеГруппа 1 Группа 2 ВсеГруппа 1 Группа 2 ВсеГруппа 1 Группа 2 ВсеГруппа 1 Группа 2 % респонд ентов, обратив- ших внимани е на зону 40 4 ч 40 2 ч 40 2 ч 40 4 ч 40 2 ч 40 2 ч ч ч ч ч ч ч ч ч ч ч ч ч ч ч ч Время до первой фиксаци и зоны взглядо м, в сек 8,367,58,48,367,58,415,7 14,93,64,82,921,82618,51,50,52,75,615,15,6 Длитель - ность просмот ра, в сек (*) 003,613,30,717,41216,52,844,677,528,823,693,615,12,6 3,52,43,21,6 * просмотр – это непрерывная последовательность взглядов внутри данной области

49 49 Значения показателей на модуле Структура по зонам по массиву и по каждой группе Верхнее меню Иконки модулей ПомощьДерево сайта Управление страницами Заголовок модуля Навигация в заголовке ВсеГр уп па 1 Гр уп па 2 ВсеГру ппа 1 Гр уп па 2 Вс е Гру ппа 1 Гру ппа 2 ВсеГру ппа 1 Гру ппа 2 ВсеГру ппа 1 Гру ппа 2 Вс е Гру ппа 1 Гру ппа 2 ВсеГру ппа 1 Гру ппа 2 Количес тво просмот ров Количес тво предыду щих фиксаци й взглядо м Время от фиксаци и взглядо м до клика по зоне 15, , 1 298, 5 37, ,519,7 244, 6 143, 7 42,2 304, , 2 91,5 401, 2 Время на страниц е до клика по зоне 31, 2 316,8 23, 7 173, 4 301, 7 45, ,126,5 246, 5 164, 7 55,2 246, , 7 148, 4 406, 9

50 50 Последовательность просмотра страницы Последовательность просмотра страницы у обеих групп начиналась с заголовка модуля (выделено желтым цветом на рисунке). Затем каждая из групп следовала своим путем. 1 группа далее обращала внимание на иконки модулей (сиреневый), дерево сайта (голубовато-зеленый), навигацию в заголовке (розовый), помощь (светло-синий), управление страницами (оливковый) и в последнюю очередь на верхнее меню (оранжевый). 2 группа далее обращала внимание на дерево сайта (голубовато-зеленый), навигацию в заголовке (розовый), верхнее меню (оранжевый),иконки модулей (сиреневый), помощь (светло-синий) и в последнюю очередь управлением страницами (оливковый).

51 51 Выявленные проблемы (со слов респондентов) 1.Задание 1 отсутствие на главной странице демо-версии 2.Задание 2 слишком запутанно, все дублируется в меню слева и в самом тексте. Это сбивает 3. Задание 3 -проблем не выявлено 4. Задание 4: не сразу понятно, где она сохранилась мелкий шрифт Primary links сливается со страницей 5.5 задание. нелогично- чтобы изменить объект, надо зайти в свойства страницы само название «родительский пункт» неочевидно нет кнопки «отменить» непонятно включено меню или нет 1.

52 52 Предложения по улучшению Задание На главной создать подсвеченную кнопку или вкладку Задание 2. 1.Оставить только меню и не дублировать его в тексте. 2.Слишком длинная сама страница, сократить ее, чтобы не приходилось спускаться вниз Задание 4. 1.Увеличить шрифт 2.Выделить primary links Задание 5. 1.Вынести пункт изменения объекта выше 2.Переименовать родительский пункт 3.Добавить кнопку «отмена»

53 53 Рекомендации Дать возможность пользователям тестировать продукт, для чего на главной странице разместить кнопку «Онлайн-демо». При ориентации компании на аудиторию простых пользователей имеет смысл отдельно на странице разместить ссылку с подробной инструкцией, как пользоваться продуктом. В зависимости от направленности выпускаемых товаров для той или иной аудитории (профессионалы/простые пользователи) следует изменять интерфейс модуля Структура.

54 54 Рекомендации На демо-версии: Оставить только меню и не дублировать его в тексте. Сократить длину страницы, чтобы не приходилось спускаться вниз Увеличить шрифт Вынести пункт изменения объекта выше Переименовать родительский пункт Добавить кнопку «отмена»