Сравнительная оценка инструментов поиска в Интернете на основе анализа поведения пользователей Павел Браславский, Антон Шишкин ИМАШ УрО РАН

Диалог Методы оценки TREC-подобные * Анализ логов Контролируемые исследования поведения пользователей (user- centered approach) * «Кубок по поиску»

Диалог Задачи исследования Разработка и тестирование методики оценки инструментов поиска Оценка системы ProThes и выработка рекомендаций для дальнейшего развития

Диалог ProThes: 3 в 1 Метапоиск (Google, Yandex) Визуализация (графический интерфейс) Предметное знание в форме тезауруса

Диалог ProThes: интерфейс

Диалог Особенности тезауруса Основной элемент – концепция Многоязычность Формат представления – XML

Диалог Пример тезауруса Предметная область: Автоматический оптический контроль печатных плат ~200 концепций ~ 700 терминов ~ 800 двунаправленных связей

Диалог Эксперимент: методика Контролируемый эксперимент (фиксированный набор заданий, ограниченная группа участников) Сравнительный анализ Данные: Опросы пользователей (до и после выполнения заданий) Регистрация активности пользователей во время выполнения заданий

Диалог План эксперимента 1. Подготовительная стадия (инструктирование, анкетирование, знакомство с интерфейсом, пробные задания…) 2. Выполнение заданий 3. Заключительная стадия (анкетирование, неформальные комментарии)

Диалог План эксперимента Участ ник Задание GGPP 2GGPP 3GGPP 4PGGP 5PPGG 6GPPG 7PPYY 8YPPY 9YYPP 10PYYP 11PPYY 12PPYY

Диалог Задания 1.Сколько существует классов точности печатных плат? 2.Найти документы, посвященные алгоритмам выделения контуров элементов изображений в задачах автоматического оптического контроля. 3.Минимальная ширина проводника для системы автоматического оптического контроля печатных плат Orion. 4.Найти документы, посвященные алгоритмам векторизации изображений печатных плат (векторизация изображения – перевод точечного изображения в векторное). 5.Максимальный размер печатной платы, которую можно тестировать с помощью системы автоматического оптического контроля Discovery 6. 6.Найти документы, содержащие описания систем автоматического оптического контроля, использующих источники рентгеновского излучения.

Диалог Участники Количество участников12 Средний возраст27,6 Пол (м/ж)10/2 Студенты4 Средний уровень английского3,42 Средняя частота использования МП1,17 Средние навыки поиска в Интернете3,42 Среднее знание предметной области2,5

Диалог Основные результаты GYP Среднее количество запросов/задание8,678,583,67 Средняя длина запроса в словах4,384,059,84 Доля «нулевых» запросов0,200,110,21 Доля точных запросов0,370,190,13 Среднее количество посещенных URL/запрос1,46-2,14 Среднее количество посещенных URL/ответ6,37-3,54 Среднее количество посещенных URL/задание10,08-6,57 Среднее количество ответов на «открытые» задания 2,51,52,75 Среднее время на выполнение задания, мин.10,757,6710,25 Доля невыполненных заданий0,25 0,17

Диалог Неоднородность заданий Задание 1 ср. время выполнения 5,13 мин. Задание 5 выполнено в 2 случаях из 8 запросы: G - 18,5; Y – 22 (max – 33) Задание 6: наиболее «открытое» (в среднем в два раза больше ответов, чем в заданиях 2 и 4)

Диалог Специфика ProThes 2,08 посещенных концепций/задание 79% терминов тезауруса в запросах

Диалог Оценка ProThes Общее впечатление3,00 Интерфейс2,25 Визуализация тезауруса2,83 Простота использования3,17 Простота обучения3,33 Производительность1,83 Конструктор запросов2,67 Полезность тезауруса2,97

Диалог Замечания Разный уровень мотивации пользователей Разные стратегии поиска Релевантность? Мультиязычность Длина запроса? Полезность тезауруса?

Диалог Выводы Определены направления развития системы ProThes (интерфейс, операции с запросами, производительность) Контролируемое исследование поведения пользователей при поиске информации – удобный инструмент оценки поисковых систем