Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики. - презентация

1

2 Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Страницы: 1 из 51 Следующая

3 Анализ выдачи до первого клика – 20 секунд Анализ первого результата – 60 секунд Факты о поведении пользователей (1tm) 20 cек анализ до 1-го клика (tmr) 60 сек анализ первого результата Страницы: 2 из 51 Следующая

4 МетрикаЧисло кликов Доля сессий С00 кликов30% С11 клик35% С22 клика15% Факты о поведении пользователей Распределение по кликам (c0) 0 кликов (c1) 1 клик (c2) 2 клика 3 и больше Страницы: 3 из 51 Следующая

5 Посетители не ходят вглубь Факты о поведении пользователей первая страница (kpg) доля следующих страниц Страницы: 4 из 51 Следующая

6 Факты о поведении пользователей 98% не просматривается 2% просматривается Посетители не просматривают основную часть доступных документов Страницы: 5 из 51 Следующая

7 Факты о поведении пользователей первый результат второй результат третий результат от 4-го до 15-го Трафик падает очень быстро При условии одного клика второму результату достаётся намного меньше, чем первому Страницы: 6 из 51 Следующая

8 При одном клике второму результату достаётся в 4 раза меньше трафика, чем первому Правильный ответ с плохой аннотацией снижает трафик в десятки раз Посетители не прокручивают страницу браузера вниз Факты о поведении пользователей Пользователи ленивы, это нельзя исправить, под это нужно подстраиваться Страницы: 7 из 51 Следующая

9 Скорость выдачи, полнота индекса, скорость обновления индекса, надежность, опечатки, подсказки… Релевантность (правильный ответ желателен на 1-2 месте + хорошая аннотация) Маркеры оценивают релевантность результатов Качество поиска в широком смысле Страницы: 8 из 51 Следующая

10 Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Обзор доклада Страницы: 9 из 51 Следующая

11 Мы вводим в поиск много запросов и считаем сумму правильных ответов Примеры маркеров для тестирования поиска Запрос «xxx» сайт «yyy» на 1 стр., хорошо (+1) Запрос «xxx» сайт «yyy» на 1 месте, хорошо, (+10) Запрос «xxx», в выдаче есть фраза «zzz», хорошо (+3) Что такое маркерный метод Страницы: 10 из 51 Следующая

12 Эксперты между собой часто имеют разногласия по поводу сайта на первой позиции Например, запрос «лучший unix редактор» Посетители могут иметь мнение, отличное от мнения экспертов Разногласия между экспертами Страницы: 11 из 51 Следующая

13 Как найти людей, которые способны оценивать сложные запросы? snmp applet kafka svejk krusovice лучшее из оформления парилок java diagram drawing software И как пригласить их поработать оценщиками в поиске? Сложные запросы Страницы: 12 из 51 Следующая

14 Сложные запросы – это сленг Пользователи поисковика разговаривают на своём сленге Эксперты оценщики их не понимают Сложность запросов увеличивается Маркерный метод не может охватить сложные запросы, это дорого и неэффективно Сложные запросы Страницы: 13 из 51 Следующая

15 Не обеспечивает полноты Не видит персонализации Не видит географической оптимизации Разногласия между экспертами Плохая точность Сайты иногда умирают: требуется регулярная проверка на актуальность Проблемы маркерного метода Страницы: 14 из 51 Следующая

16 Проблемы маркерного метода Страницы: 15 из 51 Следующая Проблемы маркерного метода вынуждают нас искать новые способы измерять качество поиска Интересные возможности предоставляют поведенческие технологии

17 Метрики для метрик Критерии оценки метрик: Как много нужно данных/времени/ресурсов Точность (можно ли увидеть 1 процент улучшений) Прежде чем искать новые метрики качества, нам нужно решить, как мы будем их сравнивать Страницы: 16 из 51 Следующая

18 Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Страницы: 17 из 51 Следующая

19 Чем меньше 1tm (время до первого клика) – тем лучше Если tmr меньше 15 секунд – это плохо Поведение – метрика качества Время на анализ поисковой выдачи и сайтов свидетельствует об удовлетворенности (tmr) 60 сек анализ первого результата (1tm) 20 cек анализ до 1-го клика Страницы: 18 из 51 Следующая

20 Клики: c0,с1,ds, click-entropy Время: 1tm, tmr,oldtime Глубина поиска: c1t1, kpg Лояльность, возвращаемость: kret Поведенческие метрики Их довольно много: Метрики – статистические коэффициенты на основе логов действий пользователей Страницы: 19 из 51 Следующая

21 Зависимость поведенческих метрик Эти зависимости довольно сложные Страницы: 20 из 51 Следующая

22 Доказать, что работает Качество поиска – ненаблюдаемый явно параметр Страницы: 21 из 51 Следующая

23 Доказать, что работает: эксперимент Улучшим качество и посмотрим, какие метрики изменились Страницы: 22 из 51 Следующая

24 Доказать, что работает: эксперимент Ухудшим качество на небольшой части аудитории, какие метрики изменились в обратную сторону? Страницы: 23 из 51 Следующая

25 Мозговой штурм – придумываем метрики Выбираем 1/128 аудитории для опытов Повторяем эксперимент несколько раз Оставляем только те метрики, которые зависят от качества Метрики – найти и отфильтровать Остаются только статистически значимые метрики Страницы: 24 из 51 Следующая

26 с1t1 – одна из хороших метрик с1t1 – доля первого результата при одном клике Среднее значение c1t1 – 0.4 x 0.35 = 14% (с1) 1 клик (с0) 0 кликов (с2) 2 клика 3 клика и больше (t1) первый результат от 4-го до 15-го (t2) второй результат (t3) третий результат Страницы: 25 из 51 Следующая

27 Удовлетворенность с1t1 Для двухсловных и трехсловных запросов удовлетворенность поиском увеличивается в течение всего 2009 года Страницы: 26 из 51 Следующая

28 Чем более редкие запросы, тем выше сложность запросов Чем выше сложность запросов, тем хуже удовлетворенность поиском c1t1 – корзины запросов Страницы: 27 из 51 Следующая

29 Удовлетворенность c1t1 – день недели Максимум удовлетворенности наблюдается в понедельник Страницы: 28 из 51 Следующая

30 Удовлетворенность c1t1 – время суток Максимум в 8-9 утра, минимум в 3 ночи Страницы: 29 из 51 Следующая

31 Качество поиска – свойство алгоритмов, оборудования Сложность запросов – свойство посетителей Удовлетворенность посетителей - Качество поиска / Сложность запросов Качество, сложность и удовлетворенность Метрики показывают удовлетворенность поиском, а не качество поиска. Мы вводим модель, которая их связывает. Наша простая модель не учитывает усталость посетителей, воздействие рекламы и другие эффекты Страницы: 30 из 51 Следующая

32 Удовлетворенность – усредняем по неделям Сложность запроса меняется в течение недели, поэтому усредняем по неделям Страницы: 31 из 51 Следующая

33 Сложность запросов Сложность запросов растет Чтобы удовлетворять посетителей, поиск вынужден непрерывно мониторить поведенческие метрики Ежедневно находить сложные (плохие) запросы и улучшать их Страницы: 32 из 51 Следующая

34 Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Страницы: 33 из 51 Следующая

35 Плохие запросы c0 Доля нулевых кликов. Среднее значение для c0 – 30% (c0) 0 кликов (c1) 1 клик (c2) 2 клика 3 и больше запросчастотностьC0 %/100 как отпраздновать хеллоуин поиск в интернете фото скачать бесплатно Страницы: 34 из 51 Следующая

36 Плохие запросы c1 Доля одного клика. Среднее значение для c1 – 35% (c1) 1 клик (c0) 0 кликов (c2) 2 клика 3 и больше запросчастотностьc1 %/100 поиск в интернете официальный сайт быть руководство по эксплуатации всё для вас Страницы: 35 из 51 Следующая

37 Плохие запросы с1t1 с1t1 – доля первого результата при одном клике Среднее значение c1t1 – 0.4 x 0.35 = 14% (с1) 1 клик (с0) 0 кликов (с2) 2 клика 3 клика и больше (t1) первый результат от 4-го до 15-го (t2) второй результат (t3) третий результат Страницы: 36 из 51 Следующая

38 Плохие запросы с1t1 запросчастотностьc1t1 %/100 поиск в интернете хеллоуин скачать бесплатно интернет магазин скачать василий лыкшин Страницы: 37 из 51 Следующая

39 Плохие запросы acp Среднее место кликов по результатам поиска (acp) – 3.3 запросчастотностьacp эротика игры поздравления с днём рождения фильмы онлайн скачать фильмы бесплатно музыка скачать бесплатно Страницы: 38 из 51 Следующая

40 Плохие запросы ts ts – доля, где среднее время просмотра результатов меньше 20 секунд запросчастотностьts %/100 карта европы поделки из спичек миит официальный сайт стихи тютчева кристен стюарт фото симметрия в природе Страницы: 39 из 51 Следующая

41 Списки трудных запросов Не для всех запросов удаётся повысить удовлетворенность запросчастотность фото2725 рассказы2278 скачать бесплатно2034 девушки976 тесты764 Страницы: 40 из 51 Следующая

42 Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Страницы: 41 из 51 Следующая

43 Тестирование новых фич Внедрение подсказок и опечаток в июле 2009 г. Как изменилось качество поиска, удовлетворенность посетителей и сложность запросов? Страницы: 42 из 51 Следующая

44 Июль 2009 – внедрение подсказок и опечаток Вспомним, что качество можно оценить через сложность и удовлетворенность При постоянном качестве поиска и увеличении сложности запросов удовлетворенность падает Удовлетворенность = качество/сложность запросов Качество = сложность запросов * удовлетворенность Страницы: 43 из 51 Следующая

45 Двухсловных запросов стало больше однословных, запросы стали более сложными Июль 2009 – внедрение подсказок и опечаток Страницы: 44 из 51 Следующая

46 Несмотря на увеличение сложности запросов, удовлетворенность также увеличилась Июль 2009 – внедрение подсказок и опечаток Страницы: 45 из 51 Следующая

47 Обычный графический способ Удовлетворенность примерно увеличилась на 20-40% Нам мешает множество возмущаемых факторов Сплит-система Удовлетворенность увеличилась на 27.7% Точность улучшается в сотни раз Июль 2009 – внедрение подсказок и опечаток Страницы: 46 из 51 Следующая

48 Выбрать критерий качества f(c1t1, acp, c0, c1, kpg,…) Запустить новую функциональность на 1/128 аудитории Проверить, что наша новая поведенческая релевантность улучшилась относительно оставшихся 127/128 Увеличить аудиторию до 1/64, 1/32…127/128 Сплит-система: внедряем новые фишки Последовательное увеличение аудитории новой фишки Страницы: 47 из 51 Следующая

49 Эффект1: у разных посетителей – разная выдача поиска Эффект2: мы можем увидеть улучшения в 1 процент, потратив всего несколько дней Эффект3: мы можем одновременно тестировать десятки фишек Эффект4: это бесплатно! Сплит-система: внедряем новые фишки Страницы: 48 из 51 Следующая

50 Запущены опечатки и подсказки в поисковой строке Новое оборудование, скорость поиска Новый дата-центр для повышения надежности На части аудитории тестируются новые фишки и алгоритмы Удовлетворенность увеличилась на 60% Итоги на ноябрь 2009 года Страницы: 49 из 51 Следующая

51 Советы оптимизаторам Оптимизируйте только редкие и многословные запросы, где пользователи неудовлетворены первыми результатами Бойтесь нецелевой аудитории Страницы: 50 из 51 Следующая

52