Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Страницы: 1 из 51 Следующая

Анализ выдачи до первого клика – 20 секунд Анализ первого результата – 60 секунд Факты о поведении пользователей (1tm) 20 cек анализ до 1-го клика (tmr) 60 сек анализ первого результата Страницы: 2 из 51 Следующая

МетрикаЧисло кликов Доля сессий С00 кликов30% С11 клик35% С22 клика15% Факты о поведении пользователей Распределение по кликам (c0) 0 кликов (c1) 1 клик (c2) 2 клика 3 и больше Страницы: 3 из 51 Следующая

Посетители не ходят вглубь Факты о поведении пользователей первая страница (kpg) доля следующих страниц Страницы: 4 из 51 Следующая

Факты о поведении пользователей 98% не просматривается 2% просматривается Посетители не просматривают основную часть доступных документов Страницы: 5 из 51 Следующая

Факты о поведении пользователей первый результат второй результат третий результат от 4-го до 15-го Трафик падает очень быстро При условии одного клика второму результату достаётся намного меньше, чем первому Страницы: 6 из 51 Следующая

При одном клике второму результату достаётся в 4 раза меньше трафика, чем первому Правильный ответ с плохой аннотацией снижает трафик в десятки раз Посетители не прокручивают страницу браузера вниз Факты о поведении пользователей Пользователи ленивы, это нельзя исправить, под это нужно подстраиваться Страницы: 7 из 51 Следующая

Скорость выдачи, полнота индекса, скорость обновления индекса, надежность, опечатки, подсказки… Релевантность (правильный ответ желателен на 1-2 месте + хорошая аннотация) Маркеры оценивают релевантность результатов Качество поиска в широком смысле Страницы: 8 из 51 Следующая

Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Обзор доклада Страницы: 9 из 51 Следующая

Мы вводим в поиск много запросов и считаем сумму правильных ответов Примеры маркеров для тестирования поиска Запрос «xxx» сайт «yyy» на 1 стр., хорошо (+1) Запрос «xxx» сайт «yyy» на 1 месте, хорошо, (+10) Запрос «xxx», в выдаче есть фраза «zzz», хорошо (+3) Что такое маркерный метод Страницы: 10 из 51 Следующая

Эксперты между собой часто имеют разногласия по поводу сайта на первой позиции Например, запрос «лучший unix редактор» Посетители могут иметь мнение, отличное от мнения экспертов Разногласия между экспертами Страницы: 11 из 51 Следующая

Как найти людей, которые способны оценивать сложные запросы? snmp applet kafka svejk krusovice лучшее из оформления парилок java diagram drawing software И как пригласить их поработать оценщиками в поиске? Сложные запросы Страницы: 12 из 51 Следующая

Сложные запросы – это сленг Пользователи поисковика разговаривают на своём сленге Эксперты оценщики их не понимают Сложность запросов увеличивается Маркерный метод не может охватить сложные запросы, это дорого и неэффективно Сложные запросы Страницы: 13 из 51 Следующая

Не обеспечивает полноты Не видит персонализации Не видит географической оптимизации Разногласия между экспертами Плохая точность Сайты иногда умирают: требуется регулярная проверка на актуальность Проблемы маркерного метода Страницы: 14 из 51 Следующая

Проблемы маркерного метода Страницы: 15 из 51 Следующая Проблемы маркерного метода вынуждают нас искать новые способы измерять качество поиска Интересные возможности предоставляют поведенческие технологии

Метрики для метрик Критерии оценки метрик: Как много нужно данных/времени/ресурсов Точность (можно ли увидеть 1 процент улучшений) Прежде чем искать новые метрики качества, нам нужно решить, как мы будем их сравнивать Страницы: 16 из 51 Следующая

Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Страницы: 17 из 51 Следующая

Чем меньше 1tm (время до первого клика) – тем лучше Если tmr меньше 15 секунд – это плохо Поведение – метрика качества Время на анализ поисковой выдачи и сайтов свидетельствует об удовлетворенности (tmr) 60 сек анализ первого результата (1tm) 20 cек анализ до 1-го клика Страницы: 18 из 51 Следующая

Клики: c0,с1,ds, click-entropy Время: 1tm, tmr,oldtime Глубина поиска: c1t1, kpg Лояльность, возвращаемость: kret Поведенческие метрики Их довольно много: Метрики – статистические коэффициенты на основе логов действий пользователей Страницы: 19 из 51 Следующая

Зависимость поведенческих метрик Эти зависимости довольно сложные Страницы: 20 из 51 Следующая

Доказать, что работает Качество поиска – ненаблюдаемый явно параметр Страницы: 21 из 51 Следующая

Доказать, что работает: эксперимент Улучшим качество и посмотрим, какие метрики изменились Страницы: 22 из 51 Следующая

Доказать, что работает: эксперимент Ухудшим качество на небольшой части аудитории, какие метрики изменились в обратную сторону? Страницы: 23 из 51 Следующая

Мозговой штурм – придумываем метрики Выбираем 1/128 аудитории для опытов Повторяем эксперимент несколько раз Оставляем только те метрики, которые зависят от качества Метрики – найти и отфильтровать Остаются только статистически значимые метрики Страницы: 24 из 51 Следующая

с1t1 – одна из хороших метрик с1t1 – доля первого результата при одном клике Среднее значение c1t1 – 0.4 x 0.35 = 14% (с1) 1 клик (с0) 0 кликов (с2) 2 клика 3 клика и больше (t1) первый результат от 4-го до 15-го (t2) второй результат (t3) третий результат Страницы: 25 из 51 Следующая

Удовлетворенность с1t1 Для двухсловных и трехсловных запросов удовлетворенность поиском увеличивается в течение всего 2009 года Страницы: 26 из 51 Следующая

Чем более редкие запросы, тем выше сложность запросов Чем выше сложность запросов, тем хуже удовлетворенность поиском c1t1 – корзины запросов Страницы: 27 из 51 Следующая

Удовлетворенность c1t1 – день недели Максимум удовлетворенности наблюдается в понедельник Страницы: 28 из 51 Следующая

Удовлетворенность c1t1 – время суток Максимум в 8-9 утра, минимум в 3 ночи Страницы: 29 из 51 Следующая

Качество поиска – свойство алгоритмов, оборудования Сложность запросов – свойство посетителей Удовлетворенность посетителей - Качество поиска / Сложность запросов Качество, сложность и удовлетворенность Метрики показывают удовлетворенность поиском, а не качество поиска. Мы вводим модель, которая их связывает. Наша простая модель не учитывает усталость посетителей, воздействие рекламы и другие эффекты Страницы: 30 из 51 Следующая

Удовлетворенность – усредняем по неделям Сложность запроса меняется в течение недели, поэтому усредняем по неделям Страницы: 31 из 51 Следующая

Сложность запросов Сложность запросов растет Чтобы удовлетворять посетителей, поиск вынужден непрерывно мониторить поведенческие метрики Ежедневно находить сложные (плохие) запросы и улучшать их Страницы: 32 из 51 Следующая

Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Страницы: 33 из 51 Следующая

Плохие запросы c0 Доля нулевых кликов. Среднее значение для c0 – 30% (c0) 0 кликов (c1) 1 клик (c2) 2 клика 3 и больше запросчастотностьC0 %/100 как отпраздновать хеллоуин поиск в интернете фото скачать бесплатно Страницы: 34 из 51 Следующая

Плохие запросы c1 Доля одного клика. Среднее значение для c1 – 35% (c1) 1 клик (c0) 0 кликов (c2) 2 клика 3 и больше запросчастотностьc1 %/100 поиск в интернете официальный сайт быть руководство по эксплуатации всё для вас Страницы: 35 из 51 Следующая

Плохие запросы с1t1 с1t1 – доля первого результата при одном клике Среднее значение c1t1 – 0.4 x 0.35 = 14% (с1) 1 клик (с0) 0 кликов (с2) 2 клика 3 клика и больше (t1) первый результат от 4-го до 15-го (t2) второй результат (t3) третий результат Страницы: 36 из 51 Следующая

Плохие запросы с1t1 запросчастотностьc1t1 %/100 поиск в интернете хеллоуин скачать бесплатно интернет магазин скачать василий лыкшин Страницы: 37 из 51 Следующая

Плохие запросы acp Среднее место кликов по результатам поиска (acp) – 3.3 запросчастотностьacp эротика игры поздравления с днём рождения фильмы онлайн скачать фильмы бесплатно музыка скачать бесплатно Страницы: 38 из 51 Следующая

Плохие запросы ts ts – доля, где среднее время просмотра результатов меньше 20 секунд запросчастотностьts %/100 карта европы поделки из спичек миит официальный сайт стихи тютчева кристен стюарт фото симметрия в природе Страницы: 39 из 51 Следующая

Списки трудных запросов Не для всех запросов удаётся повысить удовлетворенность запросчастотность фото2725 рассказы2278 скачать бесплатно2034 девушки976 тесты764 Страницы: 40 из 51 Следующая

Обзор доклада Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование тестирование новых фич Страницы: 41 из 51 Следующая

Тестирование новых фич Внедрение подсказок и опечаток в июле 2009 г. Как изменилось качество поиска, удовлетворенность посетителей и сложность запросов? Страницы: 42 из 51 Следующая

Июль 2009 – внедрение подсказок и опечаток Вспомним, что качество можно оценить через сложность и удовлетворенность При постоянном качестве поиска и увеличении сложности запросов удовлетворенность падает Удовлетворенность = качество/сложность запросов Качество = сложность запросов * удовлетворенность Страницы: 43 из 51 Следующая

Двухсловных запросов стало больше однословных, запросы стали более сложными Июль 2009 – внедрение подсказок и опечаток Страницы: 44 из 51 Следующая

Несмотря на увеличение сложности запросов, удовлетворенность также увеличилась Июль 2009 – внедрение подсказок и опечаток Страницы: 45 из 51 Следующая

Обычный графический способ Удовлетворенность примерно увеличилась на 20-40% Нам мешает множество возмущаемых факторов Сплит-система Удовлетворенность увеличилась на 27.7% Точность улучшается в сотни раз Июль 2009 – внедрение подсказок и опечаток Страницы: 46 из 51 Следующая

Выбрать критерий качества f(c1t1, acp, c0, c1, kpg,…) Запустить новую функциональность на 1/128 аудитории Проверить, что наша новая поведенческая релевантность улучшилась относительно оставшихся 127/128 Увеличить аудиторию до 1/64, 1/32…127/128 Сплит-система: внедряем новые фишки Последовательное увеличение аудитории новой фишки Страницы: 47 из 51 Следующая

Эффект1: у разных посетителей – разная выдача поиска Эффект2: мы можем увидеть улучшения в 1 процент, потратив всего несколько дней Эффект3: мы можем одновременно тестировать десятки фишек Эффект4: это бесплатно! Сплит-система: внедряем новые фишки Страницы: 48 из 51 Следующая

Запущены опечатки и подсказки в поисковой строке Новое оборудование, скорость поиска Новый дата-центр для повышения надежности На части аудитории тестируются новые фишки и алгоритмы Удовлетворенность увеличилась на 60% Итоги на ноябрь 2009 года Страницы: 49 из 51 Следующая

Советы оптимизаторам Оптимизируйте только редкие и многословные запросы, где пользователи неудовлетворены первыми результатами Бойтесь нецелевой аудитории Страницы: 50 из 51 Следующая