12.11.2010 АСЕССОРСКАЯ ОЦЕНКА РЕЗУЛЬТАТОВ ПОИСКА ИЗБРАННЫЕ ВОПРОСЫ. - презентация

1 АСЕССОРСКАЯ ОЦЕНКА РЕЗУЛЬТАТОВ ПОИСКА ИЗБРАННЫЕ ВОПРОСЫ

2 РЕЛЕВАНТНОСТЬ ГЛАЗАМИ ЯНДЕКСА (Александр Садовский, ноябрь 2007 г.)

3 ШКАЛЫ АСЕССОРСКИХ ОЦЕНОК ЯНДЕКСА И GOOGLE ОДИНАКОВЫ Slightly RelevantРелевантный - Off-TopicНерелевантный Unratable404 Spam, Pornography, Malicious Спам Off-Topic «Не про то» или «Глупый» RelevantРелевантный + UsefulПолезный VitalВитальный GOOGLEЯНДЕКС

4 ОЦЕНКА «ВИТАЛЬНЫЙ» Ставится сайтам, которые являются официальными источниками информации о предприятии, товаре, услуге, сервисе, документе. Для одного запроса витальный ответ, как правило, только один. Для многих запросов витальные ответы невозможны в принципе. The query does not have a dominant interpretation The query is not an entity or is not a navigation query No official website or webpage exists for the entity No person or entity can own the topic of the query Витальный = осмысленность + авторизованность + авторитетность

5 ОЦЕНКА «ПОЛЕЗНЫЙ» Ставится сайтам, которые пользователи могли бы захотеть добавить в закладки. Useful pages are pages you trust They are from information sources that seem reliable Useful pages are usually high quality: they are well organized and up-to-date Useful pages are as good as it gets for queries that do not have Vital pages. A good search engine should have Useful pages in top positions on its pages of search results (Хороший поисковик должен показывать на первых позициях ссылки именно на полезные ответы). Полезный = осмысленность + авторизованность + авторитетность + полнота + структура + оформление

6 ОЦЕНКА «РЕЛЕВАНТНЫЙ» (+) Дополнительный результат A rating of Relevant is assigned to pages that have fewer valuable attributes than were listed for Useful pages. Relevant pages might be less comprehensive, come from a less authoritative source, or cover only one important aspect of the query. Relevant pages must have some utility for the user, in addition to being on-topic. These pages are average to good, but are not as good as it gets. Полезный = авторизованность + авторитетность + полнота + структура + оформление Релевантный = осмысленность + авторизованность + авторитетность + полнота + структура (?) + оформление (?) «Релевантный» = НЕ витальный и НЕ полезный

7 ОЦЕНКА «SLIGHTLY RELEVANT» Документ соответствует теме запроса, но ему не отвечает, либо авторитетность источника вызывает сомнения. A rating of Slightly Relevant is assigned to pages that are generally not helpful, but are still marginally on-topic. Slightly Relevant pages may be outdated, too narrowly regional, too specific, too broad, etc. to receive a higher rating. They might have less information or come from a less authoritative source. Релевантный (-) = осмысленность

8 ОЦЕНКА «НЕРЕЛЕВАНТНЫЙ» Документ не отвечает на поставленный вопрос… [«Не про то»: содержит слова запроса, но смысл абсурден] A rating of Off-Topic should be given to pages that have no or very little topicality and no or almost no utility. These pages are not helpful for most users. In some cases, there is lack of attention to an important modifier or element of the query. In other cases, the query terms appear on the page in separate places, but the page topic does not match the query topic. Нерелевантный = бессмысленный

9 ОЦЕНКА «СПАМ» Бяка Порно и Зловреды (Pornography, Malicious) Тоже бяка

10 НЕТ «ПРОСТО ЗАПРОСА» ЕСТЬ «ЗАПРОС ИЗ ГОРОДА N» All queries have a task language and task location. Keeping these in mind will help you to understand the query and user intent. Users in different parts of the world may have different expectations for the same query. Асессор должен оценивать страницу в соответствии с указанным регионом.

11 МНОГОЗНАЧНЫЕ ЗАПРОСЫ И ИХ ОЦЕНКА МАРС это… Dominant Interpretation = Vital to Off-Topic (транснациональная корпорация) Common Interpretation = Useful to Off-Topic (планета, бог войны) Minor Interpretation = Relevant to Off-Topic (фильм, серия межпланетных станций, судно на воздушной подушке, подводная лодка) No chance Interpretation = Off-Topic (аббревиатуры/московская ассоциация революционных сатириков и др.,/топонимика /деревня в Кушнаренковском районе Башкортостана и др./кличка кота…)

12 СРАВНИТЕЛЬНАЯ ОЦЕНКА (SIDE-BY-SIDE, SxS) Стандартно оценка двух наборов (10 vs 10) ГЛАВНЫЕ ПРИНЦИПЫ Users should find what they are looking for. Respect their intent. (Уважай намерение цель поиска пользователя. Дай ему именно то, что он ищет.) Users should get the best results. Have high standards. (Пользователь должен получить лучшие результаты.) Users should have many options and choices. Not everyone likes the same websites. (Обеспечивай разнообразие результатов.) Results should feel right for the users language and location. Use your knowledge and rate from a local perspective. (Всегда помни, откуда сделан запрос.)

13 СРАВНИТЕЛЬНАЯ ОЦЕНКА ТИПЫ ЗАПРОСОВ What results are good for the query? The result set should help the users find what they are looking for. Understanding the query and user intent will help you understand what results are good. The result set for a Go query should have the target result at the top. (Ответ поисковой системы должен содержать адрес искомого сайта. Чем выше, тем лучше.) The result set for a Know query should have a nice mix of resources to find good information. (Набор ссылок должен дать пользователю смесь из разных ресурсов, обеспечивающих достоверное разнообразие относящихся к тема запроса данных.) The result set for a Do query should give the users a lot of high quality options to accomplish their goal. (Результаты поиска должны предоставить разумные альтернативы для совершения задуманного действия.)

14 СРАВНИТЕЛЬНАЯ ОЦЕНКА ДУБЛИКАТЫ What results are good for the query? The set of results must be considered as a whole you can not just consider results individually. (Оценивай выдачу в целом.) The helpfulness of an individual result depends in part on what other results are in the set. True duplicate results may be useless; near duplicates may or may not add much value. (Результаты должны дополнять друг друга, полные дубликаты недопустимы.)

15 СРАВНИТЕЛЬНАЯ ОЦЕНКА ПОРЯДОК РЕЗУЛЬТАТОВ ПОИСКА Order of the results The order of the results is extremely important. Most users look at the top results, so the best results should appear at the top of the page. Results in lower positions get less attention from users, even if they are good. Useless results may discourage users from looking further down the page. (Порядок крайне важен пользователи смотрят сверху вниз.) The results should be in order of helpfulness to users. The best and most helpful results should be at the top. (Лучшее наверх: vital, useful, relevant… etc.) Think about query interpretation and user intent. Really great results for the dominant interpretation or most likely user intent should be at the top. Mediocre or even average results for a minor interpretation may not be worth showing at all. (Лучшее наверх: dominant, common, minor.)

16 СРАВНИТЕЛЬНАЯ ОЦЕНКА КОЛИЧЕСТВО РЕЗУЛЬТАТОВ ПОИСКА Number of results Some result sets have many results; others have few results. Please keep in mind: More results is not necessarily better. Think about the helpfulness of the whole result set. (Больше не значит лучше. Думайте о полезности видимого набора результатов.) Truly useless results add little or nothing and may just be distracting or discouraging. (Бесполезная ссылка портит выдачу.) Results which offend or harm users are bad and should not be shown at all, even if there are no helpful results available. For example, uninvited pornography and malicious downloads should never appear in a result set. (Если нет хороших ответов, плохие не помогут.)

17 СРАВНИТЕЛЬНАЯ ОЦЕНКА ЯЗЫК И РЕГИОН Language/Location of results in the set The set of results should offer the best possible mix of language and location results for users in the language and location of the SxS task. It should feel right for users. Most of the time, results should be in the language(s) of the task location. Users often want websites that are specific to their location (Найдите лучшую комбинацию для пользователей из места, откуда сделан запрос.)

18 СРАВНИТЕЛЬНАЯ ОЦЕНКА УЧЕТ РАЗНООБРАЗИЯ Diversity The results in the set should work together to address different aspects of query interpretation/user intent and provide a good collection of resources for users. We will call this rating consideration diversity. Here are a few types of diversity to think about. 1. Diversity in query interpretation/user intent: If there are many reasonable user intents or query interpretations, the result set should reflect this. When the query is ambiguous or vague, a result set with many interpretations or user intents may be helpful. However, if there is only one interpretation or intent, the entire result set should address that one interpretation (Разнообразие интерпретаций запроса.)

19 СРАВНИТЕЛЬНАЯ ОЦЕНКА УЧЕТ РАЗНООБРАЗИЯ, продолжение 2. Diversity of information sources/websites: Sometimes many different kinds of websites are good for a query. For travel queries, travel planning websites, reviews, hotels and airline aggregators may all be helpful. Sometimes users are looking for specific information or a particular kind of content, such as song lyrics. Even in this case, the result set should have several different sources for the information or content, such as many different lyrics websites. This gives users choices and provides confirmation of the correctness of the information (Разнообразие источников информации.) 3. Diversity in result type: Some queries really have only one type of helpful result. If the query asks for videos, then videos are the appropriate type of result (Разнообразие типов информации.)

20 СРАВНИТЕЛЬНАЯ ОЦЕНКА АКТУАЛЬНОСТЬ Timeliness Some queries, such as queries for current events or recurring events, demand the most recent results. For these queries, older and less helpful pages should usually appear below more recent and helpful pages. In some cases, outdated pages are useless and should not be shown at all. Other queries are more timeless and it is less important to worry about how old the web page or resource is. Sometimes, the best results may be older pages. One thing to remember: out-of-date information is not usually helpful, unless the query specifically asks for it. (Устаревшие результаты можно показывать только по прямому запросу).

21 ВЫВОДЫ Асессоры оценивают пары [запрос (город) URL]. Старайтесь, чтобы продвигаемый URL оценивался как «Полезный». «Релевантный» это уже не модно. Асессоры всегда обращают внимание на регион, откуда задан вопрос. Покажите им (пользователям) данные, относящиеся к родному городу. Асессоры оценивают популярность смысловых интерпретаций для нечетких запросов. Продвигать по таким запросам можно только страницы, интерпретируемые как Dominant или Common. Остальные не имеет смысла. Асессоры обращают внимание на актуальность предлагаемой информации. Подчеркните дату.

22 УНИВЕРСАЛЬНА ЛИ МЕТОДИКА АСЕССОРСКОЙ ОЦЕНКИ?.. Есть ли проблемы, которые асессоры решить не могут?..

23 ГОД 100% ПОРНО

24 ГОД 60% ПОРНО… + ЗАДОРНОВ + ПРИТЧИ И ГРАФОМАНЫ

25 СПАСИБО! Андрей Иванов Информация о компании, услугах и технологиях Анализаторы поисковиков Набор инструментов для удобного поиска