22 мая 2013, Киев Успешные корпоративные поисковые порталы на основе SharePoint 2013 Алексей Кожемякин

22 мая 2013, Киев Как сделать крутой поиск Алексей Кожемякин

Обо мне Solution Focusing on search Sharepoint Search FAST/2010/2013 Apache Lucene, Solr, elasticsearch, Oracle Endeca… 3

О чем будем говорить Корпоративный поисковый портал Как «работает» поиск в SP2013 Ключевые изменения Магия – расчет релевантности Полезные практики 4

Типичные сценарии поиска Я знаю что я ищу и я знаю где это найти Я знаю что я ищу, но НЕ знаю где это найти Я НЕ знаю что я ищу 5

Предпосылки: Компания растет Зоопарк из систем Решение: поисковый портал, «маленький гугл» Быстрая бизнес польза от внедрения: Единая точка поиска информации Сокращение времени на поиск информации Улучшение климата внутри компании 6 Поисковый портал

Но после внедрения… «Поиск плохо ищет» Из коробки поиск ничего не знает про вас «Но… … Microsoft позаботились о хорошем алгоритме» … мы не уверены что сделаем лучше»... нам не нужен поиск, у нас все знают что где лежит» … сделайте нам как в Гугл\Бинг» 7

Почему это сложно Неоднозначные короткие запросы Разнородный неоптимизированный контент Разная терминология составителей и потребителей контента Ограниченность ресурсов, в то время как в интернет-поисковиках Ручное и автоматическое измерение качества (асессоры) Постоянное улучшение 8

Архитектура поиска в SP2013 9

Поиск - двухфазный процесс Матчинг – все документы с ключ.словами Лингвистика: стемминг, фонетика Синонимы Ранжирование «Фичи» TF-IDF, BM25 Вес полей Тип файла Дата изменения Популярность … 10

Ранжирование в FAST Линейная комбинация фич 11

Ранжирование в FAST Вклад отдельных компонент в результат 12

Миграция FAST- >SP

Ранжирование в SP

Ранжирование в SP2013 Основная модель релевантности Две последовательные нейронные сети Дата документа не учитывается Фичи 15 TypeInstance BM25 StaticUrlDepth BucketedStaticInternalFileType BucketedStaticLanguage StaticClickDistance StaticQueryLogClicks StaticQueryLogSkips StaticLastClicks StaticEventRate MinSpan - softTitle MinSpan - softTitle MinSpan - softTitle MinSpan - softContent

Ранжирование в SP Основная модель релевантности

Расшифровка релевантности /_layout/15/explainrank.aspx rankdetail property 17

Расшифровка релевантности Ручная проверка в екселе 18

19

Успешные практики 1.Поисковая аналитика 2.Тонкая настройка и адаптация 3.Регулярное тестирование 4.Анализ проблем с конфиденциальностью 5.Популяризация 6.Адаптация контента 20

1. Поисковая аналитика Поисковая аналитика 21

1. Поисковая аналитика Стандартно в SP2013 Наиболее популярные запросы «Неудачные» запросы Сторонние системы (Google Analytics, Omniture, WebTrends) Измерение качества поиска % кликов на результаты на какие результаты обратные переходы Анализ сессии Сегментация запросов 22

Сегментация запросов Анализировать не только самые популярные, а классы запросов 23

2. Тонкая настройка Authoritative Pages Быстрая выгода – приоритет источников контент Query Rules Поиск становится умным в глазах пользователей Synonyms Отдельный маппинг файл Только экспансия Синонимы термсетов не работают Модели релевантности 24

Authoritative Pages Влияет на ClickDistance ClickDistance, UrlDepth имеют сильное влияние на итоговую релевантность Конфигурируются в CA, CSOM 25

Query Rules (Rule + Action) Основной инструмент имитации разума Интерактивная реакция на запросы Пост обработка запроса Навигационные ключевые слова … 26

Условия для Query Rules Query Matches Keyword Exactly Advanced Query Text Match Query Matches Dictionary Exactly Query Contains Action Term Query More Common in Source Result Type Commonly Clicked 27

Действия для Query Rules Create and display a result block Change ranked search results Best Bets XRANK Работает аддитивно Не отображается в rankdetail Правильный выбор веса? 28

Шаблоны для QueryRules Типичные комбинации из нашего портала Software, soft, download, install How to Policy, Blog Portal Music, Video Presentation, Documents, Report Training, tutorial Book, ebook У вас будут другие! 29

Custom Rank Models Сбор Query Judgments Настройка коэффициентов нейронной сети машинным обучением Gradient Descent, Lambda Rank Microsoft.Office.Server.Search.RankerTuning 30

Custom Rank Models Модифицируйте простую модель сделанную руками A/B тестирование весов Измерение, метрики : Precision, NDCG 31

Custom Rank Models Пример – модель поиска людей 32

3. Тестирование поиска Зачем? Это компас. «Юнит тестирование» Ручное тестирование, периодически 33

4. Аудит «безопасности» Внедрение поиска выявляет проблемы с правами доступа Security by obscurity Например: «конфиденциально» Зарплаты, подробности интервью Решение – автоматический мониторинг чувствительных запросов 34

5. Адаптация контента Работа с подразделениями Помощь в мониторинге аналитики Гайдлайн по оформлению контента Базовый SEO Оформление заголовков Оформление урлов Мета тэги

6. Популяризация Имидж – «здесь найдется все» Интеграция с другими системами Поиск как сервис Виджет «поискать во всех системах» Бэджи, гемификация 36

Популяризация Социальные Best-bets 37

Понимать естественный язык В общем виде задача не решается Аналитика + кропотливая работа см выше набор практик NLP – question answering Rocket science English only Part of speech tagging, dependency parsing Stanford NLP, Open NLP, IR 38

«Литература» Patents Explain Rank page How SP2013 relevancy models works MS Enterprise Search approach Customizing ranking models in SP

22 мая 2013, Киев Спасибо за внимание Skype: Alexey_Kozhemiakin Blog: 40