СБОР И ПОИСК СТРУКТУРИРОВАННОЙ ИНФОРМАЦИИ Метахаус. - презентация

1 СБОР И ПОИСК СТРУКТУРИРОВАННОЙ ИНФОРМАЦИИ Метахаус

2 ВЕРТИКАЛЬНЫЙ ПОИСК Ориентирован на определенную область Данные хранятся с учетом структуры предметной области Позволяет более точно задать запрос Возможность фильтрации, сортировки 2

3 ПРИМЕР 3

4 ПРИМЕРЫ ЗАПРОСОВ черная икра в ресторане с караоке около кремля гостиница с бассейном около киевской комплексная мойка в выхино преображенская площадь бассейн 50 метров банкомат с долларами рядом с пушкинской 4

5 ПОДХОДЫ К СБОРУ ДАННЫХ Полуавтоматический (+) Универсальность (+) Гибкость (-) Временные затраты (-) Участие человека Автоматический (-) Не для каждого сайта (+) Быстро (+) Дешево 5

6 ПОЛУАВТОМАТИЧЕСКИЙ СБОР Свести к минимуму человеческое участие Легкость реализации Простота поддержки Никаких RegExp, XPath 6

7 ИДЕЯ 7 Класс (предметная область) Шаблон (специфика сайта) +

8 КЛАСС Описывает структуру предметной области Похож на ООП класс Набор правил, как эту структуру обрабатывать и валидировать, нормализовывать 8

9 ПРИМЕР КЛАССА Товар интернет магазина 9 Наименованиеstring Ценаprice Категорииcategories Наш артикулreference

10 ПРИМЕРЫ ТИПОВ price 1 000,10р. -> ,000,000 рублей -> address Пушкинская -> Москва, Пушкинская площадь; lat: , lon: , 10

11 ПРИМЕР ШАБЛОНА 11 Средние временные затраты на 1 шаблон: минут

12 РЕЗУЛЬТАТ РАБОТЫ ШАБЛОНА Данные структурированы, провалидированы, нормализованы Удалены дубли Есть diff по сравнению с предыдущими данными Мониторинг «отвалившихся» шаблонов 12

13 ВОЗМОЖНОСТИ ПОИСКА Разбор запроса Поддержка морфологии и транслита Неверная раскладка клавиатуры «Возможно, вы имели в виду» Фасеты Фильтрация, сортировка, группировка Гео-поиск 13

14 РЕАЛИЗАЦИЯ Работает на базе Apache Solr Разная структура документа в зависимости от предметной области Можно гибко настраивать правила индексации через метаданные класса Отдельный индекс для анализа запроса 14

15 СПАСИБО! Минченков Павел Метахаус