Гибкий web-crawler Дизайн и разработка Артём Курапов. - презентация

1 Гибкий web-crawler Дизайн и разработка Артём Курапов

2 Схема доклада Введение. Объект и цель исследования. Способы решения проблемы. Алгоритмы индексации и упрядочивания данных. Взгляды на выборку, перепросмотр и распределение нагрузки. Проделанная работа. Особенности и жертвы разработки. Заключение и выводы.

3 Web-crawler это.. Инструмент для разных целей Основная цель – сбор данных для поиска по ним Косвенные цели – анализ документов в целом

4 Кому и для чего это надо? Web-мастерам среднего уровня со знаниями основ LAMP (для образования) Аналитикам, администраторам, архитекторам (для планирования) Создателям информации (для сбора фактов)

5 Сбор данных Индексация вручную (copy-paste). Рутинная работа. Автоматическая индексация. Основная проблема – алгоритм индексации. Оценка полученных данных для дальнейшего отображения

6 Алгоритмы индексации дерева Наивный Breadth-first Depth-first Uniform-cost

7 Ограничения индексации Необходимы из-за физических ограничений сервера в случае неизвестного числа документов Естественное ограничение – новые технологии flash, video, java applet, javascript, необходимость авторизации, captcha Настраивыемые ограничения (глубина,число документов, тип ресурсов)

8 Web-crawler как часть большего Selection, revisit policy Лёгкость интеграции Возможность расширения (параллелизация) за счёт многопоточности (crontab) : скорость и нагрузка Внешние системы обработки данных – video, image, audio, xml, rdf..

9 Проделанная работа

10 Добавление паука

11 Добавление домена

12 Список доменов

13 Взгляд изнутри MySQL 5 PHP5 Apache 2 nnCron проиндексировано 80 тыс страниц 1-2 страницы в секунду Open Source

14 Заключение Много алгоритмов, необходима конкретная цель Сделанный crawler – медленный, но гибкий Рост в скорости требует бОльшего проектирования баз данных. Рост в аналитике – отдельных модулей визуализации

15 The end

16 Замена PHP ASP JSP CGI Perl

17 PHP популярность