Веб-система агрегации и интеллектуального анализа проектов фриланс-бирж Докладчик: Савин И.И. 1. - презентация

1 Веб-система агрегации и интеллектуального анализа проектов фриланс-бирж Докладчик: Савин И.И. 1

2 Состояние фриланса на сегодня Фриланс – удаленная разовая работа Фриланс-биржа – веб-площадка публикации заказов Особенности: Идеальный путь быстрого заработка и накопления опыта Широкое распространение с развитием интернета Максимально гибкие условия работы Проблемы: Много источников заказов (фриланс-бирж) Конкуренция с фриланс-компаниями Требуется быстрый анализ сложности и бюджета заказа 2

3 Существующие помощники фрилансера 3 Фриланс-биржиАгрегаторыLancery Все проекты на одной ленте -++ Система фильтрации ++/-+/-+ Ключевые слова проекта --+ Мобильная версия --+ Оперативный ответ +-+ Прогноз бюджета --+/-+/-

4 Структура комплекса Lancery 4 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ

5 Структура комплекса Lancery 5 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ

6 Особенности агрегации проектов Технологии и приемы: Really Simple Syndication (RSS) Полиморфизм модулей для индивидуальных правил обработки источника Особенности: Независимость модулей бирж друг от друга Простота модификации и добавления новых источников Результат работы: Оперативное добавление новых проектов с бирж в Lancery 6

7 Структура комплекса Lancery 7 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ

8 Нормализация проектов 8 Этапы нормализации: Разбиение текста на зоны важности Разбиение на термы, леммизация Фильтрация по части речи (сущ., глаг., прил.) Подсчет частоты термов в документе Отброс стоп-слов Итоги нормализации: Ключевые слова проекта Поиск по навыкам, технологиям Векторная модель документа (ВМД) подойдет для более глубокого анализа

9 Структура комплекса Lancery 9 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ

10 Особенности кластеризации 10 Особенности ВМД: Объекты имеют различное количество атрибутов Всех возможных атрибутов много Метрика Жаккара: Адекватное сравнение неоднородных множеств Быстрота вычисления Итоговая метрика:

11 Особенности кластеризации 11 A B C D Алгоритм ROCK: Количества общих соседей (ссылок) как мера близости двух объектов Свойства: Поиск похожих фактов, изложенных разными словами Иммунитет к выбросам Быстрое вычисление итераций кластеризации Вычислительная сложность этапа подготовки данных О(n³)

12 Особенности кластеризации Проблема: Большая вычислительная сложность вызывает проблемы с масштабированием (в Lancery уже более проектов) Решение: периодическая кластеризация небольшими порциями Преимущества: Каждый объект участвует в нескольких распределениях Результаты готовы через 2-5 минут Низкие требования к ресурсам сервера 12 Проекты за 24 часа 3ч 2ч 1ч сейчас

13 Результаты кластеризации Прогноз бюджета проекта на основе наблюдений за схожими проектами того же периода Возможность прогнозировать любые другие частично неопределенные свойства объектов (сложность, риски) Составление рекомендаций проектов на основании интересов пользователя 13

14 Структура комплекса Lancery 14 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ

15 Оперативная реакция В подавляющем большинстве случаев исполнитель выбирается из авторов первых 1-3 ответов Система оперативной реакции: Отправить ответ прямо с ленты проектов Lancery на биржу Мобильная версия Автоматическая авторизация на нужной бирже 15 Агрегатор Страница проекта Авторизация на бирже Ответ отправлен Страница ответа

16 Резюме проекта Методика анализа текста отмечена на конференциях «Телематика 2010», «МИЭМ 2010», «МИЭМ 2011» и других Участник конкурса «УМНИК-Сколковец» Победитель программы «У.М.Н.И.К. 2011» 16 Докладчик: Савин Иван Спасибо за внимание Адрес проекта: Мобильная версия: