News360 + Azure Архитектура системы в Windows Azure – что удалось эффективно использовать для решения нашей задачи, и какие преимущества показались недостатками. - презентация

1

2 News360 + Azure Архитектура системы в Windows Azure – что удалось эффективно использовать для решения нашей задачи, и какие преимущества показались недостатками

3

4 Персонализация новостей Фильтрация по атрибутам Предпочтения пользователей

5 News360: Content Discovery Platform 3 млн пользователей 100 тыс. в день статей в сутки из СМИ + миллионы социальных событий Извлечение знаний Например, о ком и о чем пишут в статье, где происходит действие Персонализация новостного потока Показывать пользователю только то, что ему интересно

6

7 News360 Semantic Analysis Platform

8 3 млн пользователей Гео-распределенный фасад REST- сервисов в 3-х датацентрах TrafficManager CDN

9 Время

10

11

12 1 секунда – все еще плохо Все в память – кэширование на сервере Близко к пользователям – CDN Сжатие трафика и кэширование на клиенте Оптимизация протокола Оптимизация интерфейса

13 новостей в сутки Система роботов сбора новостей Хранилище новостей Очереди поставки статей и соц. сигналов 30 тыс. СМИ 2 млн. соц. сигналов / сутки 200 тыс. новостей / сутки 50 GB / час

14 Извлечение знаний Категоризация, поиск упоминаний

15

16 Извлечение знаний Категоризация, поиск упоминаний Кластеризация Онтология – это большой объем данных

17 Что мы собираемся делать дальше Развитие системы персонализации Оптимизация производительности Выход на новые рынки

18 Уменьшение времени отклика Использование MapReduce Оптимизация хранения данных - близко к CPU Балансировка нагрузки по пользователям

19 Оптимизация времени рекомендаций Оптимизация алгоритмов рекомендаций Кластеризация пользователей Предварительная подготовка данных

20 Оптимизация времени рекомендаций Оптимизация алгоритмов рекомендаций Кластеризация пользователей Предварительная подготовка данных

21 Развитие системы рекомендаций Коллаборативная фильтрация – использование знаний полученных от группы пользователей для рекомендаций одному пользователю Адаптивная персонализация – использование знаний о поведении конкретного пользователя для оптимизации алгоритма рекомендаций для этого пользователя

22 Заключение Основана в июле 2010 г. 31 человек в 2 офисах скачиваний активных пользователей

23 Вопросы. Так же после конференции в течение дня я отвечу на

24 Заповни Анкету Виграй Приз