Масштабирование системы баннерной рекламы с централизованной базой данных Сергей Нековаль Компания «Грамант» Сергей Нековаль Компания «Грамант» - презентация

1 Масштабирование системы баннерной рекламы с централизованной базой данных Сергей Нековаль Компания «Грамант» Сергей Нековаль Компания «Грамант»

2 Что масштабируем? Японская система баннерной рекламы более 450 млн. показов в сутки более 50 млн. показов в сутки Система на базе DART Enterprise

3 Что рассказываем? Эволюционное развитие архитектуры системы или Как мы докатились до такой жизни Выгоды и проблемы централизации данных Capacity Planning и риски

4 Бизнес-модель

5 Начало пути СУБД Oracle Веб-сервер

6 Проблемы баннер-сервер ПорталНагрузка на баннер-сервер многократно превышает нагрузку на Портал баннер-серверЧто будет, если баннер-сервер сломается? теряем деньги!

7 Вариант 2

8 Преимущества Балансировка загрузки баннер-серверовОтказоустойчивость баннер-серверов Возможность независимого обновления баннер-серверов Проблемы Мы балансируем загрузку CPU!? BLOBs

9 События Impression (Показ)450 млн. ClickThrough (Клик)1,5 млн. Sale (Продажа)35 тыс. за сутки

10 Исходящие данные Генерируем «свернутое» представление баннеров (BCG_*) Создаем файловую структуру

11 Игнорируем... Задержку данных (20 мин) Случайную рассогласованность данных между серверами

12 Альтернативы Проксирование баннеров Content Delivery Networks (Akamai и т.п.)

13 Входящие данные CT не агрегируются Используем SQL*Loader

14 Цикл загрузки Сколько PV суммировать? Загрузку CT задерживать нельзя! Late Arrivals

15 Вариант 3

16 Проблемы объема Размер БД растет Оперативные данные составляют не более 10%

17 Решения Разделение на несколько БД Partitioning Архивирование

18 Одна база / много баз? Связанность данных Объем данных для репликации Сложность схемы

19 Разделение данных

20 Capacity Planning Оценка загрузки СУБД Оценка загрузки баннер-серверов

21 Последний вариант

22 Сравним с DART Enterprise Построен на базе Oracle Подсчет уникальных событий Нет поддержки Sales (хотя есть возможность модифицировать DART) Четкое разделение функций между серверами

23 Компоненты DART

24 Обработка запроса в DART

25 Вопросы? Сергей Нековаль Компания «Грамант» Сергей Нековаль Компания «Грамант»