Организация доставки видеоконтента пользователям Андрей Смирнов (НетСтрим) - презентация

1 Организация доставки видеоконтента пользователям Андрей Смирнов (НетСтрим)

2 Содержание Видео: организация файлового хранилища. Вещания: ретрансляция. Географическая распределенность: подход. Географически распределенные видеофайлы и вещания.

3 Видеофайлы Объем хранения: –на хранение 1 секунды видео требуется ~ 250 Кб (FLV, оригинал, 3GP, …); –средняя длительность видео ~ 4 минут; –для 1 млн. видео необходимо 60 Тб. Одно видео = 5 файлов + 15 картинок.

4 Файловый сервер Файловый сервер (2-4 Тб, RAID) просмотр видео, HTTP-streaming «Морда» / Сервер кодирования WebDAV удаление, создание, копирование файлов и т.п.

5 Кластер файловых серверов Какой сервер выбрать? –diskfree –нагрузка –случайно Файловый сервер 1 Файловый сервер 2 Файловый сервер n …

6 Файловый сервер Отдача контента (статика): –FLV-streaming (lighttpd, nginx); –Оригинал, 3GP, MPEG-4 – любой HTTP-сервер. Управление файлами (WebDAV): –Apache, nginx, … Доступ к файлам: –Любой WebDAV-клиент (PHP, Python, …)

7 Бэкап данных Объем данных не позволяет использовать традиционные схемы. Решение - кросс-бэкап: Бэкап 2 Файлы 1 Бэкап 1 Файлы 2 1 2

8 Кросс-бэкап Основа – rsync. Проблема вычисления свободного места: –периодичность выполнения бэкапа.

9 Вещания Клиент: Adobe Flash Player; Сервер: Adobe FMS, pyFMS, …; Протокол: RTMP; Проблема – «мультиплицирование» потока на количество зрителей вещания.

10 Ретрансляция вещаний pyFMS 1 pyFMS 2pyFMS 3pyFMS 4 Источник вещания Ретрансляторы Клиенты вещания Автор вещания

11 Геораспределенность Контент должен быть «близко» к потребителю: –региональное развитие (РФ); –международные рынки. Проблемы: –сетевые каналы (пропускная способность); –разница в стоимости локального и внешнего трафика.

12 Посетитель IP-адрес Посетитель Географическое положение: - страна; - регион; - город. БД GeoIP

13 Ресурс Сервер Географическое положение 1 Копии ресурса Зеркалирующие сервера Географическое положение 2 Географическое положение 3

14 Вычисление расстояний Москва Киев Харьков Хьюстон Таллин Пермь Находка

15 Вычисление расстояний Поиск кратчайшего пути во взвешенном орграфе. Фиксированное количество концов пути: расположение серверов. Слабосвязанный граф, кеширование вычисленных расстояний.

16 Выбор копии ресурса Из мест расположения ресурса и его копий выбираем ближайший к пользователю; Если таких мест несколько – выбираем случайно (в соответствие с весом).

17 Начисление бонусов Всем местам, где ресурс отсутствует сегодня, начисляем бонус: где k – коэффициент, определяющий скорость копирования ресурсов.

18 Копирование ресурса Как только бонус ресурса относительно места превышает некоторый предел: –выполняется копирование ресурса на любой из серверов, расположенных в данном географическом месте.

19 Гео: видеофайлы Ресурс – видеофайл; Первичная копия ресурса – файл, расположенный на файловом сервере; Копии ресурса – копии файла, расположенные на зеркалирующих файловых серверах; Обращение к ресурсу – просмотр видео, скачивание; Копирование ресурса – копирование файла на зеркалирующий файловый сервер.

20 Гео: вещания Ресурс – вещание; Первичная копия ресурса – вещание на сервере, к которому подключен автор вещания; Копии ресурса – ретрансляция вещания; Обращение к ресурсу – «вход» в вещание; Копирование ресурса – создание нового источника ретрансляции.

21 Заключение Результат: –контент надежно хранится; –хранилище масштабируется; –контент «приближается» к пользователю по мере необходимости. Альтернативы: –CDN; –распределенные файловые системы.

22 Спасибо! Вопросы?