Делаем дешевый видео- хостинг в условиях кризиса Сергей Нековаль Денис Елданди «Грамант» - презентация

1 Делаем дешевый видео- хостинг в условиях кризиса Сергей Нековаль Денис Елданди «Грамант»

2 Вступление Сервис позволяет пользователям бесплатно загружать и просматривать видео-контент (японский аналог YouTube); Работает более 9 лет Основной источник дохода – реклама. П оказов в сутки – более 18 млн., 5 ТБ трафика З арегистрированных пользователей – более 150 тыс.

3

4

5 Проблемы?

6 Регулярные проблемы с доступностью (до 2 «крушений» в неделю) Расширяемость. Исходный код – месиво из Perl, PHP, Ruby и даже Scheme. Попытки решить проблему с помощью «Page generation».

7 Экономика должна быть экономной! Сократить издержки Увеличить время доступности (а значит, и рекламный трафик) Привести систему в состояние, позволяющее её развивать и монетизировать сервис

8 Наши цели Экономия на стоимости разработки Экономия трудозатрат на поддержку Экономия железа и трафика

9 Разработка

10 Принцип АК-47

11 Простота в изготовлении и обслуживании Избегаем изобретать велосипеды и используем готовый софт «Правило 5 минут» - грубая, но эффективная стрельба

12 Жизненно важные органы Файловое хранилище База данных Веб-серверы

13 Файловое хранилище

14

15 lighttpd mod_flv_streaming FTP + HTTP Репликация Garbage Collection Видео-файлы бывают дорогие и дешёвые!

16 База данных PostgreSQL 8.3 Skytools memcached

17 Падаем красиво Падение encoding-процесса Падение БД Падение всего, кроме web-сервера

18

19 Кэширование

20 Веб-сервер Контроль памяти (Ruby) Регулировка Fast CGI-пула

21 Поддержка

22 Вкалывают роботы, а не человек! Автоматический мониторинг Самолечение «Упал-отжался»

23 Мониторинг Logs (syslog) Alerts (Tenshi + Zenoss Core) Performance Data (Zenoss Core)

24

25 Железо и Трафик

26 Сервер железный – он выдержит! CPU – больше рабочих процессов (Encoding) Память – больше кэш (memcached) Лишние диски – продать! Трафик – направляем туда, где он дешевле

27 Управление трафиком Серверы media - $$$ Серверы smedia - $$ CDN (FreParNet) - $

28

29 Результаты Радикально снижена нагрузка на БД Encoding Server – усовершенствованная очередь, использует 100% CPU Web Server – выровнены напильником многочисленные проблемы lighttpd

30 Результаты Быстрая разработка и развитие сервиса в стиле AK-47 Существенное удешевление поддержки Существенное удешевление трафика

31 Вопросы? Сергей Нековаль / Денис Елданди /