Мониторинг в Mail.Ru Group Лихобабин Сергей Руководитель отдела внутренней разработки. - презентация

1 Мониторинг в Mail.Ru Group Лихобабин Сергей Руководитель отдела внутренней разработки

2 Зачем нужен мониторинг? Мы хотим быть в курсе: Если что-то сломалось Если что-то скоро сломается Если что-то ломается часто

3 Платформа мониторинга Mail.Ru Group Как устроена? Почему не готовое решение? Почему платформа?

4 Немного статистики Более 20 тысяч хостов Более 50 тысяч событий за день Более 820 тысяч проверяемых параметров

5 Почему не готовое решение? Скорость Гибкость Интеграция c другими сервисами

6 Что проверяем? Оборудование Производительность Безопасность Сетевая связность и параметры сети Логика приложений

7 Что проверяем: Оборудование Температура Параметры ИБП

8 Что проверяем: Безопасность Уязвимые версии пакетов Автоматические сканы уязвимостей Проверки пользователей и ключей на машинах

9 Что проверяем: Производительность Graphite Север-side Client-side Slow Query log анализ Отставания репликации

10 Что проверяем: Бизнес-логика Паттерны в логах Проверяем пользовательские сценарии Генерация инцидентов приложением

11 Что проверяем: Сетевая связность DNS Резолвинг из разных точек IPv4 и IPv6 Закрытость служебных сервисов извне

12 Архитектура мониторинга Отсутствие единой точки отказа Распределенные демоны активного мониторинга Мониторинг as a service

13 Архитектура мониторинга

14 Демоны активного мониторинга Проверки статуса систем (PING, SNMP, TCP, DNS) Проверки приложений (HTTP, DNS, SMTP и др.) Асинхронный опрос Простая инициализация новых инстансов

15 Мониторинг as a service Агрегация инцидентов Прием сообщений из других систем мониторинга, специфичных для проектов Простой REST интерфейс

16 API мониторинга Максимально простая реализация со стороны клиента Оптимизированная отправка ОК статусов Идентификация клиентов мониторингом

17 Интеграция с внутренними системами Централизованная авторизация Интеграция с таск-трекером(Jira) Интеграция с 1С (закупки железа) Интеграция с внутренним порталом(отпуска) Мониторинг базовых параметров при заведении сервера в инвентаре

18 Интеграция в процессы Простейший таск-трекер Иерархии ответственности История событий и действий Автоматические уведомления и дежурные

19 Гибкие уведомления Настраиваемые условные уведомления Уведомление при превышении порога в группе серверов Зависимость от времени суток, дня недели, графика дежурств

20 SLA Время реакции на проблему Количество проблем в зоне ответственности Среднее время решения

21 Мониторинг мониторинга Отслеживание «живучести» демонов Проверки из разных ДЦ Создание событий мониторинге о проблемах в мониторинге

22 Спасибо за внимание