Работа поддержана грантом РФФИ 02-07-90390 Ntmtools: инструментальный набор для эффективного сбора данных сетевого трафика Коноплев В.В., Захаров Д.Ю., - презентация

1 Работа поддержана грантом РФФИ Ntmtools: инструментальный набор для эффективного сбора данных сетевого трафика Коноплев В.В., Захаров Д.Ю., Боярский М.Н., Назиров Р.Р.

2 Возможные подходы к сбору данных сетевого трафика Целевой сбор данных Сбор данных в фоновом режиме Единичная оптимизация маршрутов Анализ повторяющихся сбоев Математические модели сетей Оперативный и о посредованный анализ сбоев и аномалий Долгосрочное сетевое планирование Биллинг и статистика

3 Классический метод сбора данных «по потокам» Пакетный заголовок Source IP Destination IP … Length (Bytes) Значимые атрибуты, формируют ключ (K) записи. K1LiK1K1 K2LkK1LiK2K2Lk Время t1t2t3t4t5 K1t1t5Bytes = SUM(Li)K2t2t2t4t4Bytes = SUM(Lk) Пакет

4 Сбор данных в фоновом режиме: постановка задачи Проблемы Широкий круг задач высокая детализация большие объемы собираемых данных Сбор данных с нескольких, возможно разнородных, источников: Проблема интеграции данных. Проблема идентификации уникальных потов. Требования Масштабируемость. Универсальный формат собранных данных. Высокая информативность данных.

5 Хранилищие Коллектор Внешние измерители Архитектура системы Специальный формат данных Вторичное агрегирование Кластеризация и выделение уникальных потоков потокиданные Модель данных Универсальный формат данных Параметры кластеризации Внутренний измеритель Локальные интерфейсы

6 Кластеризация данных: метод адаптивного агрегирования Основная задача адаптивного агрегирования состоит в том, чтобы зафиксировать активные сетевые взаимодействия с высокой степенью детализации.

7 Адаптивное агрегирование данных Уровни 1. AS 2.IP Блоки (маршруты) 3. IP Адреса Уровни иерархии могут задаваться достаточно произвольно, как набор значимых (возможно частично замаскированных) атрибутов, составляющих запись.

8 Результаты работы адаптивного агрегирования

9 Приложения набора ntmtools Ntmd - Универсальный демон сбора данных (на базе пакета NetTraMet 4.3). 1.Возможность автономной работы. 2.Интегрированный сбора данных в формате NetFlow и пакетных заголовгов локальных интерфейсов. 3.Реализация режима адаптивного агрегирования. 4.Выделение уникальных потоков (планируется). Ntmsniffer – Внешний измеритель, для сбора данных с интерфейсов серверов и рабочих станций.