INFORMIKA. RU Скуратов Алексей Константинович Заместитель директора Государственный НИИ информационных технологий и телекоммуникаций (ГНИИ ИТТ «Информика») - презентация

1 INFORMIKA. RU Скуратов Алексей Константинович Заместитель директора Государственный НИИ информационных технологий и телекоммуникаций (ГНИИ ИТТ «Информика») International Symposium Quality, Innovation, Education and CALS technology 8-15 мая 2005 г.г. Шибеник, Хорватия Управление качеством телекоммуникационных сетей на основе анализа и мониторинга их функционирования с использованием статистических методов

2 INFORMIKA. RU Существенной реальностью настоящего времени, определяющей развитие страны, является активное использование инфокоммуникационных технологий во всех сферах человеческой жизнедеятельности. Высокими темпами создаются и развиваются международные, национальные, региональные, ведомственные и корпоративные телекоммуника- ционные сети, ориентированные как на решение важных народно-хозяйственных задач, так на развитие отдельной личности, определенных социальных групп и всего общества в целом.

3 INFORMIKA. RU Узлы сети RUNNet Москва – ГНИИ ИТТ «Информика» - наземная компонента, общее администрирование. Адыгейский ГУ, Алтайский ГУ Белгородский ГТУ Брянский ГУ Волгоградский ГТУ Восточно-Сибирский ГТУ Дагестанский ГУ Дальневосточный ГУ Иркутский ГУ Калининградский ГУ Кемеровский ГУ Красноярский ГУ Санкт-Петербург – «Вузтелекомцентр» – спутниковая компонента Кубанский ГУ Нижегородский ГУ Новгородский ГУ Новосибирский ГТУ Омский ГУ Оренбургский ГУ Пермский ГТУ Петрозаводский ГУ Ростовский ГУ Саратовский ГСЭУ Самарский ГУ Северо-Кавказский ГТУ Таганрогский ГРТУ Тамбовский ГУ Тверской ГУ Томский ГУ Тульский ГУ Удмуртский ГУ Ульяновский ГУ Уральский ГУ Хабаровский ГТУ Южно-Уральский ГУ Якутский ГУ Ярославский ГУ и др.

4 INFORMIKA. RU Пользователи сети Федеральные сети НОС: Региональные НОС: Университетские сети Общее количество пользователей – более 200 – более 800 тыс. – всего 54 RBNet, RUHEP,FreeNet RAS, RelarnIP, Rokson, MSUNet UMOS, Rusnet,

5 INFORMIKA. RU

6 Международная связность INFORMIKA. RU

7 Международная связность

8 INFORMIKA. RU Москва – Санкт-Петербург - Стокгольм – STM-16 Стокгольм – Амстердам – STM-4 Стокгольм – Вена – STM-1 Международная связность

9 INFORMIKA. RU Самара – Москва - 34 Н.Новгород – Москва - 26 Казань – Н.Новгород - 6 Связность с магистральными узлами в России (Мб/с) Хабаровск – Москва – 2 Тамбов – Москва – 2 Ярославль – Москва - 4 Ростов-на-Дону – Москва – 14 Ростов-на-Дону – Краснодар - 2 Екатеринбург – Москва – 14 Новосибирск – Москва – 20 Новосибирск – Иркутск – 2 Новосибирск – Хабаровск - 2

10 INFORMIKA. RU IP-связность

11 INFORMIKA. RU Сервисы Классические (sec. DNS, Usenet, ftp, http proxi, hosting,…) Администрирование edu.ru, run.net, mon.gov.ru, ed.gov.ru, fasi.gov.ru Связность с Internet2 IPv6 MBone IP телефония, видеоконференцсвязь Организация независимого транспорта с использованием (VPN VLAN, MPLS)

12 INFORMIKA. RU Вышеуказанные факторы осложняют объективный анализ и мониторинг телекоммуникационных ресурсов. Поэтому представляется очевидным, что при эксплуатации телекоммуникационных сетей должен быть использован достаточно широкий спектр современных технологий мониторинга и анализа. Сервисы Учитывая объективно сложившуюся неоднородность, как телекоммуника- ционных сетей, сетевых информационных ресурсов, так и аудитории, которой данная информация адресована, необходимо созда- ние и надежное функционирование доста- точно большого набора инфоком- муникационных сервисов, обеспечи- вающих эффективную работу пользователя с разнородной информацией в гетерогенной телекоммуникационной сети.

13 INFORMIKA. RU В результате обработки статистической информации о функционировании телекоммуникационной сети можно определить нормальный профиль сети (этап анализа). Выявление и предсказание отклонений от нормального профиля сети (этап мониторинга) проводится системным администратором с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации сети. Практика использования и эксплуатации гетерогенных телеком- муникационных сетей, связанная с недостаточной их прозрачностью, сложностью, организационными ограничениями и спецификой определяет спецификой определяет необходимость более широкого и научно обоснованного внедрения статистических методов их анализа и мониторинга на основе открытой потоковой информации, которую можно легко получить использую доступные методы и средства.

14 INFORMIKA. RU Для решения поставленной проблемы предлагается: 1.Разработка научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей. 2.Теоретический анализ на основе обработки статистической информации и экспериментальное исследование функционирования научно- образовательных телекоммуникационных сетей. 3.Разработка научных подходов, практических методов, алгоритмов и программ, обеспечивающих контроль и диагностику функционирования телекоммуникационных систем и компьютерных сетей.

15 INFORMIKA. RU Поставленные цели достигаются решением следующих основных задач: Определение методов и средств сбора первичной информации из информационных потоков телекоммуникационной сети для статистической обработки. Определение основных характеристик функционирования телекоммуникационных сетей для целей анализа и мониторинга. Выбор и модификация методов теории статистики с целью разработки научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей. Разработка методов и алгоритмов реализации научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей. Создание программ реализации разработанных алгоритмов и встраивание их в систему администрирования телекоммуникационных сетей.

16 INFORMIKA. RU Решение вышеуказанных задач позволяет практически осуществлять: 1.Предсказание изменения параметров телекоммуникационного трафика на основе обработки статистической информации о работе элементов сети. Эта информация носит статистический характер и представляет собой временные последовательности. В этом случае речь идет о статистическом анализе сетевого трафика как анализе временных рядов, а анализируемая статистика может быть как текущей (с интервалом от одной до десятков секунд), так и долговременной (с интервалом от одной минуты до нескольких часов или суток).

17 INFORMIKA. RU Решение вышеуказанных задач позволяет практически осуществлять: 2.Интеллектуальное управление телекоммуникационными сетями для перераспределения сетевых ресурсов, в частности, пропускной способности виртуальных каналов. Это достигается за счет разделения пропускной способности между различными информационными приложениями. При этом учитываются ограничения на доступную пропускную способность и уровень показателей качества. Указанные методы представляют собой симбиоз алгоритмов резервирования пропускной способности виртуальных каналов и статистического мультиплексирования ресурсов. 3.Исследование временных задержек вдоль маршрута прохождения пакета, снижение которых повышает качество работы сети. В соответствии с протоколом TCP/IP пропускная способность со стороны источника пакетов определяется текущим окном перегрузки, равным числу разрешенных к передаче пакетов до прихода пакета подтверждения.

18 INFORMIKA. RU Решение вышеуказанных задач позволяет практически осуществлять: 4.Формировать прогноз времени появления перегрузки и ее величины. Задержка и потеря пакетов в пути может происходить из-за очередей в промежуточных узлах - маршрутизаторах, в компьютерах - источниках и приемниках пакетов, а также из-за переполнения буферов в этих узлах. Интервал между моментами отсылки пакета из источника и получения пакета подтверждения называется RTT-задержкой [англ. round-trip time - задержка]. Пакеты считаются потерянными, если RTT превышает заданный порог. По величине спрогнозированной RTT-задержки можно судить об уровне перегрузки и перенастроить величину окна, т.е. определить закон изменения окна перегрузки. INFORMIKA. RU

19 Решение вышеуказанных задач позволяет практически осуществлять: 5.Контроль и прогнозирование переполнения системных буферов телекоммуникационной сети. На пропускную способность участка сети между i-м и j-м узлами влияет очередь в узле j. Эта очередь может возникнуть из-за ограниченного объема памяти данного буфера, низкой интенсивности разгрузки этого буфера, чрезмерно больших объемов информации, поступивших на него. В связи с этим интенсивность потока информации от узла i к узлу j понижается, а в случае переполнения буфера в узле j передача информации прекращается и часть пакетов теряется. Для предотвращения потери пропускной способности узла необходимо регулировать уровень загрузки буфера на основе прогноза его переполнения.

20 INFORMIKA. RU Решение вышеуказанных задач позволяет практически осуществлять: 6.Сравнение наблюдаемого поведения телекоммуникационной сети с определенным ранее нормальным профилем и выявление сетевых аномалий. Нормальным профилем, или шаблоном работы сети, называется совокупность ее характеристик в течение некоторого промежутка времени, которая соответствует работе всей системы без каких-либо существенных отклонений. Однако вопрос о системе характеристик качества сети, на основе которых можно описать нормальный профиль, является весьма неординарным и представляет собой отдельную научную задачу. Постановка и решение каждой задачи связаны с представлением информации, которой располагает исследователь.

21 INFORMIKA. RU Данные в режиме реального времени собирались в файле /usr/local/MRTG/m_stat/file_stat.log с трех интерфейсов для роутера spb- gw.runnet.ru с интерфейсами: ATM 1/0 FastEthernet 0/0 FastEthernet 4/0 Данные записывались в ASCI-кодах в текстовом виде в таблицу по столбцам. Всего исследовалось 25 параметров, длина столбца при этом была не ограничена. В настоящее время имеются сотни тысяч данных в каждом столбце. Экспериментальная информация для использования в статистической системе исследования и анализа телекоммуникационных сетей на основе описанных далее моделей временных рядов собиралась следующим образом. На сервере spb.runnet.ru: /usr/local/MRTG/m_stat/time_mrtg1.pl было установлено программное обеспечение для сбора статистической информации по ряду параметров, которые будут перечислены ниже. Система сбора статистических данных

22 INFORMIKA. RU 1. Время регистрации информации, в секундах с интервалом 5 мин Загрузка канала на входе (IN) в байтах для 1, 2 и 3-го интерфейсов соответственно. В этом поле подсчитывается число прошедших через соответствующий интерфейс байт информации с момента последнего принудительного обнуления счетчика после его переполнения Загрузка канала на выходе (OUT) в байтах, для 1, 2 и 3-го интерфейсов соответственно. В данном поле подсчитывается число посланных с этого интерфейса байт информации с момента последнего принудительного обнуления счетчика после его переполнения Ошибки IN, количество потерянных пакетов, для 1, 2 и 3-го интерфейсов соответственно Ошибки OUT, количество потерянных пакетов, для 1, 2 и 3–го интерфейсов соответственно Количество пакетов IN для 1, 2 и 3-го интерфейсов соответственно. Счетчик количества пакетов, вошедших через этот интерфейс Количество пакетов OUT для 1, 2 и 3 интерфейсов соответственно. 20. Загрузка процессора за 5 мин (в процентах от 100) Счетчик бродкастовых (системных) пакетов, вошедших через интерфейс 1, 2 и Свободная память процессора роутера в байтах. 25. Свободная память системы ввода вывода буфера роутера, в байтах. Ниже приводится расшифровка значений столбцов в таблице данных.

23 INFORMIKA. RU С целью выбора наиболее адекватной модели для анализа и мониторинга телекоммуникационных сетей были рассмотрены наиболее распространенные модели системы: Выбор математической модели Марковская модель системы Моделирование сетевого трафика фрактальным броуновским движением Моделирование временных рядов.

24 INFORMIKA. RU Моделирование различных составляющих, характеризующих работу сети, таких, как объем трафика, количество потерянных пакетов и другое в виде временных рядов имеет ряд очевидных преимуществ по сравнению с вышеописанными способами. При построении модели временных рядов используется экспериментальная информация (полученная в реально функционирующей сети), требуется меньше допущений и, следовательно, более адекватно отражается реальный объект, т.е. телекоммуникационная сеть. При статистическом анализе временных потоков информации необходимо осуществить выделение тренда; выделение периодических составляющих - колебаний относительно тренда с некоторой регулярностью; анализ случайной компоненты.

25 INFORMIKA. RU Y(t) = f(t)+g(T)+ε(t), Y(t) = f(t)+g(T)+ε(t), где f(t) - тренд, медленно меняющаяся во времени функция, описывающая изменения среднесуточных (средненедельных) загрузок за интервалы времени большие, чем суточная периодичность; g(T) - периодическая составляющая, которая может быть описана конечным рядом Фурье, построенным по экспериментальным данным величин загрузок телекоммуникационного канала; ε(t) - случайная последовательность, относительно которой делается предположение о равенстве нулю ее математического ожидания М[ε(t)]=0. Математическая модель Для такого показателя работы сети, как загрузка каналов предложена следующая модель, включающая три составляющие:

26 INFORMIKA. RU Методы исследования данной модели предлагаются следующие. Моделирование тренда может проводиться с помощью хорошо разработанных методов регрессионного анализа. Для построения ряда Фурье следует применять методы анализа периодограмм и спектрального анализа случайных процессов. Свойства и характеристики случайной последовательности ε(t) изучаются с помощью классических методов математической статистики и методов анализа случайных последовательностей. Вывод: Статистические модели телекоммуника- ционных сетей в виде временных рядов, на наш взгляд, наиболее достоверны, так как основаны на большом числе экспериментальных данных, а, следовательно, являются и наиболее информативными для прогноза состояния сети.

27 INFORMIKA. RU Для облегчения задачи сетевого администрирования с целью статистического анализа и мониторинга телекоммуникационной системы (сети) были разработаны теоретические подходы и реализована программа «Анализатор трафика». В функции этой программы входят: непрерывный мониторинг трафика сети; сравнение текущих параметров с нормальными; выдача системному администратору предупреждений и рекомендаций, в случае возникновения отклонений. Программная реализация

28 INFORMIKA. RU У программы есть два режима работы: режим обучения и режим анализа. После установки программа запускается в режиме обучения. В этом режиме программа собирает информацию о трафике, воспринимая его как нормальный режим работы сети. Длительность обучения, которая может настраиваться пользователем, равна по умолчанию двум неделям. В течение срока программа раз в пять минут фиксирует количество информации, прошедшей через канал и запоминает его в файле в текстовом формате. По истечению времени обучения программа обрабатывает накопленные данные и переключается в режим анализа. Обработка накопленной информации заключается во-первых, в спектральном анализе, во вторых, в вычислении тренда, и в третьих в определении частоты появления выбросов. INFORMIKA. RU

29 Для спектрального анализа используется представление данных в виде ряда Фурье. Полученные гармоники покрывают 95% дисперсии ряда, и они запоминаются в отдельном файле как спектральная характеристика нормального режима функционирования сети. Для вычисления тренда используется метод скользящего среднего. Обработка выбросов заключается в том, что вычисляется среднее количество их появления в течение одной недели. Все эти параметры сохраняются в отдельном файле и программа начинает работать в режиме анализа. В этом режиме программа раз в 5 минут фиксирует загрузку сети и сравнивает это значение с модельным значением, вычисленным с помощью спектра нормального режима.

30 INFORMIKA. RU В случае отклонения полученного значения от эталона на протяжении 6 измерений (т.е. в течение часа) программа фиксирует серьёзное отклонение и начинает определять его причину. Для этого производится спектральный анализ, вычисление тренда и количества выбросов за последние две недели. Соответственно, может возникнуть одна или несколько из следующих ситуаций: изменился тренд; изменилась частота появления выбросов; изменилась спектральная характеристика ряда; изменилось среднее значение ряда.

31 INFORMIKA. RU Самый низкий уровень опасности имеет увеличение количества выбросов. Если это зафиксировано, то администратору будет выдано предупреждение и рекомендация проверить сеть на появление вирусов, т.к. велика вероятность того, что выбросы связаны с деятельностью сетевых «червей». Рекомендации системному администратору Более высокий уровень опасности представляет изменение спектральной характеристики ряда. Очевидно, что в нормальном режиме работы сеть подчиняется суточным и недельным колебаниям загрузки. Если же произошли отклонения, значит один или несколько пользователей перешли на круглосуточный (и/или без выходных) режим работы и администратору будет предложено уделить этим пользователям внимание.

32 INFORMIKA. RU Ещё более высокий уровень опасности представляет изменение тренда. Оно означает, что происходит медленный, но верный рост загрузки сети и в не очень отдалённом будущем возможно переполнение её пропускной способности. Самым опасным вариантом является скачкообразное увеличение среднего значения ряда. Это означает, что сеть работает в режиме, близком к предельному, и может начать не справляться с загрузкой. Администратору выдаётся предупреждение и рекомендация срочно обратить внимание на загрузку сети для определения причины её увеличения и исправления ситуации. Рекомендации системному администратору

33 INFORMIKA. RU Помимо случаев отклонения от эталона, программа проводит регулярные проверки параметров сети (по умолчанию раз в неделю). Это необходимо, так как изменения могут происходить настолько медленно, что не будут фиксироваться описанным выше критерием, но реакция на них всё равно необходима. В случае проведения работ по реконструкции или модернизации сети, её нормальные параметры функционирования изменятся. Поэтому в программе предусмотрена возможность переобучения по новым данным. При её активации программа переходит в режим обучения и фиксации данных для создания нового эталона, отвечающего текущему состоянию сети.

34 INFORMIKA. RU В результате обработки статистической информации о функционировании телекоммуникационной сети можно определить нормальный профиль сети (этап анализа). Выявление и предсказание отклонений от нормального профиля сети (этап мониторинга) проводится системным администратором с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации сети. Программа будет предоставлена для свободного использования на сайте управления сетью RUNNet в ближайшее время. В докладе представлены отдельные результаты научно- исследовательской работы в этой области, выполняемой в рамках гранта РФФИ Заключение i

35 INFORMIKA. RU Скуратов Алексей Константинович Заместитель директора Государственный НИИ информационных технологий и телекоммуникаций (ГНИИ ИТТ «Информика») International Symposium Quality, Innovation, Education and CALS technology 8-15 мая 2005 г.г. Шибеник, Хорватия Благодарю за внимание!