Автоматизированная система аппроксимации плотности распределения вероятности радиально-базисной нейронной сетью Докладчик: студент группы 6601 Телегина Дарья Дмитриевна Руководитель работы: к.т.н., доцент кафедры ИСТ Лёзина Ирина Викторовна МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ ИМЕНИ АКАДЕМИКА С.П. КОРОЛЕВА (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)» (СГАУ) Факультет информатики Кафедра информационных систем и технологий Самара 2012

Постановка задачи Цель:Автоматизировать процесс аппроксимации плотности распределения вероятности с помощью радиально-базисной нейронной сети. Задачи:1.Анализ предметной области; 2.Разработка логического проекта системы; 3.Разработка и отладка радиально-базисной нейронной сети для аппроксимации плотности распределения вероятности; 4.Анализ результатов аппроксимации плотности распределения вероятности радиально-базисной сетью. 2 Постановка задачи аппроксимации (1) Аппроксимирующее выражение где - неизвестные параметры - массив точек,

Обзор существующих аналогов 3 Таблица 1 – Сравнение программных пакетов для работы с нейросетями

Структура автоматизированной системы 4 Рисунок 1 – Структура автоматизированной системы

Диаграмма вариантов использования 5 Рисунок 2 – Диаграмма вариантов использования (Use Case)

Диаграмма классов 6 Рисунок 3 – Диаграмма сущностных классов Рисунок 4 – Диаграмма граничных классов

Радиально-базисная нейронная сеть Целевая функция Функция Гаусса x – входное значение сети d – ожидаемое выходное значение – весовые коэффициенты – функции активации 7 Рисунок 5 – Структура RBF-сети Аппроксимирующее выражение для RBF-сети (2) j = 1, 2, …, K (3)(3) (4)(4) y = f(x) – реальное выходное значение

Алгоритм обратного распространения ошибки (BackPropagation) 8 Рисунок 6 – Схема алгоритма обратного распространения ошибки

Алгоритм обратного распространения ошибки 9 (5) Значение выходного нейрона Инициализация радиусов RBF-нейронов (6)(6) (7)(7) Корректировка весовых коэффициентов (8)(8) Обучающие выборка С моментом (9)(9) : (10) (11) (12)(13)

Алгоритм самоорганизации (K-Means) 10 Рисунок 7 – Схема алгоритма самоорганизации (15) (14) Корректировка центров Корректировка радиусов – число ближайших соседей j-нейрона (16)

Гибридный алгоритм 11 Рисунок 8 – Схема гибридного алгоритма обучения

Гибридный алгоритм 12 - вектор ожидаемых значений, - вектор весов сети Радиальная матрица Грина: Gw=d w=G + d SVD (Singular value decomposition) – сингулярное разложение (17) (18) (19)

Интерфейс автоматизированной системы : генерация выборок 13 Рисунок 9 – Окно генерации выборок

Интерфейс автоматизированной системы: обучение нейронной сети 14 Рисунок 10 – Окно обучения сети Рисунок 11 – Гистограмма Рисунок 12 – Исходная и аппроксимированная выборка

Исследование зависимости погрешности аппроксимации от числа скрытых нейронов K = (20) Рисунок 14 – Пример сравнения исходной и аппроксимированной выборки (сверху- для 10 скрытых нейронов, снизу – для 20) Рисунок 13 – Зависимость СКО тестирования от числа скрытых нейронов K Параметры исследования закон распределения Рэлея объем выборки N=5000 число диф. коридоров M=15 коэффициент обучения 0, итераций обучения

Исследование зависимости погрешности аппроксимации от обучающих данных 16 M Рисунок 15 – Зависимость СКО тестирования от числа диф. коридоров M Рисунок 16 – Зависимость СКО тестирования от объема обучающих выборок N N Рисунок 17 – Зависимость СКО тестирования от числа обучающих выборок L L Параметры исследования закон распределения Рэлея объем выборки N=5000 число диф. коридоров M=15 коэффициент обучения 0, итераций обучения 20 скрытых нейронов

Исследование зависимости погрешности аппроксимации от параметров обучения 17 Рисунок 18 – Зависимость СКО тестирования от коэффициента обучения Рисунок 19 – Зависимость СКО тестирования от числа итераций обучения Рисунок 20 – Пример сравнения исходной и аппроксимированной выборки (слева- BackPropagation, справа – Hybrid)

18 Исследование аппроксимативных возможностей RBF-сети Параметры исследования законы распределения: Экспоненциальный Нормальный Закон Вейбулла объем выборки N=5000 число диф. коридоров M=20 число скрытых нейронов K = 5,10,15 Таблица 2 – Сравнение СКО тестирования Число скрытых нейронов Закон распределенияСКО тестирования Данная АСРабота [19] 5 Нормальный0,02940,0107 Экспоненциальный0,02700,0255 Вейбулл0,03370, Нормальный0,02470,0102 Экспоненциальный0,01880,0192 Вейбулл0,03750, Нормальный0,01390,0123 Экспоненциальный0,01820,0267 Вейбулл0,02960,0229

Экономическое обоснование разработки системы Планирование процесса разработки Экономические показатели Затраты на разработку системы р. Цена разработки при минимальном уровне рентабельности 20% р. Единовременные затраты на внедрение р. Затраты на функционирование АС р. Годовая экономия от внедрения р. Цена продажи АС р. Безубыточный объём продаж14 экз. Целесообразный объем продаж17 экз. Чистый дисконтированный доход р. Срок окупаемости9 месяцев Наименование работы Продолжи- тельность работы, дн. 1. Организационная подготовка к созданию АС. Определение ее функций и целей, требований к системе 7 2. Концептуальное проектирование системы 8 3. Анализ функциональной схемы системы, определение структуры потоков данных 9 4. Детализация требований к системе Разработка алгоритмов. Разработка интерфейса пользователя 5 6. Разработка и отладка программного обеспечения интерфейсной части системы 5 7. Разработка и отладка программного обеспечения, реализующего алгоритмы функционирования системы Тестирование и отладка системы 4 9. Разработка документации на систему 9 Итого: 117 График роста ЧДД 19

Заключение Разработана автоматизированная система аппроксимации плотности распределения вероятности радиально-базисной нейронной сетью Реализована генерация выборок случайных величин по заданному закону распределения Проведено исследование качества аппроксимации обученной нейросетью в зависимости от алгоритма и параметров обучения, входных данных, структуры сети Создана информационно-логическая модель автоматизированной системы в нотации UML с помощью инструментальных средств Enterprise Architector Программное обеспечение системы разработано в среде Intellij Idea 10.3 на языке высокого уровня Java под управлением ОС Windows 7 Рассмотрены вопросы обеспечения безопасности и проведена оценка экономической целесообразности разработки системы. 20