Научный руководитель Хейдоров Игорь Эдуардович доцент кафедры радиофизики и цифровых медиа технологий, кандидат физико-математических наук БЕЛОРУССКИЙ. - презентация

1 Научный руководитель Хейдоров Игорь Эдуардович доцент кафедры радиофизики и цифровых медиа технологий, кандидат физико-математических наук БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Факультет радиофизики и компьютерных технологий Ковалец Павел Евгеньевич Ковалец П.Е.

2 Оптимизация параметров МОВ Цель Разработка и реализация алгоритма оптимизации параметров машины на опорных векторах (МОВ) для обработки звуковых сигналов Ковалец П.Е. Актуальность 1.Без корректного выбора параметров, МОВ может оказаться не работоспособным; 2.Для оптимизации параметров МОВ в большинстве реализаций предлагается не самый эффективный поиск по сетке (простой перебор значений); 3.В литературе не достаточно подробно рассмотрен вопрос построения конструктивных алгоритмов оптимизации применительно к данной задаче.

3 Оптимизация параметров МОВ Задачи 1.проанализировать МОВ, выбрать набор параметров для оптимизации; 2.провести обзор современных методов оптимизации; 3.разработать алгоритм оптимизации параметров МОВ; 4.осуществить программную реализацию разработанного алгоритма; 5.провести эксперимент по оптимизации параметров МОВ для классификации базы звуковых сигналов; 6.проанализировать результаты оптимизации выбранных параметров МОВ для различных методов оптимизации. Ковалец П.Е.

4 Оптимизация параметров МОВ Постановка задачи оптимизации Ковалец П.Е. Составное ядро: где - набор оптимизируемых параметров, - целевая функция, X - допустимое множество значений параметров, - ограничения, наклад. на параметры - количество верно классифицированных векторов 1-го класса, - количество верно классифицированных векторов 2-го класса, L i – объем i-й подвыборки.

5 Оптимизация параметров МОВ Обзор современных методов оптимизации Исходя из поставленной задачи: 1.По виду целевой функции: задача нелинейного программирования. 2.По требованиям к гладкости и наличию у целевой функции частных производных: прямые методы. 3.По методу поиска: Детерминированные; Случайные. Ковалец П.Е. 1.Поиск по сетке; 2.Генетический алгоритм; 3.Метод Нелдера-Мида. Выбраны:

6 Оптимизация параметров МОВ Поиск по сетке Ковалец П.Е. Пусть задана целевая функция Пусть также задано число разбиений по каждой координате N i. Тогда область D покрывают равномерной сеткой, координаты узлов которой задаются следующим выражением Вычислив значения целевой функции в узлах сетки, найдем путем сравнения вычисленных значений точку, в которой это значение будет минимально/максимально.

7 Оптимизация параметров МОВ Генетический алгоритм Ковалец П.Е.

8 Оптимизация параметров МОВ Модифицированный метод Нелдера-Мида Ковалец П.Е.

9 Оптимизация параметров МОВ Реализация выбранных методов 1.Выбранные методы были реализованы на языке программирования C++ ООП кроссплатформенность (протестирована на Win и Linux); многопоточность; наличие документации, генерируемой автоматически из комментариев, написанных в формате doxygen. 2.Был проведен вычислительный эксперимент на ЭВМ со следующими характеристиками процессор Intel(R) Core(TM)2 Quad CPU Q ГГц ОЗУ 8 Гб ОС Windows 7 x64 Service Pack 1 Ковалец П.Е.

10 Оптимизация параметров МОВ Результаты - линейно разделимая выборка Ковалец П.Е.

11 Оптимизация параметров МОВ Результаты - линейно разделимая выборка Ковалец П.Е. Метод Кол-во вычислений целевой ф-и Время вычислений, с Погрешность Лучшее значение целевой ф-и Лучшие значения (x1,x2,x3,x4) Поиск по сетке (40,20,20, 20) Генетический алгоритм ( , , , ) Модифицированный метод Нелдера-Мида ( , , , )

12 Оптимизация параметров МОВ Результаты - выборка, разделимая окружностью Ковалец П.Е.

13 Оптимизация параметров МОВ Результаты - выборка, разделимая окружностью Ковалец П.Е. Метод Кол-во вычислений целевой ф-и Время вычислений, с Погрешность Лучшее значение целевой ф-и Лучшие значения (x1,x2,x3,x4) Поиск по сетке (100,20,20, 20) Генетический алгоритм ( , , , ) Модифицированный метод Нелдера-Мида ( , , , )

14 Оптимизация параметров МОВ Результаты - выборка, полученная в результате обработки речевых сигналов Ковалец П.Е.

15 Оптимизация параметров МОВ Результаты - выборка, полученная в результате обработки речевых сигналов Ковалец П.Е. Метод Кол-во вычислений целевой ф-и Время вычислений, с Погрешность Лучшее значение целевой ф-и Лучшие значения (x1,x2,x3,x4) Поиск по сетке (60,10,10, 90) Генетический алгоритм ( , , , ) Модифицированный метод Нелдера-Мида ( , , , )

16 Оптимизация параметров МОВ Улучшение полученных результатов Ковалец П.Е. Разработанный алгоритм оптимизации параметров машины на опорных векторах для обработки звуковых сигналов можно представить в виде следующей обобщенной блок-схемы: Генетический алгоритм Поиск по сетке Изначальное среднее значение целевой функции Среднее значение после процедуры уточнения с помощью метода Нелдера-Мида

17 Оптимизация параметров МОВ Выводы 1.Для выборки разделимой окружностью, результат оптимизации методом Нелдера-Мида оказался сравнимым с результатом генетического алгоритма; 2.Для выборки, полученной в результате обработки речевых сигналов, лучшее значение получено при помощи генетического алгоритма; 3.Использование методов, отличных от поиска по сетке, является предпочтительным в задачах оптимизации параметров машины на опорных векторах как по критерию вычислительных затрат, так и по полученным значениям целевой функции. Ковалец П.Е.

18 Оптимизация параметров МОВ Благодарю за внимание! Ковалец П.Е. 1.Цель и задачиЦель и задачи 2.Объект и предмет исследованияОбъект и предмет исследования 3.РезультатыРезультаты 4.ВыводыВыводы