Спайковые нейронные сети для классификации временных рядов подготовил аспирант РК6 Чернышев Алексей Сергеевич научный руководитель, д.ф.-м.н. Анатолий Павлович Карпенко

Задача классификации Есть множество объектов, разделенных по тому или иному набору признаков на классы. Задача: определить к какому классу принадлежит тот или иной объект, исходя из особенностей выборки. Каждый объект формирует конечное пространство признаков, исследование которого позволяет построить алгоритм, определяющий класс объекта из новой, незнакомой выборки.

1233 Этапы построения классификатора : выделение характерных признаков обучение выбранного классификатора на обучающей выборке проверка классификатора на тестирующей выборке Основные методы выделения характерных признаков временных рядов: методы сглаживания (MA, EMA) порождающие модели (AR, ARMA, ARIMA, HMM) выделение частотных характеристик (FFT, Wavelets) Классификаторы : метрические алгоритмы (kNN) нейронные сети (MLP) деревья решений (С4.5) SVM Выделение характерных признаков, является важным этапом в классификации временных рядов, ввиду присутствия временной составляющей, с которой сложнее работать. Классификация временных рядов

Нейронные сети Нейронные сети - универсальный инструмент для классификации статических данных. Будучи биологически инспирированными, такие сети, аналогично мозгу, справляются с задачами классификации. Тем не менее, их довольно сложно применять в динамическом контексте, хотя, казалось бы, это естественная задача, которую решает мозг любого живого существа каждый день. Углубление уровня биологической подобности может принести хорошие плоды и это имеет смысл проверить.

Биологический нейрон В первую очередь, настоящий нейрон – нелинейная динамическая система, динамика которой носит вероятностный характер. Получая электрические импульсы от других нейронов через синапсы, нейрон накапливает потенциал в теле клетки. Накопление необходимого количества потенциала заставляет нейрон, с определённой вероятностью, выработать импульс, который передастся через аксон на синапсы других нейронов.

1236 Некоторые особенности биологических нейронных сетей: Нейроны обмениваются между собой импульсами или, как их принято называть, спайками. Частоты спайков в биологических нейронных сетях варьируются от значения близкого к нулю до 200 Герц. Слабая связность нейронной сети. В человеческом мозге присутствует порядка нейронов. Не смотря на это, среднее количество соединений одного нейрона с другими составляет около Вероятностная природа генерации спайков. Многими экспериментами подтверждается, что характер плотности распределения вероятности генерации спайков на нейроне близок к пуассоновскому. После выработки спайка нейрон переходит в рефрактерный период (порядка 2-30 мс), в течение которого вероятность спайка резко снижается. Адаптация нейрона к входным частотам спайков. Изменение весов синаптических связей в процессе обучения.

Модель спайкового нейрона Схема модели:

В основе модели спайкового нейрона лежит взвешенная сумма потенциалов с синапсов: - Потенциал на мембране нейрона (мВ) - Вес синапса j (мВ) - Время спайка на синапсе j (мс) - Функция постсинаптического потенциала (мВ)

Динамика синапса описывается : Здесь. Уравнение динамики: - константа характеризующая затухание потенциала (20 мс в работе)

12310 Плотность вероятности генерации спайка нелинейно зависит от потенциала (u) на мембране нейрона и имеет свойства пуассоновской плотности. Зависимость имеет выраженное увеличение вероятности генерации спайка в районе 15 мв – это характерный порог, преодолевая который, нейрон начинает генерировать большое количество спайков: Уравнение имеет вид: =1 Гц, =9.5 Гц, =0.5, =15 мВ где

Спайковые нейронные сети Относительно новый класс нейронных сетей. Данные внутри сети представляются в виде спайков – импульсов, некоторое число которых каждый нейрон генерирует в течение симуляции Каждый нейрон - это динамическая система, преобразующая входные спайки в выходные. Нейроны соединяются в слабосвязную рекуррентную сеть Входные данные необходимо представить в виде набора спайков. Обучение без учителя Помимо применения результатов такого рода исследований в реальных задачах, изучение спайковых сетей также вносит вклад в решение общей проблемы, стоящей перед научным сообществом проблема особенности функционирования мозга.

Обучение без учителя Вероятностная модель спайкового нейрона, позволяет вывести функцию правдоподобия: Toyoizumi 2005, 2007 Максимизация такой функции относительно вектора весов ( ) увеличивает совместную информацию между входом и выходом нейрона и минимизирует гомеостатический и регуляризационный параметры. и контролируют значимость последний двух членов (1 и в работе). - Совместная информация по Шеннону между входными и выходными спайками нейрона - Гомеостатический параметр, который выражает расстояние Кульбака-Лейблера между средней частотой нейрона и целевой частотой (5 герц в работе) - Регуляризационный параметр, зависящий от веса нейрона.

Построение классификатора Мотивация использования спайковых нейронных сетей заключается в потенциальной возможности использовать свойства их богатой динамики, которая формируется по ходу обучения сети. Предполагается, что выход обученной сети будет представлять наиболее полезные с дискриминативной точки зрения признаки, на основе которой, можно построить классификатор. Таким образом, чтобы построить классификатор необходимо решить вопросы: как представить входной временной ряд в виде спайков как обработать выходные спайки сети, чтобы получить полезные признаки

1) Преобразование входного временного ряда в спайковые последовательности:

) Обучение без учителя. Формирование чувствительных полей. Для сети с 100 входными нейронами и 100 нейронами сети: Каждый нейрон сети сформировал своё чувствительное поле по отношению к небольшому ряду входных нейронов (слева) и усилил или ослабил соединения с другими нейронами сети (справа).

) Получение ответной спайковой последовательности: 4) Постобработка ответов 5) Классификация обычными методами (kNN, MLP) Гистограмма, которая выражается количеством спайков на промежуток времени.

12317 Результаты : Данные: synthetic control.

Характеристика входных данных: 6 классов размер обучающей выборки: 300 размер тестирующей: 300 количество измерений во временном ряду: 60 длительность преобразованного временного ряда в виде спайкового паттерна: 1000 мс Был разработан программный пакет на языке С, производящий симуляцию спайковой нейронной сети. Скорость работы для текущей конфигурации: 60 секунд системного времени против 300 секунд симуляционного. Конфигурация сети: 100 входных нейронов 100 нейронов сети 50% вероятность соединения нейрона сети и входного нейрона 15% вероятность соединения нейронов сети между собой

Количество ошибочных классификаций к общему числу тестирующей выборки для классификатора 1-NN:

БЛАГОДАРЮ ЗА ВНИМАНИЕ