Спайковые нейронные сети для классификации временных рядов подготовил аспирант РК6 Чернышев Алексей Сергеевич научный руководитель, д.ф.-м.н. Анатолий. - презентация

1 Спайковые нейронные сети для классификации временных рядов подготовил аспирант РК6 Чернышев Алексей Сергеевич научный руководитель, д.ф.-м.н. Анатолий Павлович Карпенко

2 Задача классификации Есть множество объектов, разделенных по тому или иному набору признаков на классы. Задача: определить к какому классу принадлежит тот или иной объект, исходя из особенностей выборки. Каждый объект формирует конечное пространство признаков, исследование которого позволяет построить алгоритм, определяющий класс объекта из новой, незнакомой выборки.

3 1233 Этапы построения классификатора : выделение характерных признаков обучение выбранного классификатора на обучающей выборке проверка классификатора на тестирующей выборке Основные методы выделения характерных признаков временных рядов: методы сглаживания (MA, EMA) порождающие модели (AR, ARMA, ARIMA, HMM) выделение частотных характеристик (FFT, Wavelets) Классификаторы : метрические алгоритмы (kNN) нейронные сети (MLP) деревья решений (С4.5) SVM Выделение характерных признаков, является важным этапом в классификации временных рядов, ввиду присутствия временной составляющей, с которой сложнее работать. Классификация временных рядов

4 Нейронные сети Нейронные сети - универсальный инструмент для классификации статических данных. Будучи биологически инспирированными, такие сети, аналогично мозгу, справляются с задачами классификации. Тем не менее, их довольно сложно применять в динамическом контексте, хотя, казалось бы, это естественная задача, которую решает мозг любого живого существа каждый день. Углубление уровня биологической подобности может принести хорошие плоды и это имеет смысл проверить.

5 Биологический нейрон В первую очередь, настоящий нейрон – нелинейная динамическая система, динамика которой носит вероятностный характер. Получая электрические импульсы от других нейронов через синапсы, нейрон накапливает потенциал в теле клетки. Накопление необходимого количества потенциала заставляет нейрон, с определённой вероятностью, выработать импульс, который передастся через аксон на синапсы других нейронов.

6 1236 Некоторые особенности биологических нейронных сетей: Нейроны обмениваются между собой импульсами или, как их принято называть, спайками. Частоты спайков в биологических нейронных сетях варьируются от значения близкого к нулю до 200 Герц. Слабая связность нейронной сети. В человеческом мозге присутствует порядка нейронов. Не смотря на это, среднее количество соединений одного нейрона с другими составляет около Вероятностная природа генерации спайков. Многими экспериментами подтверждается, что характер плотности распределения вероятности генерации спайков на нейроне близок к пуассоновскому. После выработки спайка нейрон переходит в рефрактерный период (порядка 2-30 мс), в течение которого вероятность спайка резко снижается. Адаптация нейрона к входным частотам спайков. Изменение весов синаптических связей в процессе обучения.

7 Модель спайкового нейрона Схема модели:

8 В основе модели спайкового нейрона лежит взвешенная сумма потенциалов с синапсов: - Потенциал на мембране нейрона (мВ) - Вес синапса j (мВ) - Время спайка на синапсе j (мс) - Функция постсинаптического потенциала (мВ)

9 Динамика синапса описывается : Здесь. Уравнение динамики: - константа характеризующая затухание потенциала (20 мс в работе)

10 12310 Плотность вероятности генерации спайка нелинейно зависит от потенциала (u) на мембране нейрона и имеет свойства пуассоновской плотности. Зависимость имеет выраженное увеличение вероятности генерации спайка в районе 15 мв – это характерный порог, преодолевая который, нейрон начинает генерировать большое количество спайков: Уравнение имеет вид: =1 Гц, =9.5 Гц, =0.5, =15 мВ где

11 Спайковые нейронные сети Относительно новый класс нейронных сетей. Данные внутри сети представляются в виде спайков – импульсов, некоторое число которых каждый нейрон генерирует в течение симуляции Каждый нейрон - это динамическая система, преобразующая входные спайки в выходные. Нейроны соединяются в слабосвязную рекуррентную сеть Входные данные необходимо представить в виде набора спайков. Обучение без учителя Помимо применения результатов такого рода исследований в реальных задачах, изучение спайковых сетей также вносит вклад в решение общей проблемы, стоящей перед научным сообществом проблема особенности функционирования мозга.

12 Обучение без учителя Вероятностная модель спайкового нейрона, позволяет вывести функцию правдоподобия: Toyoizumi 2005, 2007 Максимизация такой функции относительно вектора весов ( ) увеличивает совместную информацию между входом и выходом нейрона и минимизирует гомеостатический и регуляризационный параметры. и контролируют значимость последний двух членов (1 и в работе). - Совместная информация по Шеннону между входными и выходными спайками нейрона - Гомеостатический параметр, который выражает расстояние Кульбака-Лейблера между средней частотой нейрона и целевой частотой (5 герц в работе) - Регуляризационный параметр, зависящий от веса нейрона.

13 Построение классификатора Мотивация использования спайковых нейронных сетей заключается в потенциальной возможности использовать свойства их богатой динамики, которая формируется по ходу обучения сети. Предполагается, что выход обученной сети будет представлять наиболее полезные с дискриминативной точки зрения признаки, на основе которой, можно построить классификатор. Таким образом, чтобы построить классификатор необходимо решить вопросы: как представить входной временной ряд в виде спайков как обработать выходные спайки сети, чтобы получить полезные признаки

14 1) Преобразование входного временного ряда в спайковые последовательности:

15 ) Обучение без учителя. Формирование чувствительных полей. Для сети с 100 входными нейронами и 100 нейронами сети: Каждый нейрон сети сформировал своё чувствительное поле по отношению к небольшому ряду входных нейронов (слева) и усилил или ослабил соединения с другими нейронами сети (справа).

16 ) Получение ответной спайковой последовательности: 4) Постобработка ответов 5) Классификация обычными методами (kNN, MLP) Гистограмма, которая выражается количеством спайков на промежуток времени.

17 12317 Результаты : Данные: synthetic control.

18 Характеристика входных данных: 6 классов размер обучающей выборки: 300 размер тестирующей: 300 количество измерений во временном ряду: 60 длительность преобразованного временного ряда в виде спайкового паттерна: 1000 мс Был разработан программный пакет на языке С, производящий симуляцию спайковой нейронной сети. Скорость работы для текущей конфигурации: 60 секунд системного времени против 300 секунд симуляционного. Конфигурация сети: 100 входных нейронов 100 нейронов сети 50% вероятность соединения нейрона сети и входного нейрона 15% вероятность соединения нейронов сети между собой

19 Количество ошибочных классификаций к общему числу тестирующей выборки для классификатора 1-NN:

20 БЛАГОДАРЮ ЗА ВНИМАНИЕ