1 ИСКУССТВЕННЫЙ МОЗГ: СОВРЕМЕННОЕ СОСТОЯНИЕ И ПЕРСПЕКТИВЫ Колесницкий Олег Константинович, к.т.н., доц., Винницкий национальный технический университет, Украина, г. Винница

Цель создания искусственного мозга (природных нейрокомпьютеров): Замена людей на работах, требующих напряженной интеллектуальной деятельности (напр., разработка новой техники и проектирования различных объектов, аналитическая деятельность, принятие решений (например, в экономике), управлении сверхсложными системами (атомные электростанции, авиатранспорт и т.д.), получение и синтез новых знаний… Разгадка тайны природы человеческого сознания является сложной задачей, лежащей пока вне нашей досягаемости. Возможно, ее удастся решить путем обратного конструирования человеческого мозга. Восстанавливая и увеличивая мозг с помощью технических средств, возможно, нам удастся раскрыть его тайны и продвинуть человечество на более высокий уровень 2 Настоящее время характеризуется революционным увеличением объемов информации, которую нужно обрабатывать в различных областях человеческой деятельности для поддержания конкурентоспособности и выполнения других управленческих и социальных задач. Для этого нужно не только повышать производительность средств компьютерной техники, но и переводить их на новый качественный уровень, то есть создавать интеллектуальные компьютеры (так называемые нейрокомпьютеры), которые работают по принципам, аналогичным мозгу человека.

Для достижения цели создания эффективной и практически полезной реализации искусственного мозга необходимо беспрецедентное междисциплинарное сотрудничество специалистов различных областей науки и техники 3 теоретические нейронауки; теоретические нейронауки; нейроматематика; нейроматематика; нейрокомпьютинг; нейрокомпьютинг; искусственные нейронные сети; искусственные нейронные сети; нейрофизиология ; нейрофизиология ; когнитивные науки; когнитивные науки; моделирования на суперкомпьютерах; моделирования на суперкомпьютерах; электронные технологии (включая опто-и нанотехнологиями). электронные технологии (включая опто-и нанотехнологиями).

Пути создания искусственного мозга (природных нейрокомпьютеров): 4 крупномасштабное, биологически реалистичное моделирование человеческого мозга на доступных сейчас суперкомпьютерах, крупномасштабное, биологически реалистичное моделирование человеческого мозга на доступных сейчас суперкомпьютерах, построение новых полностью параллельных нейроподобных вычислительных устройств, которые максимально похоже моделируют нервные ткани построение новых полностью параллельных нейроподобных вычислительных устройств, которые максимально похоже моделируют нервные ткани

Что собой представляет мозг? 5 Дендриты – информационные входы нейрона Аксон – информационный выход нейрона Синапс – место соединения аксона и дендрита (задает коэффициент передачи) Мозг человека состоит из нейронов

6 Информационный обмен между нейронами осуществляется с помощью импульсов Нейроны мозга человека Импульс нейронной активности

7 Рассмотрим наиболее крупные мировые проекты по созданию искусственного мозга Home page Страна Швейцария Организация IBM и Швейцарский Федеральный Технический Институт Лозанны (École Polytechnique Fédérale de Lausanne - EPFL). Руководитель Проф. Генри Маркрам (Henry Markram) Источник финанс. Швейцарское правительство, гранты Евросоюза Объем финанс. 1 млрд евро на Начало Blue Brain Prj, Cognitive Computing via Synaptronics and Supercomputing (C2S2). С 2012 г Human Brain Project Окончание 2023 Эл. База В данном проекте используется суперкомпьютер «Blue Gene» с программным обеспечением «NEURON», которое написано Майклом Хайнсом (Michael Hines). 1. Human Brain Project

8 Кол-во нейронов на сегодня В 2006 было смоделирована 1 колонка неокортекса крысы. При этом в компьютере Blue Gene было задействовано 8192 процессора для моделирования нейронов. То есть 1 процессор на 1 нейрон. В 2011 была построена сеть из 100 колонок неокортекса с 1 млн нейронов (как мозг пчелы). Кол-во нейронов в перспективе К 2014 г планируется смоделировать мозг крысы полностью с 100 млн нейронов. Мозг человека полностью планируется смоделировать к 2023 г. (100 млрд нейронов) Кол-во синапсов 3×10 7 синапсов (2006 г.) 3000 синапсов на 1 нейрон Модель нейрона Разные модели (задается программно) Тип сети Неокортикальные колонки Производит-ть 1,25х10 4 имп/сек (при производит. Комп. 22,8 х10 15 оп/с) Потребляемая мощность Потребляемая мощность Недостатки 1) это все же компьютерное моделирование, а не аппаратное; 2) низкое быстродействие моделирования: 1 с работы реального нейрона забирает 80 минут машинного времени на моделирование (для моделирования человеческого мозга в целом потребуется компьютер в тысячу раз более мощный, чем самые мощные суперкомпьютеры, доступные сегодня) 2) низкое быстродействие моделирования: 1 с работы реального нейрона забирает 80 минут машинного времени на моделирование (для моделирования человеческого мозга в целом потребуется компьютер в тысячу раз более мощный, чем самые мощные суперкомпьютеры, доступные сегодня) 3) большая потребляемая мощность: на детальное моделирования 1 нейрона требуется около 17 Вт, поэтому моделирование целого мозга является большой проблемой; 3) большая потребляемая мощность: на детальное моделирования 1 нейрона требуется около 17 Вт, поэтому моделирование целого мозга является большой проблемой; 4) из-за больших потребностей в ресурсах компьютера и большой потребляемой мощности детально моделируются только группы нейронов, которые являются активными. 4) из-за больших потребностей в ресурсах компьютера и большой потребляемой мощности детально моделируются только группы нейронов, которые являются активными. 1. Human Brain Project (продолжение)

9 Расшифровка Spiking Neural Network Architecture Home page Страна Великобритания Организация Манчестерский ун-т, Университет Саутгемптона Руководитель Профессор Стив Фарбер (Steve Furber) Источник финанс. EPSRC (Engineering and Physical Sciences Research Council) Объем финансирования £ 2.5m на и еще £ 2.5m на Начало 2005 Окончание 2014… Эл. База Микропроцессоры (МП) ARM968 (1 чип - 20 МП, 1 МП = 1000 нейронов), нейронов на чип. Кол-во нейронов на сегодня Чип с 20 МП по 1000 нейронов (20000 нейронов на чип). На конец 2011 года - 50 чипов, в каждом чипе по 20 МП (1 МП = 1000 нейронов). Это 1 млн (950 тыс) нейронов SpiNNaker

10 Кол-во нейронов в перспективе В перспективе 500 чипов, и наконец 5000 чипов (10 8 нейронов, почти 1% мозга человека) Кол-во синапсов Коммуникационный контроллер, который будет имитировать нервные импульсы с помощью пакетов данных. Модель нейронна Импульсный нейрон Ижикевича Тип сети Полносвязная Производит-ть Производит-ть время передачи импульса 1 мс, 10 9 имп/сек Потребляемая мощность 1 Вт на 1000 нейронов (1мВт/нейрон) Недостатки 1) в этой системе нет мскусственных нейронов как таковых. Нейрон заменен микропроцес- сором, который виполняет вычисления по формулам; 2) биологический мозг - асинхронная система, а SpiNNaker - синхронная. Внутри узлы работают по традиционным для микропроцессоров синхронным принципам, между собой они обмениваются микропакетами в квантованные промежутки времени; 3) низкое быстродействие: время передачи импульсов 1 мс; 4) относительно большая потребляемая мощность: 1 мВт на нейрон (для моделирования мозга (5×10 10 нейронов) понадобится 50 мегаВт). 2. (продолжение) 2. SpiNNaker (продолжение)

11 Расшифровка Systems of Neuromorphic Adaptive Plastic Scalable Electronics Home page darpa-synapse-program Страна США Организация 1) IBM, 2) ведущие унив-ты: Колумбийский, Корнелький и др.. 3) Hughes Research Labs, HP Руководитель Дхармендра Мода (Dharmendra Modha), IBM. Источник финанс. 1) DARPA (Defense Advanced Research Projects Agency), 2) IBM. Объем финанс : $ 102 млн Начало 2008 Окончан Эл. база Цифровые СБИС (45 нм). Чип имеет 256 импульсных нейронов на основе цифровых сумматора и компаратора на площади 4,2 мм 2. Один нейрон 35x95 μm 2 (для сравнения биологический нейрон 4÷100 μm в диам.) SyNAPSE (DARPA)

12 Кол-во нейронов на сегодня Нейроморфный чип имеет ядро с 256 импульсными нейронами (матрица 16х16), октябрь Чип является модулем, количество которых может наращиваться. Кол-во нейронов в перспективе до млн нейронов. Долгосрочной целью является создание системы с (100 млрд) нейронов и синапсов, которая занимает меньше 2 литров объе- ма и потребляет всего лишь 1 кВт мощн. Кол-во синапсов В чипе на 256 нейронов имеется программируемых синапса и синапсов, которые обучаются (1280 синапсов на 1 нейрон). Все синапсы бинарные Модель нейрона LIF (leaky integrate-and-fire neuron) - накопительно-импульсный нейрон с утечкой Тип сети Hopfield-like, Restricted Boltzmann machine (RBM) Производит-ть Производит-ть дискретный временной шаг 1 мс, 10 9 имп/сек Потребляемая мощность 0,5 мВт/нейрон при 0,53 В пороговом напряж. МДП (в перспективе 26 мкВт/нейрон), 45 pJ/spike 3. (продолжение) 3. SyNAPSE (DARPA) (продолжение)

13 Недостатки 1) искусственные нейроны выполнены на цифровой элементной базе, что упрощает их технологическую реализацию, но не соответствует организации природных нейронов, которые являются аналоговыми системами. Это снижает адекватность системы биологическим прототипам и уменьшает шансы на достоверность моделирования с их помощью механизмов работы мозга; 2) значения синаптических коэффициентов являются бинарными, что не соответствует биологическим прототипам, где синаптические коэффициенты имеют непрерывные значения; 3) использует программируемое виртуальное соединение нейронов. В биологическом мозге при передаче информации между нейронами отсутствует синхронизация (тактирование), т.е. это асинхронная система. Но в SyNAPSE существует синхронизация при передаче импульсов (импульсы передаются в тактируемые промежутки времени с задержкой на 1 такт). Это опять же не говорит о нейроморфности SyNAPSE и уменьшает шансы на достоверность моделирования с помощью SyNAPSE механизмов работы мозга; 4) низкое быстродействие: интервал передачи импульсов 1 мс хотя и отвечает быстродействию реальных нейронов, но от сверхпродуктивной электронной элементной базы следует ожидать большего. 3. (продолжение) 3. SyNAPSE (DARPA) (продолжение)

14 Расшифровка Grid technology for neuroscinces Home page brainsinsilicon/neurogrid.html Страна США Организация 1) IBM, 2) Стэнфордський ун-т (Stanford University) и др. Руководитель Проф. Квабена Боэн (Kwabena Boahen), Стэнфордський ун-т Источник финанс. NSF (National Science Foundation), NIH (National Inst of Health) Объем финансирования $ 4,9 млн Начало 2006 Оконч Эл. База Аналоговые СБИС на основе к-МДП. Нейроморфный чип Neurocore содержит (256х256) искусственных нейронов NeuroGrid

15 Кол-во нейронов на сегодня Нейроморфный чип Neurocore содержит (256х256) искусственных нейронов на площади 11,9 х13, 9 мм2. Прототип NeuroGrid состоит из 16 таких "нейроядер", т.е. содержит 1 млн нейронов Кол-во нейронов в перспективе Следующее поколение NeuroGrid должно иметь уже 64 млн кремниевых нейронов, что примерно соответствует мозгу мыши. Кол-во синапсов 6 млрд синапсов (~ 6000 синапсов на 1 нейрон) Модель нейрона quadratic integrate-and-fire neuron (квадратичный накопительно- импульсный нейрон) Тип сети Популяции рекуррентно соединенных возбуждающих пирамидальных нейронов и тормозящих корзинчатых нейронов. Производит-ть Производит-ть 9,1 х10 7 имп/сек Потребляемая мощность 3,1 Вт на 10 6 нейронов, т.е. 3,1 мкВт/нейрон 4. (продолжение) 4. NeuroGrid (продолжение)

16 Преимуществами системы NeuroGrid есть большое количество нейронов в чипе и низкая удельная потребляемая мощность, но Недостатки 1) использует программируемое виртуальное соединение нейронов, т.е. импульсы передаются от нейрона к нейрону не непосредственно, а способом, предусматривает отправку адреса, указывает в котором чипе нейрон которого строки и столбца сгенерированный импульс и в любой момент времени. Это не говорит о нейроморфнисть NeuroGrid и уменьшает шансы на достоверность моделирования с помощью NeuroGrid механизмов работы мозга; 2) инициализация начальных значений весов синапсов и измене- ние их значений при обучении осу- ществляется с помощью цифрового компьютера и специального про- граммного обеспечения. Т.е. отсут- ствует так называемое on-line on-chip обучение, что также снижает нейроморфность системы NeuroGrid. Кстати, этот недостаток присущ и всем предыдущим системам. 3) Хотя кол-во нейронов в чипе огромно, сеть нейронов не произ- вольносвязная, а 2-D сеть со степенью связности «мексиканская шляпа» (локальное возбуждение и дистальное торможение), что не является универсальным, а поэтому снижает функциональные возможности 4. (продолжение) 4. NeuroGrid (продолжение)

17 Расшифровка Brain-inspired multiscale computation in neuromorphic hybrid systems Home page Страна Евросоюз Организация 18 исследовательских групп (в т.ч. 13 университетов) из 10 европейских стран Руководитель Проф. Карлхайнц Майер (Karlheinz Meier), ун-тет Гейдельберг, Германия Источник финанс. Грант Евросоюза Объем финансирования сначала, плюс в продолжение Начало проект FACETS, с BrainScaleS Оконч Эл. база Аналоговые СБИС (180 нм) на основе к-МДП. Один чип реализует синапсов и до 512 импульсных нейронов. Нейроны аналоговые, а синапсы и сигналы связи между чипами цифровые BrainScaleS

18 Кол-во нейронов на сегодня Каждая подложка кремния диаметром 20 см содержит 384 чипа (5х10 мм2), каждый из которых реализует синапсов и до 512 импульсных нейронов. Это дает в сумме около нейронов и синапсов на подложку. Кол-во нейронов в перспективе нейронов и 400 млн синапсов (подкладки каскадируются) Кол-во синапсов синапсов на подложку (на нейронов), то есть 256 синапсов на 1 нейрон) Модель нейрона exponential integrate and fire neuron (AdExp) – экспоненциальный накопительно-импульсный нейрон Тип сети задается программно Производит-ть Производит-ть имп/сек Потребляемая мощность 1 кВт на подложку (на нейронов), т.е. 5 мВт/нейрон 5. (продолжение) 5. BrainScaleS (продолжение)

19 Недостатки: 1) импульсы передаются от нейрона к нейрону не непосред- ственно, а способом, преду- сматривающим отправку адреса, который указывает в каком чипе нейрон какой строки и столбца сгенерировал импульс и в какой момент времени. Это не говорит о нейроморфности BrainScaleS и уменьшает шансы на достовер- ность моделирования с помощью NeuroGrid механизмов работы мозга; 2) инициализация начальных значений весов синапсов и изменение их значений при обучении осуществляется с помощью цифрового компьютера и специального программного обеспечения. Т.е. отсутствует так называемое on-line on-chip обучения, что также снижает нейроморфность системы BrainScaleS; 3) Почти не бывает при производстве полупроводниковых подложек случая, когда 100% чипов являются качественными и функционально безупречными, что снижает фактическое число нейронов и затрудняет работу с подложкой. 5. (продолжение) 5. BrainScaleS (продолжение)

20 Общие недостатки всех проектов 1) отсутствуют прямые связи между нейронами, поскольку технологически невозможно создание большого количества электрических линий связи в плоскости полупроводникового кристалла. Непосредственные связи заменяются организацией искусственных программируемых или специально кодированных протоколов обмена между группами нейронов, которые позволяют уменьшить количества электрических линий связи в плоскости полупроводникового кристалла, но при этом нарушаются принципы работы биологического мозга; 2) обучение нейронной сети происходит с помощью цифровых компьютеров и программного обеспечения, а не с помощью собственных непрограммных механизмов и средств, не связанных с вычислениями. 1)Первый недостаток можно исправить с помощью таких архитектур нейрокомпьютеров, которые рассчитаны на оптоэлектронную реализацию, при которой сигналы между нейронами будут передаваться оптическими сигналами. В перспективе можно будет использовать и наноэлектронную элементную базу при изобретении способов трехмерного конструирования наноэлементов. 2)Второй недостаток может быть исправлен путем разработки таких архитектур нейрокомпьютеров, которые имеют в своем составе средства для организации обучения собственными средствами без использования вычислительных процедур (по аналогии с биологическими нейросетями). Пути устранения недостатков

21 Техническая реализация оптоэлектронных нейронных элементов на биспин-приборе Схема нейронного элемента и синапса по проекту NeuroGrid (для сравнения) Нейронний елемент (патент Украины 22956А, ) Нейронный элемент с обратной связью Структура биспин-прибора

22 Экспериментальные исследования T1T1 T2T2 T Форма импульсов на выходе нейронного элемента Лабильность Залповая активность Фаза абсолютной рефрактерности (Т1), экзальтационная фаза (T2) (1В/дел, 2мкс/дел)

23 Функциональные свойства биологического нейрона пространственное суммирование; пространственное суммирование; временное суммирование; временное суммирование; частотный выход; частотный выход; подпороговое суммирование подпороговое суммирование зависимость сила- длительность; зависимость сила- длительность; трансформация ритма; трансформация ритма; залповая активность; залповая активность; фоновая активность; фоновая активность; аккомодация; аккомодация; рефрактерность. рефрактерность.

24 Структура импульсной нейронной сети Сенсорные нейроны – преобразователи сигнал-частота Интер-нейроны - имеют фиксированные веса связей Выходные нейроны – имеют возбуждающие и тормозящие входы, веса связей которых настраиваются в процессе обучения имеют возбуждающие и тормозящие входы, веса связей которых настраиваются в процессе обучения

25 Техническая реализация импульсной нейронной сети на оптоэлектронной элементной базе

26 Алгоритм обучения ИНС 1.Всем весам связей синапсов выходных нейронов сети присвоить небольшие случайные значения (например, в диапазоне 0÷0,15 для возбуждающих и (-0,15)÷0 для тормозящих). 2.Номер шага i:=0. 3.i:=i+1. Установить на управляющих электродах всех возбуждающих синапсов i-го выходного нейрона потенциал, который определяет режим, когда каждый пришедший на соответствующий синапс импульс будет увеличивать величину коэффициента передачи этого синапса. 4.Установить на управляющих электродах всех тормозящих синапсов остальных (m-1) нейронов (кроме i-го) потенциал, который определяет режим, когда каждый пришедший на соответствующий синапс импульс будет увеличивать величину отрицательного коэффициента передачи этого синапса (т.е увеличивать тем самым тормозящий эффект). 5.На входные нейроны подать i-ю эталонную совокупность входных сигналов длительностью T. Импульсы, которые будут появляться на входах возбуждающих синапсов i-го выходного нейрона, увеличат веса его связей с теми нейронами микросети, которые генерируют именно при воздействии на сеть i-й эталонной совокупности сигналов. Это приводит к тому, что после обучения при подаче на вход ИНС совокупности сигналов, похожей на i-й эталон, именно i-й выходной нейрон выдаст максимальное количество импульсов на интервале Т. А импульсы, которые будут появляться на входах тормозящих синапсов остальных выходных нейронов (кроме i-го), увеличат их торможение по связям с теми нейронами микросети, которые генерируют именно при воздействии на сеть i-й эталонной совокупности сигналов. 6.Если i m, то перейти к п.3. Иначе - все управляющие сигналы с синапсов выходных нейронов снять. Протестировать работу сети, подавая на вход поочередно эталонные совокупности и контролируя, чтобы максимальное количество импульсаций при i-том эталоне было именно на i-том выходе. Если это требование выполняется, то перейти к п.7. Иначе - изменить случайным образом нумерацию эталонов и повторить процесс обучения с п.2. 7.Процесс обучения закончен.

27 Схемотехническое обучение в импульсных нейронных сетях Схемотехническое обучение в импульсных нейронных сетях

28 Достижимые параметры

29 Колесницкий Олег Константинович, к.т.н., доцент кафедры компьютерных наук Винницкий национальный технический университет, Хмельницкое ш., 95, г. Винница