Нейросетевые технологии в обработке и защите данных Лекция 2. Принципы параллельной обработки данных информационных систем. Нейрокомпьютеры

Решение научно-технических задач в атомной физике, климатологии, космических исследованиях, авиастроении, биомедицинских исследованиях, а также для систем видеонаблюдения, в частности, связано с обработкой больших объемов данных. Технология параллельных вычислений развивается по двум направлениям. Первое – вычислительные системы с массовым параллелизмом на базе традиционных процессоров с последовательной системой команд, RISC и сигнальных процессоров. Второе – вычислительные системы на основе искусственных нейронных сетей (ИНС). 2

Сложные системы Сложные системы, исследование которых представляет наибольший интерес в рамках методологии системного моделирования, характеризуются большим количеством элементов системы и различными типами взаимосвязей между этими элементами.

Причина повышенного внимания к ИНС кроется в: Потенциальных возможностях выполнения интеллектуальных операций и существенного увеличения критерия производительность/стоимость в сравнении с традиционными компьютерами, суперЭВМ и параллельными вычислительными системами. Массовый параллелизм вычислений имеет принципиальное значение для нейрокомпьютеров и является их свойством. Для нейрокомпьютерных технологий обработки изображений также характерна их предварительная обработка. 4

С помощью нейрокомпьютеров решаются не формализуемые или плохо формализуемые задачи. В их алгоритмы решения включается процесс обучения на реальном экспериментальном материале. Теория искусственных нейронных сетей – логическая основа нейрокомпьютеров. Искусственная нейронная сеть – сеть с конечным числом слоев из однотипных элементов. 5

Существует много способов организации параллельных вычислений: векторно-конвеерные компьютеры, матричные системы, компьютеры с широким командным словом, кластеры, компьютеры с многопоточной архитектурой и т. д. Классификация Флинна М. (Flynn M., 1966г.) базируется на понятиях потоков, последовательности команд и данных, обрабатываемых процессором. Она включает четыре класса архитектур. Классификация параллельных компьютеров и систем 6

1.Одиночный поток команд – одиночный поток данных (ОКОД). К этому классу относятся классические последовательные компьютеры фон-Неймановского типа, например, PDP Одиночный поток команд – множественный поток данных (ОКМД). Примерами этого класса ЭВМ являются ILLIAC-4, Cray 1 и др. 3.Множественный поток команд – одиночный поток данных (МКОД). Реально существующих систем этого класса нет. 4.Множественный поток команд – множественный поток данных (МКМД ). 7

Примерами этого класса ЭВМ являются Российская параллельная ЭВМ ПС2000, Cray TSE, суперкомпьютеры: Японский NEC (NEC the Earth Simulater), содержащий 640 вычислительных узлов по 8 векторных процессора, всего 5120 микропроцессоров и предназначенный для моделирования климатических процессов в масштабах планеты; Американский ASCI White, объединяющий 8192 процессора Pentium Pro Министерства Энергетики США; Белорусско-Российский СКИФ К-1000М, установленный в БГУ, в настоящее время содержащий 128 двухядерных процессора. 8

1.Для компьютеров с общей памятью популярным средством программирования является технология OpenMP, для которого используется термин «нить» вместо процесс; 2.Процессоры с индивидуальной памятью используют библиотеку модулей MPI - Message Passing Interface; 3.Система программирования mpC для неоднородных сетей, разработанная в институте системного программирования РАН. Технологии параллельного программирования 9

Наиболее распространенной моделью описания параллельных алгоритмов является модель потоков. Поток – последовательный процесс, имеющий доступ к общей для всех потоков памяти. Большинство используемых в настоящее время параллельных архитектур являются воплощением потоков в аппаратуре. Наряду с этим используются расширения языков программирования, поддерживающие параллелизм по данным, или различные библиотеки передачи сообщений (MPI, OpenMP, PVM). Параллельные алгоритмы 10

В распределенных системах часто применяются механизмы распределенных вычислений, эмулирующих потоки, такие как, например, CORBA и.NET. В этих распределенных объектно- ориентированных технологиях компоненты взаимодействуют друг с другом через прокси-объекты, которые ведут себя так, как будто бы удаленный и локальный объекты размещены в одной памяти. Параллельные алгоритмы 11

Агентная модель – математическая модель конкурентных вычислений, базирующаяся на концепции «все является процессом». В ответ на принимаемые сообщения можно: посылать конечное число сообщений другим агентам; создавать конечное число новых агентов; определять свое поведение для последующих ответов. Эта модель позволяет осуществлять асинхронное взаимодействие и контролировать структуры данных посредством шаблона передачи сообщений. Агентная модель 12

Erlang – свободно распространяемая кроссплатформенная среда и язык программирования, разработанные компанией Erricson, реализующая агентную модель распределенных вычислений. Язык включает в себя средства порождения параллельных процессов и их коммуникации с помощью асинхронных сообщений. Программа транслируется в байт-код исполняемой виртуальной машиной, что обеспечивает переносимость программных средств. Агентная модель 13

Другим примером использования проверенных шаблонов проектирования многопоточных приложений является каркас MapReduse, реализующий шаблоны параллельного программирования. Этот шаблон используется компанией Google для распределенной обработки больших массивов данных. Параметрами шаблона являются не данные или их структуры, а функции. В качестве входных данных представляются две функции Map и Reduse. Функция map обрабатывает пары ключ-значение и генерирует набор промежуточных пар ключ-значение, а функция reduse объединяет промежуточные пары ключ- значение, связанные одним промежуточным ключом. Модель MapReduse 14

CouchDB – документно-ориентированная система управления базами данных, написанная на языке Erlang и не требующая описания схемы данных. CouchDB можно рассматривать как сервер WEB-приложений, так как в СУБД встроен производительный WEB-сервер, а программный код, как и данные, сохраняется в этой же базе данных. CouchDB предназначена для работы с полуструктурированной информацией и имеет следующие особенности: Сервер приложений CouchDB 15

данные сохраняются не в строках и столбцах, а в виде деревьев; типизация элементов данных не поддерживается, вместо этого используются создаваемые пользователями функции- валидаторы; целостность базы данных обеспечивается на уровне отдельных записей, но не уровне связей между ними; операция объединения между таблицами не определена; для построения индексов и выполнения запросов используются функции-представления (тексты в базе данных); поддерживается вертикальная масштабируемость, что обеспечивает поддержку не только объемных кластеров, но и портативных устройств. 16

Нейрокомпьютеры относятся к классу МОКМД – множественный поток одиночных команд – множественный поток данных или вычислительные системы с параллельными потоками одинаковых команд и множественным потоком данных. Обработка данных осуществляется в реальном масштабе времени, если время обработки соизмеримо со временем протекания процесса. 17

Нейрокомпьютеры применяются, в основном, как специализированные модули систем. Известны следующие: «Геркулес», г. Казань; «Synapce» фирмы Сименс; Нейромодуль NM6404 – процессор цифровой обработки сигналов с переменной длиной операндов, разработанный в России; Нейрокомпьютер «Кремниевый мозг», используемый в США для обработки аэрокосмических изображений; Нейронный компьютер SpiNNaker (Spiking Neural Network Architecture), создаваемый в Манчестерском Университете (50 чипов по 20 микропроцессоров ARM968). Нейрокомпьютеры 18

Нейропакеты предназначены для решения широкого класса трудноформализуемых задач, в основном, с целью прогнозирования и параллельной обработки данных. Нейроэмуляторы: BrainMaker Professional фирмы California Scientific Software; Neural Works Professional компании Neural Ware; Neural Network Toolbox системы MatLab. Нейропакеты 19

Пример распараллеливания Для демонстрации алгоритмов параллельных вычислений можно пользоваться, например, программой вычисления числа π. Число π вычисляется как значение следующего интеграла, умноженное на 4: 20