Машина Больцмана - вид стохастичної рекурентної нейронної мережі. Машина Больцмана може розглядатись як стохастичний генеративний варіант мережі Хопфілда. - презентация

1

2 Машина Больцмана - вид стохастичної рекурентної нейронної мережі. Машина Больцмана може розглядатись як стохастичний генеративний варіант мережі Хопфілда. Мережа називається машиною Больцмана на честь австрійського фізика Л. Больцмана, одного з творців статистичної механіки. Ця мережа використовує для навчання алгоритм імітації і виявилася першою нейронною мережею, здатної навчатися внутрішнім репрезентаціям, вирішувати складні комбінаторні задачі.

3 Особливий вид стохастичної рекурентної нейронної мережі; Енергія мережі визначається так: ; Ймовірність того, що і-ий елемент знаходиться в активному стані ; Обмежена машина Больцмана - машина Больцмана без звязків в межах шару.

4

5 Якщо прибрати звязки в середині групи ми отримаємо структуру моделі регіструючої машини Больцмана. Особливість цієї моделі в тому, що при даному стані нейронів однієї групи, стану нейронів іншої групи будуть незалежні один від одного.

6 Машини Больцмана з кількома прихованими шарами Навчання проводиться пошарово Кожен шар розглядається як окрема обмежена машина Больцмана

7 Створити дві копії вхідного вектора для видимих елементів Зафіксувати вагу поточного шару і навчити наступну Передостанній шар Подвоїти кількість прихованих елементів при навчанні для звязування вагів Із отриманих вагових коефіціентів скласти мережу Так Ні

8 Як спосіб навчання машини Больцмана, як і у випадку мережі Хопфілда, використовується метод Хебба w ij - ваговий коефіціент звязку i-того і j-того нейронів. y i,y j - виходи i-того і j-того нейронів.

9 Тут представлена реалізація асоціативної пам'яті на основі машини Больцмана. Програма працює з картинками у форматі BMP. На початку в пам'ять "записуються" кілька різних картинок. Далі - пам'яті пред'являються інші, схожі картинки, за якими відновлюються оригінали.

10

11 Низький відсоток помилки (в середньому). Ефективна процедура навчання, відмінна від мереж оборотного розповсюдження помилки. Можливість відновлення пошкоджених даних.

12 Важкість внутрішнього представлення. Важкість навчання багаторівневих мереж. Повільний алгоритм навчання.

13 Експерименти з програмною реалізацією показали, що як і у випадку c звичайною (класичною) мережею Хопфілда, якість роботи цієї системи залежить від набору ідеальних образів, тобто від міри "схожості" ідеальних образів між собою, ця реалізація машини Больцмана працює трохи краще ніж асоціативна пам'ять на основі звичайної мережі Хопфілда, але істотно повільніше.

14 Ваші питання