Генерация вероятностных автоматов методами Reinforcement Learning Выполнил: Иринёв А. В. Руководитель: Шалыто А. А. - презентация

1 Генерация вероятностных автоматов методами Reinforcement Learning Выполнил: Иринёв А. В. Руководитель: Шалыто А. А.

2 2 Стимулирующее обучение Среда Поощрение Агент

3 3 Вероятностные автоматы Моделирование сложных систем, имеющих стохастическую природу Построение мобильных агентов

4 4 Обучение автомата Действие Проверка «слабого условия» Перераспределение вероятностей

5 5 Применение стимулирующего обучения Работать непосредственно с вероятностной моделью непрактично Генерация автоматной модели

6 6 Q-learning: статические задачи Обучение Q-функции Порождение оптимальной стратегии

7 7 Q-learning: стохастические системы Обучение Q-функции Подсчёт вероятностей переходов Сжатие вероятностной модели

8 8 Пример задачи на двумерном поле Клетка поля определяет текущее состояние мобильного робота Четыре доступных действия Выделенные клетки Задача – максимизировать общую прибыль для нескольких мобильных роботов

9 9 Тестовый пример

10 10 Сжатие автоматной модели

11 11 Выводы Непосредственное обучение вероятностной модели непрактично Предложенный подход позволяет решать задачи оптимизации для стохастических систем В зависимости от специфики задачи возможно эффективное сжатие автоматной модели