МОДЕЛИ И СРЕДСТВА ПРЕДСТАВЛЕНИЯ ЗНАНИЙ И ИМИТАЦИИ РАССУЖДЕНИЙ В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ КОНТРОЛЯ ЗНАНИЙ Проскурнин Алексей Александрович Научный руководитель: к.т.н., доц. Филиппович Ю.Н.

Две фазы функционирования АСКЗ I. ФАЗА ВЗАИМОДЕЙСТВИЯ II. ФАЗА ИНТЕРПРЕТАЦИИ Фактические данные, полученные в процессе взаимодействия память компьютера Модель персональных знаний пользователя (МПЗ) память компьютера Фактические данные, полученные в процессе взаимодействия память компьютера алгоритм интерпретации 2

Две базовые парадигмы построения АСКЗ Модель персональных знаний Скалярная (отметка, ранг): на СКОЛЬКО знает? «Развернутая», структурная, содержательная: ЧТО знает/не знает? ПАРАДИГМА ОЦЕНКИ ЗНАНИЙ ПАРАДИГМА ВЫЯВЛЕНИЯ И АНАЛИЗА ЗНАНИЙ 3

Понятие автоматизированного выявления знаний (АВЗ) Автоматизированная система контроля знаний (АСКЗ) - автоматизированная система, основная функция которой состоит в формировании модели персональных знаний пользователя (МПЗ) в результате взаимодействия система-пользователь Модель персональных знаний человека (МПЗ) - любая информация о знаниях человека в некоторой предметной области. Автоматизированный контроль знаний (АКЗ) - процесс взаимодействия человека и компьютера, в результате которого в памяти компьютера формируется МПЗ человека. Автоматизированное выявление знаний (АВЗ) - АКЗ, при котором МПЗ представляет собой данные, обладающие свойствами внутренней интерпретируемости, структурированности, и связности. 4

Актуальность Актуальность предлагаемого в работе подхода к построению АСКЗ обуславливается необходимостью устранения следующих характерных недостатков в существующих АСКЗ, разработанных исходя из парадигмы выявления и анализа знаний: 1. Многие АСКЗ используют методы, максимально учитывающие специфику конкретной предметной области, и неприменимые для других областей. 2. Большинство АСКЗ, как правило, рассматривают модель учебного курса (предмета), а не предметной области как таковой. 3. МПЗ чаще всего является поверхностной, обладает низким уровнем детализации. 4. Возможность применения АСКЗ часто ограничивается необходимостью наличия достаточно больших репрезентативных выборок обучаемых. 5. С одной стороны, закрытая форма вопроса обладает существенными недостатками; с другой стороны, при анализе свободного естественно-языкового ответа в виде предложения крайне трудно гарантировать высокую адекватность такого анализа. 6. Во многих АСКЗ применяются методы формирования МПЗ, при которых принципиально невозможно пояснить пользователю ход рассуждений, с помощью которых была получена модель его знаний. 7. В существующих АСКЗ, как правило, пользователю не предлагаются инструменты анализа его знаний, выявленных системой. 5

Цель и задачи исследования Цель исследования заключается в разработке и практической реализации в виде программной системы новой методики АКЗ, ориентированной на решение задачи формирования содержательного, структурного описания персональных знаний пользователя АСКЗ, с учетом устранения описанных выше недостатков в существующих подходах к решению этой задачи. Для достижения этой цели в диссертационной работе решены следующие основные задачи: 1. Проведены анализ и классификация существующих методов и моделей АКЗ, а также моделей представления знаний и моделей рассуждений, используемых для решения задачи АКЗ. 2. Разработаны новые модели представления знаний и модели рассуждений для автоматизации процесса контроля знаний, и, на их основе, – новая методика АКЗ, ориентированная на решение задачи формирования содержательного, структурного описания персональных знаний пользователя АСКЗ, с учетом устранения описанных выше недостатков в существующих подходах к решению этой задачи. 3. Разработана и апробирована программная система, реализующая предлагаемую методику АКЗ. 4. Проведены экспериментальные исследования предлагаемой методики АКЗ. 6

Научная новизна Научная новизна исследования заключается в следующем: 1. Разработана новая модель представления знаний о предметной области, и, на ее основе – новая модель представления персональных знаний – для решения задачи АКЗ; отличительная особенность этих моделей состоит в том, что в качестве основы для их разработки была использована модель вербального языкового сознания, предложенная Ю.Н. Карауловым, и предполагающая выявление и описание множества элементарных вербальных единиц знания – так называемых фигур знания (понятие введено Ю.Н. Карауловым). 2. Разработаны новые модели рассуждений для решения задачи АКЗ, имитирующие различные типы рассуждений человека-эксперта, осуществляющего контроль знаний; отличительной особенностью этих моделей является обработка знаний, формальное описание которых дано в соответствии с предлагаемой новой моделью представления знаний, а также применение четырехзначной логики аргументации, предложенной В.К. Финном. 3. На основе предлагаемых моделей представления знаний и моделей рассуждений разработана новая методика АКЗ, ориентированная на решение задачи формирования содержательного, структурного описания персональных знаний пользователя АСКЗ, с учетом устранения описанных выше недостатков в существующих подходах к решению этой задачи, в частности, позволяющая пользователю проводить различные виды анализа выявленных персональных знаний: структурный анализ, логический анализ, и анализ соответствия эталонным образам знания. 4. В соответствии с предлагаемой методикой АКЗ разработана база знаний для предметной области "Основы информатики". 7

Моделирование знаний и рассуждений для решения задачи АВЗ эксперт обучаемый АСКЗ разработчик АСКЗ Знания о предметной области Рассуждения для вывода суждений о знаниях обучаемого из взаимодействия с ним Модель рассуждений Модель представления знаний A Взаимодействие Модели взаимодействия Знания обучаемого Модель представления знаний B 8

Модель вербального языкового сознания Ю.Н. Караулова ЗНАК ФОРМУЛА СМЫСЛА СПОСОБ ЗАДАНИЯ СМЫСЛА КОГНИТИВНАЯ ОБЛАСТЬ ФУНКЦИЯ ЗНАНИЯ 9

Пример переходов «формула смысла - знак» и соответствующих им ассоциативных связей 10 Формула смыслаЗнакАссоциативные связи Восемь бит.БайтБитБайт Единица измерения количества информации, равная 2 20 байт. Мега- байт Единица измеренияМегабайт ИнформацияМегабайт БайтМегабайт Он работает по принципу LIFO.СтекLIFOСтек Вид транслятора, который обычно противопоставляется интерпретатору. Компи- лятор ТрансляторКомпилятор ИнтерпретаторКомпилятор Она заканчивается при выполнении оператора COMMIT или оператора ROLLBACK. Тран- закция COMMITТранзакция ROLLBACKТранзакция

Применение модели Ю.Н. Караулова для решения задачи АВЗ Популярный язык программирования, разработанный Никлаусом Виртом. Паскаль Pascal язык программирования- Паскаль Никлаус Вирт-Паскаль Бейсик Никлаус Вирт-Паскаль

Упрощенное схематичное изображение модели предметной области Обозначения: 12

Представление знаний о предметной области Вербальный уровень Онтологический уровень Таксономический уровень 13

Представление персональных знаний 14

Формальная постановка задачи ДАНО:ОПРЕДЕЛИТЬ: Знание (экспертное) о предметной области: Текущие ответы испытуемого на вопросы: МПЗ испытуемого (выявление и анализ знаний): 15

Типы моделируемых рассуждений В работе реализовано моделирование следующих типов рассуждений человека-эксперта, осуществляющего контроль знаний: 1. Рассуждения, связанные с формированием суждений о присутствии в сознании человека определенных когнитивных единиц на основании информации, полученной от человека в процессе взаимодействия. 2. Рассуждения, связанные с формированием суждений о степени знания одних когнитивных единиц, исходя из степени знания других единиц, когда и те, и другие единицы находятся на одном уровне иерархии в структурной декомпозиции предметной области. 3. Рассуждения, связанные с формированием суждений о степени знания некоторого множества элементов, исходя из знания/незнания этих элементов (операция «свертки»). 4. Рассуждения, связанные с выбором следующего вопроса, который будет задан человеку в процессе адаптивного взаимодействия, исходя из текущей МПЗ человека и выбранной стратегии взаимодействия. 16

Рассуждения 1-го типа: логика аргументации А 4 Шаг 1. Введем мультимножества: Шаг 2. Шаг 3. В цикле по всем Если ответ на вопрос верный, то добавить в множество ЦЕЗ Если ответ на вопрос неверный, то добавить в множество ЦЕЗ Шаг 4. В цикле по всем множество аргументов множество контраргументов НЕИЗВЕСТНОСТЬ ЗНАНИЕ НЕЗНАНИЕ ПРОТИВОРЕЧИЕ 17

Рассуждения 3-го типа: операция «свертки» 18

Варианты реализации операции «свертки» Вариант 1. Использование разности Вариант 2. Система нечеткого логического вывода Функции принадлежности:Правила вывода: 19

Варианты реализации операции «свертки» Вариант 3. Система нечеткого логического вывода и настраивающий ее генетический алгоритм Функции принадлежности:Правила вывода: 20

Варианты реализации операции «свертки» Абсолютное незнание Определенно, незнание Скорее всего, незнание Неопределенность Скорее всего, знание Определенно, знание Абсолютное знание 21

Определение множества ЦЕЗ, соответствующих данной КЕ (примеры) 22

Форма для выполнения структурного анализа знаний 23

Рассуждения 4-го типа: механизм адаптации 24

Критерии эффективности адаптации ЭФФЕКТИВНОСТЬ АДАПТАЦИИ Стратегия адаптации: МАКСИМАЛЬНАЯ ЛОЯЛЬНОСТЬМАКСИМАЛЬНАЯ СТРОГОСТЬ Использование нечеткого логического вывода для "расширения" областей знания и незнания (НЕТ, ДА): НЕТДАНЕТДА Способ решения задачи многокритериального выбора (1, 2) ,7130,6950,7180,7040,7110,6310,7590,711 20,6710,7290,6870,7280,6370,6220,6580,641 30,7460,7590,7810,7450,6210,6290,6720,657 Ср. знач. 0,7100,7280,7290,7260,6560,6270,6960,670 Ср. знач. 0,7190,7270,6420,683 Ср. знач. 0,7230,662 25

Дополнительные модели и алгоритмы 1. Алгоритм анализа ответа на вопрос с учетом опечаток – основан на вычислении взвешенного расстояния между строками с помощью алгоритма Вагнера-Фишера. 2. Модели отбора подмножеств вопросов. Предлагается 3 варианта решения задачи формирования подмножества вопросов: 1) Подмножество непосредственно задается экспертом; 2) Отбор подмножества происходит на основе некоторой классификации предметной области и подмножества КЕ этой классификации; 3) Отбор подмножества происходит в результате решения задачи оптимизации, которая формализована в виде задачи линейного программирования с булевыми переменными. 3. Модель вычисления различных интегральных числовых характеристик базы знаний о предметной области. 4. Модель уменьшения количества ЦЕЗ, имеющих статус «противоречие», на основе решения задачи многокритериальной порядковой экспертной классификации. 5. Инфологическая и даталогическая модели базы данных. 6. Алгоритмы импорта основного объема описания базы знаний предметной области в БД из файлов MS Word. 26

Методика АКЗ Этап 1 Выбор предметной области Этап 2 Построение АСКЗ путем «наполнения» базы знаний оболочки СОЗ Этап 3 Применение созданной на 2-ом этапе АСКЗ 27

Методика АКЗ Модель применения АСКЗЗначения некоторых критериев классификации 28

База знаний предметной области «Основы информатики» Название параметраЗначение 1 Число фигур знания (вопросов)250 2 Число элементов модели знания431 3 Число ЦЕЗ494 4 Число связей «Фигура знания – ЦЕЗ» Среднее число вопросов на одну ЦЕЗ1,295 Распределение вопросов по когнитивным областям: Значения некоторых параметров: 29

Экспериментальное исследование валидности выявления знаний N(анк.)Nпр.С1С2С3Э1Э2Э3Эср Значения коэффициента ранговой корреляции Кендалла для 3-х вариантов реализации операции «свертки»: Решения экспертов и АСКЗ для варианта 3: 30

Экспериментальное исследование механизма адаптации «Виртуальная» конфигурация: Критерии, потенциально влияющие на эффективность адаптации: Обобщенная схема алгоритма случайной генерации «виртуальных» конфигураций: for K1Value := 0 to 10 do begin for KEConfIndex := 0 to ( -1) do begin генерация, ; перевод KEConfIndex в двоичное представление; генерация на основе двоичного представления KEConfIndex; вычисление координат точки (, ), соответствующей ; end Пример множества точек (, ) для 7387 «виртуальных» конфигураций: Общее число запусков алгоритма адаптации, выполненных в ходе проведения эксперимента: Общее число вопросов, заданных «виртуальным» субъектам в ходе проведения эксперимента:

Экспериментальное исследование механизма адаптации Зависимость, 7352 конфигурации Зависимость, 7397 конфигураций 32

Практическая ценность работы Разработанный программный продукт, который является оболочкой системы, основанной на знаниях, позволяет создавать АСКЗ в различных предметных областях путем «наполнения» базы знаний системы. Разработана база знаний предметной области «Основы информатики», и АСКЗ на основе этой базы знаний. Материалы проведенного исследования были использованы в учебном процессе кафедры ИУ-5 МГТУ им. Баумана. 33

Выводы 1. Проведены анализ и классификация существующих методов и моделей АКЗ, а также моделей представления знаний и моделей рассуждений, используемых для решения задачи АКЗ. 2. Разработана новая модель представления знаний о предметной области, и, на ее основе – модель представления персональных знаний – для решения задачи АКЗ. 3. Разработаны новые модели рассуждений для решения задачи АКЗ, основанные на имитации различных типов рассуждений человека- эксперта, осуществляющего контроль знаний. 4. На основе предложенных моделей представления знаний и имитации рассуждений разработана новая методика АКЗ, ориентированная на решение задачи формирования содержательного, структурного описания персональных знаний пользователя АСКЗ, с учетом устранения описанных выше недостатков в существующих подходах к решению этой задачи 5. Разработана и апробирована программная система, реализующая предлагаемую методику АКЗ. 6. Проведены экспериментальные исследования предлагаемой методики АКЗ, которые подтвердили валидность выявления знаний и высокий уровень эффективности механизма адаптации. 34

Спасибо за внимание!