Нейросетевые технологии в обработке и защите данных Защита информации иммунными нейронными сетями Лекция 10. Нечеткие операторы и отношения. Нечеткие правила вывода 1

Математические основы нечетких систем Нечеткие нейронные сети или гибридные сети призваны объединить в себе достоинства нейронных сетей и систем нечеткого вывода. С одной стороны, они позволяют разрабатывать и представлять модели систем в форме правил нечетких продукций, которые обладают наглядностью и простотой содержательной интерпретации, c другой стороны, для построения правил нечетких продукций используются возможности нейронных сетей. 2

Нечеткие нейронные сети ANFIS – адаптивная сеть нечеткого вывода (Adaptive-Network-Based Fuzzy Inference System), предложенная Янгом (Jang) в начале девяностых годов, реализована в пакете расширения Fuzzy Logic Toolbox (пакете нечеткой логики) системы MATLAB. ANFIS является одним из первых вариантов гибридных нейро-нечетких сетей. Архитектура нейро-нечеткой сети изоморфна нечеткой базе знаний. В нейро-нечетких сетях используются дифференцируемые реализации треугольных норм, а также гладкие функции принадлежности. 3

Системы с нечеткой логикой целесообразно применять для сложных процессов, 1.когда отсутствует простая математическая модель; 2.если экспертные знания об объекте или о процессе можно сформулировать только в лингвистической форме. Для решения прикладных задач наиболее часто используются треугольные, трапецеидальные и «колоколообразные» функции принадлежности. 4

Недостатки: Основные недостатки систем с нечеткой логикой связаны с тем, что: 1.исходный набор постулируемых нечетких правил формулируется экспертом-человеком и может оказаться неполным или противоречивым; 2.вид и параметры функции принадлежности, описывающие входные и выходные переменные системы, выбираются субъективно и могут оказаться не вполне отражающими реальную действительность. 5

МАТЕМАТИЧЕСКИЕ ОСНОВЫ НЕЧЕТКИХ СИСТЕМ В нечетких системах элемент может частично принадлежать к любому множеству. Степень принадлежности к множеству А, представляющая собой обобщение характеристической функции, называется функцией принадлежности, причем. Значения функции принадлежности являются рациональными числами из интервала [0, 1], где 0 означает отсутствие принадлежности к множеству, а 1 – полную принадлежность. 6

МАТЕМАТИЧЕСКИЕ ОСНОВЫ НЕЧЕТКИХ СИСТЕМ Конкретное значение функции принадлежности называется степенью или коэффициентом принадлежности. Эта степень может быть определена явным образом в виде функциональной зависимости либо дискретно – путем задания конечной последовательности значений в виде. 7

Пример дискретного задания нечеткого множества Для последовательности дискретных значений переменной X, равных х 1 =7, х 2 =8, х 3 =9, х 4 =10, х 5 =11, х 6 =12, х 7 =13, степень принадлежности к числам, близким 10, может быть определена в виде 8

Лингвистические переменные Пусть переменная х обозначает температуру (х = «температура»). Можно определить нечеткие множества «отрицательная», «близкая к нулю», «положительная», характеризуемые функциями принадлежности Лингвистическая переменная «температура» может принимать различные лингвистические значения («температура отрицательная», «температура близкая к нулю», «температура положительная»). 9

Иллюстрация понятия принадлежности температуры к различным областям 10

11 Примеры нечетких множеств пример дискретного множества число, близкое к 0: число, близкое к 0: пример непрерывного множества люди около 50 лет с гауссовой люди около 50 лет с гауссовой функцией принадлежности :

12 X Ядро Точки перегиба Носитель α - сечение μ(x)μ(x) Терминология функции принадлежности μ(x)

МАТЕМАТИЧЕСКИЕ ОСНОВЫ НЕЧЕТКИХ СИСТЕМ.ОПЕРАЦИИ В теории нечетких множеств, помимо переменных цифрового типа, существуют лингвистические переменные с приписываемыми им значениями. На нечетких множествах, рассматриваемых как обобщение обычных множеств, можно определить ряд математических операций, выполняемых на «четких» множествах. Пусть A и B – произвольные (конечные или бесконечные) нечеткие множества, заданные на одном и том же универсуме X. 13

МАТЕМАТИЧЕСКИЕ ОСНОВЫ НЕЧЕТКИХ СИСТЕМ.ОПЕРАЦИИ Пересечением двух нечетких множеств A и B называют некоторое третье нечеткое множество С, заданное на этом же универсуме X, функция принадлежности которого определяется по следующей формуле: C (x) = min { A (x), B (x)} ( x X). Операция пересечения нечетких множеств по аналогии с обычными множествами обозначается знаком « ». В этом случае результат операции пересечения двух нечетких множеств записывается в виде С = A B. 14

Объединением двух нечетких множеств A и B называется наименьшее нечеткое подмножество D = A B, включающее как A, так и B, с функцией принадлежности: D (x) = max { A (x), B (x)} ( x X). 15

Разностью двух нечетких множеств A и B называют некоторое третье нечеткое множество E, заданное на этом же универсуме X, функция принадлежности которого определяется по следующей формуле: E (x) = max { A (x) – B (x), 0} ( x X), где под знаком максимума используется обычная операция арифметической разности двух чисел. Операция разности двух нечетких множеств по аналогии с обычными множествами обозначается знаком «\». 16

Результат операции пересечения двух нечетких множеств записывается в виде E = A \B. Следует заметить, что операция разности двух нечетких множеств, в отличие от операций объединения и пересечения, не является коммутативной, в общем случае A \ B B \ A. По аналогии с обычными множествами иногда оказывается полезной операция симметрической разности двух нечетких множеств A и B (обозначается через A B). 17

По определению: A B (x) = | A (x) – B (x)| ( x X), где в правой части выражения применяется операция вычисления абсолютного значения числа. При этом оказывается справедливым следующее утверждение: A B = (A \B) (B \A), т. е. симметрическая разность двух нечетких множеств представляет собой объединение двух разностей нечетких множеств A и B. 18

Дополнение нечеткого множества A обозначается через Ā и определяется как нечеткое множество Ā = {x| Ā (x)}, функция принадлежности которого определяется по следующей формуле: Ā (x) = 1 – A (x) ( x X). Операторы пересечения и объединения нечетких множеств определяются в классе треугольных норм и конорм. 19

Нечеткие операторы Нечеткие теоретико-множественные операции не исчерпывают все возможные способы их задания. Большой класс операций, таких же как пересечение и объединение нечетких множеств, допускает обобщенное представление на основе так называемых нечетких операторов. Из многообразия нечетких операторов наибольший интерес представляют треугольные норма и конорма. 20

Треугольная норма Треугольной нормой (t-нормой) называется действительная функция двух переменных T: [0, 1]×[0, 1][0, 1], удовлетворяющая следующим условиям: 1.Т( A, 0) = 0; Т( A, 1) = A, Т(1, A ) = A – ограниченность; 2.Т( A, B ) Т( C, D ), если A C, B D – монотонность; 3.Т( A, B ) = Т( B, A ) – коммутативность; 4.Т( A, Т( B, C )) = Т(Т( A, B ), C ) – ассоциативность. 21

Треугольная норма Аксиома ограниченности обеспечивает выполнение граничных условий, которые должны выполняться для всех операций пересечения нечетких множеств, включая и обычные множества. Аксиома монотонности гарантирует неизменность порядка величин значений функций принадлежности от каких бы то ни было других функций принадлежности. Аксиомы коммутативности и ассоциативности обеспечивают выполнение соответствующих свойств у всех операций пересечения. 22

Треугольная конорма Треугольной конормой (t-конормой) называется действительная функция двух переменных S: [0, 1]×[0, 1][0, 1] со свойствами: 1.S( A, 0) = A, S( A, 1) = 1 – ограниченность; 2.S( A, B ) S( C, D ), если A C, B D – монотонность; 3.S( A, B ) = S( B, A ) – коммутативность; 4.S( A, S( B, C )) = S(S( A, B ), C ) – ассоциативность. 23

Треугольная конорма Аксиоматика рассмотренных операторов практически одинакова, кроме первой аксиомы. Эта аксиома обеспечивает выполнение граничных условий, которые должны выполняться для всех операций объединения нечетких множеств, включая и обычные множества. Типичной треугольной конормой является операция max- объединения нечетких множеств. Для других операций, таких как алгебраическое объединение ( D (x) = A (x)* B (x), x X), например, выполняются все аксиомы треугольной конормы. 24

Нечеткая и лингвистическая переменные Нечеткая переменная определяется как кортеж:, где α – название нечеткой переменной, X – область ее определения (универсум), A = {x, A (x)} – нечеткое множество на X, описывающее возможные значения, которые может принимать нечеткая переменная. Лингвистическая переменная определяется как кортеж:, где β - наименование лингвистической переменной, T – множество термов, X – область ее определения (универсум), G – синтаксическая процедура генерации из T новых значений, M - семантическая процедура генерации из T новых осмысленных значений посредством формирования соответствующего нечеткого множества. 25

НЕЧЕТКИЕ ОТНОШЕНИЯ Понятие нечеткого отношения относится к фундаментальным основам теории нечетких множеств. На основании нечетких отношений определяется целый ряд дополнительных понятий, используемых для нечетких моделей сложных систем. Нечеткое отношение определяется как любое нечеткое подмножество упорядоченных кортежей. Под кортежем, так же как и в случае обычных множеств, понимается произвольный набор или список упорядоченных элементов. 26

НЕЧЕТКИЕ ОТНОШЕНИЯ Чтобы охарактеризовать количество универсальных множеств, на основе которых строится то или иное нечеткое отношение, бинарным принято называть нечеткое отношение между элементами из двух универсальных множеств, тернарным – из трех множеств, а в общем случае – k – арным отношением. Нечетким k – арным отношением, заданным на множествах (универсумах) X 1, X 2,…, X k, называется некоторое фиксированное нечеткое подмножество декартова произведения этих универсумов. 27

БИНАРНЫЕ НЕЧЕТКИЕ ОТНОШЕНИЯ Бинарное нечеткое отношение задается на базисных множествах X 1, X 2 и определяется как нечеткое отношение Q = {, Q ( )}. Здесь Q ( ) – функция принадлежности бинарного нечеткого отношения, которая определяется как отображение Q : X 1 × X 2 [0, 1], а через обозначен кортеж из двух элементов, при этом x i X 1, x j X 2. 28

Способы задания нечетких отношений Формально нечеткие отношения задаются различными способами: 1) в форме списка с явным перечислением всех кортежей нечеткого отношения и соответствующих им значений функции принадлежности; 2) аналитически в форме некоторого математического выражения для соответствующей функции принадлежности этого нечеткого отношения; 3) графически в форме некоторой поверхности или совокупности отдельных точек в трехмерном пространстве; 29

Способы задания нечетких отношений 4) в форме матрицы нечеткого отношения; 5) в форме так называемого нечеткого графа, который формально может быть задан в виде двух обычных конечных множеств и некоторой функции принадлежности. Вершины нечеткого графа изображаются точками, дуги – отрезками прямых линий со стрелкой на одном из концов. Рядом с вершинами записываются условные обозначения соответствующих вершин, а рядом с каждой дугой – значение функции принадлежности для соответствующей дуги. 30

Пример матричного задания бинарного нечеткого отношения Рассмотрим конечное бинарное нечеткое отношение Q, заданное на одном и том же универсуме X, в качестве в качестве которого выберем подмножество первых 10 натуральных чисел: X = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}. Пусть отношение Q описывает свойство: «натуральное число x i приближенно равно натуральному числу x j ». 31

Матрица M Q

Рассмотренное бинарное отношение может быть задано в форме списка: Q = {(, 1.0), (, 0.8), (, 0.5), (, 0.2), (, 0.8), (, 1.0), (, 0.8), (, 0.5), (, 0.2), (, 0.5), (, 0.8), (, 1.0), (, 0.8), {(, 0.5), (, 0.2), (, 0.2), (, 0.5), …, … (, 0.8), (, 1.0)}. В этом списке отсутствуют кортежи с нулевым значением функции принадлежности. Это нечеткое отношение также можно представить графически в форме совокупности точек в трехмерном пространстве и в форме нечеткого графа, но эти представления не совсем удобны для визуализации. 33

Нечеткие правила вывода Базовые правила вывода типа «если - то», в английской нотации «if – then», также называемые нечеткой импликацией, принимают форму: если x это A, то у это B, где A, B – лингвистические значения, определенные нечетким способом через соответствующие функции принадлежности для переменных x и у. Левая часть правила называется условием, правая – следствием. 34

Нечеткие правила вывода Импликацию в сокращенном виде можно записать в виде: A B. Нечеткое рассуждение – это процедура, которая позволяет определить заключение, вытекающее из множества правил «если -то». Такое множество для N переменных x i может принять вид: если x 1 это A 1 и x 2 это A 2 …и x N это A N, то у это B. 35

Нечеткие правила вывода Переменные x 1, x 2, …, x N образуют N – мерный входной вектор x, составляющий аргумент условия, в котором A 1, A 2, …, A N и B обозначают величины соответствующего коэффициента принадлежности A (x i ) и B (y). Следует отметить, что для каждой переменной x i и y необходимо использовать индивидуальные функции принадлежности. Приписывание единственного значения функции принадлежности, описывающей многомерное условие, называют агрегированием предпосылки. 36

Нечеткие правила вывода Интерпретация условия возможна в форме логического пересечения множеств либо в форме их алгебраического произведения. 37

Нечеткие правила вывода Каждой импликации многомерного условия также можно приписать единственное значение функции принадлежности Возможна интерпретация этой функции в форме логического или алгебраического произведения: 38

НЕЧЕТКИЕ НЕЙРОННЫЕ СЕТИ В гибридных сетях выводы делаются на основе аппарата нечеткой логики, но соответствующие функции принадлежности подстраиваются с использованием алгоритмов обучения нейронных сетей, например алгоритма обратного распространения ошибки. Такие системы не только используют априорную информацию, но могут приобретать новые знания и для пользователя являются логически прозрачными 39

Гибридная нейронная сеть Гибридная нейронная сеть – это нейронная сеть с четкими сигналами, весами и активационной функцией, но с объединением x i и w i, p 1 и p 2 с использованием t-нормы, t-конормы или некоторых других непрерывных операций. 40

Рассмотрим простую нейронную сеть, имеющую два входа и только один выходной нейрон : 41

Нечеткий нейрон «И» Сигналы x i и веса w i­ в данном случае объединяются с помощью треугольной конормы: p i =S(w i, x i ), i=1, 2, а выход образуется с применением треугольной нормы 42

Нечеткий нейрон «И» y = AND(p 1, p 2 ) = T(p 1, p 2 ) = T(S(w 1, x 1 ), S(w 2, x 2 )). Если принять T = min, S = max, тогда нечеткий нейрон «И» реализует композицию min-max: y = min(w 1 x 1, w 2 x 2 ). 43

Нечеткий нейрон «ИЛИ» Сигналы x i и веса w i­ здесь объединяются с помощью треугольной нормы: p i =Т(w i, x i ), i=1, 2, а выход образуется с применением треугольной конормы 44

Нечеткий нейрон «ИЛИ» y = OR(p 1, p 2 ) = S(p 1, p 2 ) = S(T(w 1, x 1 ), T(w 2, x 2 )). Если принять T = min, S = max, тогда нечеткий нейрон «И» реализует композицию max-min: y = max(w 1 x 1, w 2 x 2 ). Входы, выходы и веса гибридной нейронной сети – вещественные числа, принадлежащие отрезку [0, 1]. 45

Пример моделирования Предположим, что гибридной сетью должно быть реализовано отображение, k = 1, 2, …, N, при наличии обучающего множества {(x 1, y 1 ), …, (x N, y N )} Для моделирования неизвестного отображения f используем алгоритм нечеткого вывода со следующей формой предикатных правил: П i : если x 1 есть и х 2 есть и … и х п есть, тогда y = z i, i = 1, 2, …, m, где – нечеткие числа треугольной нормы, z i – вещественные числа, определяя степень истинности i-го правила с помощью операции умножения : 46

Пример моделирования и определяя выход нечеткой системы дискретным аналогом центрального метода: 47

Введение функции ошибки для k-го предъявленного образца вида: Е k = (o k – y k ) 2 позволяет далее, как в обычных нейронных сетях, использовать градиентный метод для подстройки параметров заданных предикатных правил. Так величины z i можно корректировать по соотношению, i = 1, 2, …, m, где η – константа, характеризующая скорость обучения. 48

Сеть может быть представлена следующим образом: 49

Характеристика гибридной сети Предполагается, что объект характеризуется двумя количественными признаками x 1 и x 2 и относится к одному из двух классов – с 1 и с 2. Каждый вход представляется двумя лингвистическими элементами, что позволяет ограничиться всего четырьмя правилами. 50