Слайд 1 з 54 Науковий керівник: к.т.н., м.н.с. асистент каф. ММСА Терентьєв О.М. Київ - 2010 Виконав: cтудент гр. КА-46 м Давиденко В.І. Використання мереж. - презентация

1 Слайд 1 з 54 Науковий керівник: к.т.н., м.н.с. асистент каф. ММСА Терентьєв О.М. Київ Виконав: cтудент гр. КА-46м Давиденко В.І. Використання мереж Байєса з прихованими вершинами при математичному моделюванні

2 Слайд 2 з 54 Постановка задачі дослідження Провести огляд існуючих методів побудови мереж Байєса за умови наявності неспостережуваних змінних Розробити методику побудови та знаходження параметрів байєсових мереж з прихованими вершинами Розробити оригінальну архітектуру та реалізувати комп'ютерну систему підтримки прийняття рішень для аналізу даних з використанням БМ, зокрема для випадку наявності прихованих вершин Протестувати реалізовану систему на еталонних мережах з метою визначення адекватності та точності запропонованої методики

3 Слайд 3 з 54 Системний аналіз - науковий метод пізнання, що представляє собою послідовність дій з установлення структурних зв'язків між змінними або елементами досліджуваної системи. Поняття системного аналізу р. до.н.е р. до н.е р.р.1600 р.р р.р ті р.р.1940-і р.р.1950-ті р.р.2000-… Поява слова "система" в Др. Греції Демокріт, Арістотель Коперник Галілей, Ньютон Ламберт, Кант Фіхте, Гегель Богданов Л. фон Берталанфі Вінер Згуровський, Панкратова Ціле більше суми його частин Геліоцентрична картина світу Ціле- частина, причина- наслідок… Системність наукових знань Ідеї кібернетики Концепція організму як системи Кібернетика Системной підхід, системна методологія Історичний розвиток системних ідей

4 Слайд 4 з 54 Основні етапи процедури прийняття рішень формулювання проблемної ситуації; визначення цілей; визначення критеріїв досягнення цілей; побудова моделей для обґрунтування рішень; пошук оптимального (допустимого) варіанту рішення; узгодження рішення; підготовка рішення до реалізації; затвердження рішення; управління ходом реалізації рішення; перевірка ефективності рішення.

5 Слайд 5 з 54 Типи проблем системного аналізу Добре структуровані (well-structured) – істотні залежності з'ясовані дуже добре Неструктуровані (unstructured) – містять лише опис найважливіших ресурсів, ознак і характеристик, кількісні залежності між якими абсолютно невідомі Слабоструктуровані (ill-structured) – містять як якісні, так і кількісні елементи Математичне програмування Дослідження операцій Теорія евристичних рішень Методологія системного аналізу СППР

6 Слайд 6 з 54 Слабоструктуровані проблеми Cлабоструктуровані, або змішані – проблеми, що містять як якісні, так і кількісні елементи. Маловідомі, невизначені сторони, залежності, ознаки та характеристики, що не піддаються кількісному аналізу, домінують в таких проблемах. Задача не може бути виражена в числовій формі. Цілі не можуть бути виражені в термінах точно визначеної цільової функції. Розв'язання проблем, що мають "слабоструктурований характер", є основним завданням системного аналізу.

7 Слайд 7 з 54 Інструменти розвязання слабоструктурованих проблем імітаційне моделювання; кореляційний, регресійний та кластерний аналіз; методи статистичної класифікації; методи аналізу ієрархій; теорія матриць; теорія експертних оцінок; нечітка логіка; нейронні мережі; генетичні алгоритми; мережі Байєса.

8 Слайд 8 з 54 Що таке мережа Байєса? Представлення БМ Направлений ациклічний граф Множина параметрів, що визначають мережу Параметри мережі – множина умовних ймовірнісних розподілів - множина предків змінної Повна спільна ймовірність мережі:

9 Слайд 9 з 54 Типи байєсових мереж Дискретні БМ – мережі, вершини яких представлені дискретними величинами. Неперервні БМ – мережі, в яких змінні вузлів – це неперервні величини. У багатьох випадках події можуть приймати будь-які стани з деякого діапазону.

10 Слайд 10 з 54 Типи байєсових мереж Динамічні БМ – мережі, у яких значення вузлів змінюються з часом (hidden markov models, kalman filter models) Гібридні БМ - мережі, які містять вузли з дискретними та неперервними змінними.

11 Слайд 11 з 54 Випадки навчання мереж Байєса СтруктураСпостереженняМетод ВідомаПовніМаксимальна оцінка правдоподібності ВідомаЧасткові Градієнтні методи, EM-алгоритм (максимізація математичного сподівання), застосування вибірки Гіббса НевідомаПовніПошук в просторі моделей НевідомаЧастковіСтруктурний EM-алгоритм, алгоритм стиснення границь

12 Слайд 12 з 54 Невідома структура, повні спостереження Для побудови структури мережі за повними даними використовувався модифікований евристичний алгоритм Модифікація: для зменшення складності задачі побудови БМ формувалась впорядкована множина вершин на основі декількох методів оцінки взаємозвязку між вершинами Використання функції опису мінімальною довжиною як оціночної функції

13 Слайд 13 з 54 Невідома структура, повні спостереження Для побудови впорядкованої множини вершин (ВМВ) використовувались такі методи оцінки взаємозвязку між вершинами: значення взаємної інформації міри на основі статистики : коефіцієнт Пірсона коефіцієнт Чупрова коефіцієнт Крамера коефіцієнт лямбда Гудмана Методи оцінки взаємозвязку між вершинами

14 Слайд 14 з 54 Невідома структура, повні спостереження Значення функції ОМД довільної структури g при заданій послідовності з n спостережень обчислюється за формулою: Функція опису мінімальною довжиною де - це значення емпіричної ентропії, а k(g) – кількість незалежних умовних ймовірностей в структурі g. ОМД j-ї вершини обчислюється за формулою: а кількість незалежних умовних ймовірностей j-ї вершини:

15 Слайд 15 з 54 Невідома структура, повні спостереження Евристичний алгоритм побудови БМ Вхідні дані: Множина навчальних даних n – кількість спостережень; N – кількість вершин (змінних) Перший етап. Побудова ВМВ Другий етап. Крок 1. На основі 1-го значення ВМВ будується множина моделей G: Крок 2. Пошук серед моделей множини G. Оптимальна структура має найменше значення функції для, якщо, то 3. на вихід в якості рішення подається Крок 3. Для наступного значення ВМВ будується множини моделей G : Перехід на крок 2. Умова завершення алгоритму. Перегляд частини або всіх елементів ВМВ

16 Слайд 16 з 54 Для чого необхідні приховані вершини в мережах Байєса? Мережа з прихованою вершиною Хвороби серця – кількість параметрів 78 Діагностична мережа для сердечного захворювання з можливістю існування прихованої змінної; кожна змінна має по 3 можливі стани. Мережа з видаленою вершиною Хвороби серця - кількість параметрів 708

17 Слайд 17 з 54 Застосування прихованих вершин в мережах Байєса Переваги: спрощення структури мережі зменшення кількості параметрів, необхідних для визначення БМ, а це в свою чергу дозволяє різко зменшити обєм даних, необхідних для визначення в процесі навчання цих параметрів Недоліки: ускладнення задачі навчання у разі невідомої структури мережі невирішеною проблемою залишається визначення кількості прихованих вершин, місце їх розташування та кількість станів кожної з них

18 Слайд 18 з 54 Відома структура, приховані вершини Питання, що потребують вирішення: Скільки станів повинна мати прихована вершина? Як умовні ймовірності можуть бути знайдені без даних? Методи навчання параметрів мереж Байєса з прихованими вершинами: Алгоритм максимізації математичного очікування (expectation-maximization) Алгоритм на основі градієнта (adaptive probabilistic networks) Метод вибірки Гіббса (Gibbs sampling) Метод послідовного оновлення (sequential updating)

19 Слайд 19 з 54 Відома структура, приховані вершини ЕМ-алгоритм (Expectation-maximization algorithm) Алгоритм максимізації математичного очікування Ідея: - обчислення очікуваних значень прихованих змінних для кожного випадку і подальше повторне обчислення параметрів з використанням очікуваних значень так, ніби ці значення були спостережуваними Базові дії: Е-крок (expectation): доповнення даних для прихованих змінних на основі поточних оцінок параметрів М-крок (maximization): використання повних даних для знаходження максимально правдоподібної оцінки параметрів

20 Слайд 20 з 54 Відома структура, приховані вершини ЕМ-алгоритм Схема: - математичне очікування логарифмічної функції правдоподібності - отримується за допомогою ймовірнісного висновку в мережі Байєса - множина предків вершини - розмір вибірки множини навчальних даних на кроці Е оцінюється значення на основі параметрів на кроці М вибирається найкраще значення параметрів, максимізуючи Q

21 Слайд 21 з 54 Невідома структура, приховані вершини Структурний алгоритм ЕМ (Structural EM) Ідея: - комбінація стандартного алгоритму ЕМ, який оптимізує параметри, зі структурним пошуком моделі відбору; - навчання мереж на основі штрафних ймовірнісних значень з використанням критеріїв BIC/MDL та ін. Алгоритм стиснення границь (Bound and Collapse) Ідея: - обчислення інтервалу ймовірностей відсутніх даних, за тією інформацією, яка мається - стиснення границь інтервалу в точку за допомогою опуклої комбінації з точок екстремумів, використовуючи інформацію про неповні дані

22 Слайд 22 з 54 Методика знаходження параметрів БМ з прихованими вершинами 1. Побудова БМ за навчальними даними або вручну 2. Генерування вибірки по заданій структурі мережі (застосовується випадку відсутності навчальних даних) 3. Додавання прихованих вершин до структури мережі 4. Початкова ініціалізація невідомих параметрів мережі 5. Обчислення параметрів мережі на основі згенерованих даних з використанням алгоритму ЕМ

23 Слайд 23 з 54 Методика знаходження параметрів БМ з прихованими вершинами

24 Слайд 24 з 54 СППР для аналізу даних на основі БМ Побудова структури БМ вручну або по завантаженим даним Формування ймовірнісного висновку Генерація вибірки даних по заданій структурі мережі Навчання параметрів мережі, що містить приховані вершини Розроблена система підтримки прийняття рішень виконує наступні функції:

25 Слайд 25 з 54 Архітектура СППР BNetMaster

26 Слайд 26 з 54 СППР BNetMaster На основі розробленої оригінальної архітектури СППР за допомогою обєктно-орієнтованої мови програмування Delphi 7 реалізована компютерна програма для аналізу даних з використанням мереж Байєса – BNetMaster Поданий пакет документів на отримання авторського свідоцтва на програмний продукт BNetMaster від року. Автори: Трофименко Д.В., Давиденко В.І., Терентьєв О.М.

27 Слайд 27 з 54 СППР BNetMaster

28 Слайд 28 з 54 Практичне використання розробленої СППР Класичні байєсові мережі: Asia Alarm CarStarts Використовуються дослідниками для тестування нових та існуючих алгоритмів роботи з мережами Байєса. Дані мережі входять до стандартного набору прикладів майже всіх відомих програмних продуктів для роботи з БМ.

29 Слайд 29 з 54 Мережа Alarm: Опис вхідних даних Alarm - A Logical Alarm Reduction Mechanism Система повідомлення тривоги для контролю пацієнтів; обчислює ймовірності для диференційного діагнозу на основі доступних даних. Мережа містить 37 вершин та 46 дуг Медичні знання закодовані в графічній структурі, повязуючи 8 діагнозів, 16 відомостей та 13 проміжних змінних.

30 Слайд 30 з 54 English nameНазва українською 1Central venous pressureЦентральний венозний тиск 2Pulmonary capillary wedge pressureТиск в легеневих капілярах 3HistoryІсторія 4Peripheral resistanceЗагальний періферійний опір 5Blood pressureКров'яний тиск 6Cardiac outputХвилинний об'єм серця 7Heart rate / blood pressureПульс / кров'яний тиск 8Heart rate measured by an EKG monitorПульс на ЕКГ моніторі 9Heart rate / oxygen saturationПульс / кисневе насичення 10Pulmonary artery pressureЛегеневий артеріальний тиск 11Arterial oxygen saturationАртеріальне кисневе насичення 12Fraction of inspired oxygenЧастка кисню, що надходить 13Breathing pressureДихальний тиск 14Expelled CO2СО2, що вийшов 15Minimum volumeМінімальний об'єм 16Minimum volume setНабір мінімальних об'ємів 17HypovolemiaГіповолемія 18Left ventricular failureЛівошлуночкова недостатність Мережа Alarm: Опис вхідних даних

31 Слайд 31 з 54 English nameНазва українською 19 AnaphylaxisАнафілаксія 20 Insufficient anesthesia/analgesiaНедостатня анастезія 21 Pulmonary embolusЛегенева емболія 22 IntubationІнтубація 23 Kinked tubeПерекручена трубка 24 DisconnectionРоз'єднання 25 Left ventricular end-diastolic volumeДіастолічний об'єм лівого шлуночка 26 Stroke volumeСистолічний об'єм 27 CatecholamineКатехоламін 28 Error low outputПомилка низького вихідного сигналу 29 Heart rateЧастота пульсу 30 ElectrocauterЕлектрокаутер 31 ShuntШунт 32 Pulmonary venous oxygen saturationКисневе насичення венозної крові легень 33 Arterial CO2Артеріальний вміст СО2 34 Pulmonary alveoli ventilationВентиляція легеневих альвеоль 35 Lung ventilationЛегенева вентиляція 36 Ventilation tubeВентиляційна трубка 37 Ventilation machineАпарат для вентиляції легень Мережа Alarm: Опис вхідних даних

32 Слайд 32 з 54 Мережа Alarm: Топологія

33 Слайд 33 з 54 Мережа Alarm: Введення прихованої вершини Прихована вершина

34 Слайд 34 з 54 Мережа Alarm: Отримані результати Значення ймовірностей станів прихованої вершини СтанПочаткові Отримані в результаті експерименту Low0,230,25 Normal0,69 High0,080,06 HypovolemiaLVFailureLowNormalHigh TRUE 0,950,040,01 TRUEFALSE0,980,01 FALSETRUE0,010,090,9 FALSE 0,050,90,05 HypovolemiaLVFailureLowNormalHigh TRUE 0,990,010 TRUEFALSE0,980,01 FALSETRUE0,010,230,76 FALSE 0,060,90,04 Таблиці умовних ймовірностей Початкові Експеримент

35 Слайд 35 з 54 Мережа Alarm: Отримані результати Збільшення логарифму функції правдоподібності з до Графік логарифмічної функції правдоподібності

36 Слайд 36 з 54 Мережа Asia: Опис вхідних даних Використання в діагностичних цілях Визначається, чи має пацієнт туберкульоз («Tuberculosis»), рак легень («Lung Cancer») чи бронхіт («Bronchitis») в залежності від його рентгенівського знімку («X-Ray»), наявності задишки (Dyspnea»), відвідування Азії («Visit to Asia») та паління («Smoker)» Мережа містить 8 вершин та 8 дуг Список вершин: Туберкульоз Рак легень Туберкульоз або рак Рентгенівський знімок Бронхіт Задишка Паління Візит до Азії

37 Слайд 37 з 54 Мережа Asia: Топологія Прихована вершина

38 Слайд 38 з 54 Мережа Asia: Отримані результати Значення ймовірностей станів прихованої вершини СтанПочаткові Отримані в результаті експерименту True0,070,05 False0,930,95 Таблиці умовних ймовірностей Початкові Експеримент TuberculosisLung CancerTrueFalse present 1,000 presentabsent01,00 absentpresent1,000 absent 01,00 TuberculosisLung CancerTrueFalse present 0,990,01 presentabsent0,010,99 absentpresent1,000 absent 0,010,99

39 Слайд 39 з 54 Мережа Asia: Отримані результати Збільшення логарифму функції правдоподібності з до Графік логарифмічної функції правдоподібності

40 Слайд 40 з 54 Головний запобіжник Розподілювач Напруга на свічці Свічка запалення Встановлення моменту запалення Якість запалення Паливна система Початок роботи автомобіля Заведення авто Мережа CarStarts: Опис вхідних даних Використовується для діагностики старту роботи автомобіля на основі інформації про свічки запалення, роботу фар, головного запобіжника тощо Мережа містить 18 вершин та 19 дуг Список вершин: Генератор Система зарядки Термін дії акумулятора Напруга акумулятора Фари Повітряний фільтр Повітряна система охолодження Мотор стартера Система старту

41 Слайд 41 з 54 Мережа CarStarts: Топологія Прихована вершина

42 Слайд 42 з 54 MFSMBVOkayFault okayOkaystrong0,880,12 okayOkayweak0,830,17 okayOkaydead0,10,9 okayFaultystrong0,001,00 okayFaultyweak0,001,00 okayFaultydead0,001,00 ………...… blownOkayweak01,00 blownOkaydead01,00 Мережа CarStarts: Отримані результати Значення ймовірностей станів прихованої вершини СтанПочаткові Отримані в результаті експерименту Okay0,600,55 Faulty0,400,45 Таблиці умовних ймовірностей ПочатковіЕксперимент MFSMBVOkayFault okayOkaystrong0,980,02 okayOkayweak0,900,10 okayOkaydead0,100,90 okayFaultystrong0,020,98 okayFaultyweak0,010,99 okayFaultydead0,010,99 ………...… blownOkayweak01,00 blownOkaydead01,00

43 Слайд 43 з 54 Мережа CarStarts: Отримані результати Збільшення логарифму функції правдоподібності з до Графік логарифмічної функції правдоподібності

44 Слайд 44 з 54 Результати практичного використання СППР BNetMaster Номер експери- менту Назва мережі Правильність відновлення прихованої вершини Кількість ітерацій Функція максимальної правдоподібності до роботи алгоритму після роботи алгоритму 1Alarm Asia CarStarts

45 Слайд 45 з 54 Оцінка функціональних можливостей програмних продуктів для роботи з мережами Байєса та порівняння з розробленою СППР BNetMaster Критерії оцінки: Огляд ринку програмного забезпечення для роботи з мережами Байєса ПозначенняНазваПозначенняНазва SrcВихідний код програмиParamПараметричне навчання API Інтерфейс прикладних програм StructСтруктурне навчання ExecОпераційна системаD/UТипи графів GUI Графічний інтерфейс користувача Infer Алгоритм ймовірнісного висновку D/C Типи вершин (дискретні/неперервні) Free Безкоштовна версія програми DN Підтримка мереж рішень / діаграм впливу

46 Слайд 46 з 54 Огляд ринку програмного забезпечення для роботи з мережами Байєса НазваSrcAPIExecGUID/CDNParamStructD/UInferFree AnalyticaNYWMYGYNNDS$ BassistC++YUGNNYNDMHO BaydaJYWUMYGNYND?O BayesBuilderNNWYDNNND?O BayesiaLabNN-YCdNYYCGJT,G$ BayeswareNNWUMYCdNYYD?$ B-courseNNWUMYCdNYYD?O BNPCNYWYDNYCID?O BNetMasterDNWYDNYYDE(++)O BNTM/CYWUMNGYYYDUS,E(++)O BNJJY-YDNNYDJT,ISO BucketElimC++YWUNDNNNDVEO BUGSNNWUYCsNYNDsGSO BusNavNNWYCdNYYDJT$

47 Слайд 47 з 54 Огляд ринку програмного забезпечення для роботи з мережами Байєса НазваSrcAPIExecGUID/CDNParamStructD/UInferFree CABeNCYWUNDNNNDS(++)O CaMMLCNUNCxNYYDNO CoCo+XlispC/LYUYDNYCIUJTO CIspaceJNWUYDNNNDVEO DealR--YGNMYDNO ErgoNYWMYDNNNDJT(+S)$ GDAGsimCYWUMNGNNNDEO GeNIe/SMILENYWUYDYNNDJT(+S)O GMRFsimCYWUMNGNNNUMCO GMTkNYUNDNYYDJTO gRR O GrappaRY-NDNNNDJTO HuginNYWUYGYYCICGJT$ HydraJY-YCsNYNDUMCO

48 Слайд 48 з 54 Огляд ринку програмного забезпечення для роботи з мережами Байєса НазваSrcAPIExecGUID/CDNParamStructD/UInferFree IdealLYWUMYDYNNNJT$ Java BayesJYWUMYDYNNNJT,VEO MIMNNWYGNYYCGJT$ MSBNxNYWYDYNNDJTO NeticaNYWUMYGYYNDJT$ PMTM/CY-NDNYNDOO PNLC++--NDNYYUDJTO PulcinellaLYWUMYDNNND?O RISOJYWUMYGNNNDPTO TETRADNNWUNGNYCIUDNO UnBBayesJY-YDNNYDJTO VibesJYWUYCxNYNDV?O Web WeaverJYWUMYDYNND?O WinMineNNWYCxNYYUDNO XBAIES 2.0NNWYGYYYCGJTO

49 Слайд 49 з 54 Огляд ринку програмного забезпечення для роботи з мережами Байєса Розроблена СППР BNetMaster не поступається за функціональними можливостями більшості програмних продуктів, що присутні на ринку BNetMaster забезпечує основні функції СППР для роботи з мережами Байєса – параметричне та структурне навчання БМ, формування ймовірнісного висновку BNetMaster має відкритий вихідний код, що дозволяє розширювати функціональні можливості продукту Графічний інтерфейс користувача та безкоштовне використання СППР BNetMaster є значною конкурентною перевагою

50 Слайд 50 з 54 Висновки Проведено аналіз методів побудови БМ, що містять приховані вершини Запропонована методика побудови БМ з прихованими вершинами з використанням ЕМ-алгоритму Розроблена архітектура та реалізована комп'ютерна система підтримки прийняття рішень на основі БМ, що включає в себе реалізацію запропонованої методики Запропонована методика апробована на еталонних БМ, широко використовуються дослідниками в даній галузі. Отримані результати свідчать про адекватність розробленої методики Проведено аналіз ринку програмного забезпечення для роботи БМ та визначено місце розробленої СППР BNetMaster серед аналогічних продуктів

51 Слайд 51 з 54 Перспективи щодо подальших досліджень Реалізація альтернативних методів параметричного навчання БМ з прихованими вершинами та проведення їх порівняльного аналізу. Доповнення до блоку роботи з прихованими вершинами розробленої СППР модулів структурної побудови БМ з використанням алгоритмів SEM та Bound and Collapse. В роботі розглянуті дискретні БМ, тому в подальшому дану роботу можна розглядати як основу для переходу до дослідження більш складних типів БМ, а саме неперервних, динамічних та гібридних.

52 Слайд 52 з 54 Результати впровадження, публікації Акт впровадження результатів дипломної роботи на ПЗІІ Імперіал Тобако Юкрейн Конференції: Міжнародна науково-практична конференціяСистемний аналіз та інформаційні технології (САІТ-2009) Міжнародна науково-практична конференціяСистемний аналіз та інформаційні технології (САІТ-2010)

53 Слайд 53 з 54 Статті: Поданий пакет документів на отримання авторського свідоцтва на програмний продукт BNetMaster від року. Автори: Трофименко Д.В., Давиденко В.І., Терентьєв О.М. Подана стаття Бідюка П.І., Давиденка В.І., Трофименка Д.В., Терентьєва О.М.Сравнительный анализ методов оценки взаимосвязи между вершинами при посроении байесовских сетей до міжнародного науково-технічного журналуПроблемы управления и информатики. Дата опублікування: грудень 2010 року. Результати впровадження, публікації

54 Слайд 54 з 54 Дякую за увагу!

55 Слайд 55 з 54 НазваФункціональні можливостіХарактеристики SrcВихідний код програми N = немає J = Java; M = Mathlab; D = Delphi; L = Lisp C, C++, R – мови програмування APIІнтерфейс прикладних програм N = програма не може бути обєднана з вашим кодом, тобто має виконуватись як автономна програма Y = програма може бути обєднана ExecОпераційна система W = Windows (95/98/200/NT) U = Unix M = MacIntosh - = будь яка з компілятором GUIГрафічний інтерфейс користувача N = ні Y = так D/C Неперервні та/або дискретні типи вершин D = лише дискретні вершини G = Гаусівські вершини (аналітично) Cs = неперервні вершини (вибірка) Cd = неперервні вершини (дискретизація) Cx = неперервні вершини (невідомий метод) DN Підтримка мереж рішень/діаграм впливу N = ні Y = так ParamПараметричне навчання N = ні Y = так FreeБезкоштовна версія програми О = Так (навіть якщо лише з навч. метою) $ = Ні, комерційна (+обмежені версії) Додаток Огляд ринку програмного забезпечення для роботи з мережами Байєса

56 Слайд 56 з 54 НазваФункціональні можливостіХарактеристики StructСтруктурне навчання N = Ні Y = Так Cl = тести на умовну незалежність K2 = алгоритм К2 Купера і Гершковіца D/UТипи графів U = лише неорієнтовані графи D = лише орієнтовані графи UD = орієнтовані та неорієнтовані графи CG = ланцюгові графи (змішані орієнтовані та неорієнтовані) InferАлгоритм ймовірнісного виводу JT = звязне дерево (Junction Tree) VE = виключення змінних PT = Pearls poly-tree E = точний MH = Metropols Hastings MC = Markov chain Monte Carlo (MCMC) GS = Gibbs sampling IS = вибірка по значимості S = формування вибірки O = інший ++ = підтримка багатьох методів ? = не визначений N = немає (+S) = точний з формуванням вибірки Огляд ринку програмного забезпечення для роботи з мережами Байєса Додаток