Применение метода «Бритва Оккама» в задачах машинного обучения Выполнила Дьякова Ярослава. - презентация

1 Применение метода «Бритва Оккама» в задачах машинного обучения Выполнила Дьякова Ярослава

2 Вильям Оккам Родился примерно в 1290-м году. Закончил Оксфордский университет. Умер в 1338 году.

3 Принцип «Бритва Оккама» Pluralitas non est ponenda sine necessitas Сложность не должна использоваться без необходимости

4 Интерпретации метода Между двумя моделями, которые дают эквивалентные предсказания, следует выбрать более простую. Если два правила принятия решений классифицируют существующие данные одинаково хорошо, то более простое, скорее всего, будет классифицировать новые данные корректнее.

5 Интерпретации метода Если дано простое правило принятия решений А и намного более сложное правило В, которое только немного лучше классифицирует существующие данные, то А, скорее всего, будет лучше классифицировать новые данные. Простые классификаторы, скорее всего, точнее.

6 Два основополагающих принципа Предпочтение отдается простейшей модели, объясняющей наблюдения. Простые классификаторы, скорее всего, точнее.

7 Использование методов в построении деревьев решений Самое маленькое дерево – лучшее Построить самое маленькое дерево – неразрешимая задача на больших выборках Строится несколько приближенных к самому маленькому и выбирается лучшее

8 Способы выбора лучшего атрибута Least-Values: выбор атрибута с наименьшим количеством значений Most-Values: выбор атрибута с наибольшим количеством значений Max-Gain: выбор атрибута с наибольшим значением выигрыша информации Случайно

9 Устранение шумов Бритва Оккама также используется в построении деревьев, чтобы избежать излишней подгонки данных под выборку.

10 Пример использования метода

11 Описание работы программы Для того, чтобы получить дерево следует загрузить выборку, выбрать ключевой атрибут и нажать на кнопку выбранного способа Программа выведет на экран соответствующее дерево

12 Результаты Least-Values Количество узлов 21

13 Результаты Most-Values Количество узлов 17

14 Результаты Max-Gain Количество узлов 8

15 Выводы Наиболее широкое применение метод «Бритва Оккама» получил в построении деревьев решений. При помощи него можно найти оптимальное по своей сложности и величине дерево. Метод позволяет избежать излишней подгонки данных к обучающей выборке, а значит, позволяет построенным деревьям лучше классифицировать новые примеры. Следуя принципу «Бритвы Оккама», самое лучшее дерево построено при помощи алгоритма ID3 (Max- Gain)