Машинное обучение Введение Владимир Вежневец, Антон Конушин Александр Вежневец Компьютерное зрение МГУ ВМК, Осень 2006. - презентация

1 Машинное обучение Введение Владимир Вежневец, Антон Конушин Александр Вежневец Компьютерное зрение МГУ ВМК, Осень 2006

2 План Лекции Машинное обучение и его применение в машинном зрении; Машинное обучение и его применение в машинном зрении; Формальное определение и основные понятия; Формальное определение и основные понятия; Феномен переобучения; Феномен переобучения; Состоятельность метода обучения; Состоятельность метода обучения; Элементы теории Вапника-Червоненкиса; Элементы теории Вапника-Червоненкиса; Методы экспериментальной оценки и сравнения классификаторов; Методы экспериментальной оценки и сравнения классификаторов;

3 Зачем нужно обучение? Машинное обучение – настройка работы программы на данных-примерах или на предшествующем опыте. Машинное обучение – настройка работы программы на данных-примерах или на предшествующем опыте. Обучение не требуется для того, чтобы отсортировать массив. Обучение не требуется для того, чтобы отсортировать массив. Обучение требуется когда: Обучение требуется когда: Опыт отсутствует или трудно формулируется (распознавание речи) Опыт отсутствует или трудно формулируется (распознавание речи) Решение меняется со временем или решение должно легко адаптироваться к частным случаем (биометрия, маршрутизация в сетях) Решение меняется со временем или решение должно легко адаптироваться к частным случаем (биометрия, маршрутизация в сетях) Точная, строго вычислимая модель слишком сложна для построения (шахматы) Точная, строго вычислимая модель слишком сложна для построения (шахматы)

4 Обучение подразумевает Построение общей модели на основе конкретных примеров; Построение общей модели на основе конкретных примеров; Нужно построить модель, которая является хорошим и практичным приближением данных. Нужно построить модель, которая является хорошим и практичным приближением данных.

5 Применение Медицина: диагностика; Медицина: диагностика; Финансы: скоринг, обнаружение подделок; Финансы: скоринг, обнаружение подделок; Сети: поисковые системы; Сети: поисковые системы; Маркетинг: прогнозы продаж, связь с потребителем; Маркетинг: прогнозы продаж, связь с потребителем; Производство: дефектоскопия, оптимизация; Производство: дефектоскопия, оптимизация; Телекоммуникации: оптимизация качества сервиса; Телекоммуникации: оптимизация качества сервиса; Машинное зрение. Машинное зрение.

6 Машинное обучение С учителем С учителем Есть объекты и «правильные ответы» на них – построить «связь» Есть объекты и «правильные ответы» на них – построить «связь» Например, есть гистограммы цветов ночных и дневных изображений, требуется построить правило по которым их можно отличать Например, есть гистограммы цветов ночных и дневных изображений, требуется построить правило по которым их можно отличать Без учителя Без учителя Есть данные, нужно сделать о них какие-то выводы Есть данные, нужно сделать о них какие-то выводы Например, есть гистограмма цветов изображения, требуется выделить несколько основных цветов изображения Например, есть гистограмма цветов изображения, требуется выделить несколько основных цветов изображения «На лету» «На лету» Обучение происходит во время работы Обучение происходит во время работы

7 Роль обучения в машинном зрение Низкоуровневое зрение Низкоуровневое зрение Выделение краев Выделение краев Цветовая сегментация (кластеризация) Цветовая сегментация (кластеризация) … Зрение высокого уровня Зрение высокого уровня Поиск объектов на изображениях Поиск объектов на изображениях Сегментация на предопределенные области Сегментация на предопределенные области … *Вопрос: Как сработает поиск краев?

8 Пример: Auto PopUp Система автоматической сегментации и реконструкции сцены по одному изображению Система автоматической сегментации и реконструкции сцены по одному изображению

9 Auto PopUp Исходное изображение Пересегментированное изображение *Материал предыдущих лекций

10 Auto PopUp Пересегментированное изображение Множество векторов дескрипторов областей *Материал предыдущих лекций Высокая размерность! *Вопрос: какие могут быть дескрипторы областей?

11 Auto PopUp Множество векторов дескрипторов областей Множество маркеров областей *Процесс разметки «выучивается» системой из составленной экспертом базы изображений с известной разметкой Маркеры областей 3х мерным поверхностям: Небо Земля Вертикальные поверхности

12 Auto PopUp Множество маркеров областей Перенос разметки на изображение и её анализ *Анализ разметки проводится алгоритмами о которых пойдёт речь в третьей части курса

13 Auto PopUp Трехмерная модель!

14 Auto PopUp Почему здесь потребовалось именно обучение и можно ли было обойтись без него? Почему здесь потребовалось именно обучение и можно ли было обойтись без него? Данные: Данные: Высокая размерность – десятки признаков; Высокая размерность – десятки признаков; Огромное количество – на каждом изображении порядка сотни регионов; Огромное количество – на каждом изображении порядка сотни регионов; Сложная, неочевидная для человека связь между описанием региона и его маркером; Сложная, неочевидная для человека связь между описанием региона и его маркером; Подбор правила вручную (экспертом) занял бы очень много времени и не мог бы гарантировать желаемый результат! Подбор правила вручную (экспертом) занял бы очень много времени и не мог бы гарантировать желаемый результат!

15 Auto PopUp Обучение дало: Обучение дало: Автоматизированный рабочий процесс; Автоматизированный рабочий процесс; Четкие количественные оценки качества; Четкие количественные оценки качества; Гарантированный результат; Гарантированный результат;

16 Машинное обучение с учителем Определения и понятия Пусть существуют два множества: Пусть существуют два множества: Множество объектов X Множество объектов X Множество ответов Y Множество ответов Y Существует целевая функция значения которой известны лишь на подмножестве Существует целевая функция значения которой известны лишь на подмножестве - обучающая выборка - обучающая выборка - прецедент - прецедент

17 Машинное обучение Постановка задачи Требуется построить отображение (гипотезу) Требуется построить отображение (гипотезу) такое что: такое что: a – допускает эффективную программную реализацию; a – допускает эффективную программную реализацию; Отображение воспроизводит на обучающей выборке требуемые ответы (возможно, с некоторой вероятностью) Отображение воспроизводит на обучающей выборке требуемые ответы (возможно, с некоторой вероятностью) Отображение способно к обобщению – совпадает с целевым не только на обучающей выборке. Отображение способно к обобщению – совпадает с целевым не только на обучающей выборке. Возможны дополнительные ограничения – гладкость, монотонность и т.д. (определяется задачей) Возможны дополнительные ограничения – гладкость, монотонность и т.д. (определяется задачей)

18 Машинное обучение Различные частные задачи Классификация: Y – конечное множество Классификация: Y – конечное множество Бинарная - Бинарная - Multiclass - Multiclass - Multilabel - Multilabel - Регрессия:, действительные числа Регрессия:, действительные числа

19 Замечание В данной постановке задача является некорректно поставленной и сама по себе ставит множество вопросов: В данной постановке задача является некорректно поставленной и сама по себе ставит множество вопросов: В каком виде искать гипотезу а ? В каком виде искать гипотезу а ? Ясно, что решений будет существовать бесконечное число, как выбрать из них одно единственное? Ясно, что решений будет существовать бесконечное число, как выбрать из них одно единственное? Какой математический аппарат применять? Какой математический аппарат применять? …

20 Модель алгоритма Пусть А – параметрическое семейство отображений Пусть А – параметрическое семейство отображений Г – пространство допустимых значений параметра (пространство поиска) Г – пространство допустимых значений параметра (пространство поиска) Будем выбирать отображение для решение задачи из А Будем выбирать отображение для решение задачи из А Процесс выбора назовём обучением Процесс выбора назовём обучением

21 Метод обучения Отображение, строящее отображение по обучающей выборке назовём методом обучения Отображение, строящее отображение по обучающей выборке назовём методом обучения Метод должен допускать эффективную программную реализацию; Метод должен допускать эффективную программную реализацию; Обучение сводится к поиску точки в пространстве поиска Г Обучение сводится к поиску точки в пространстве поиска Г

22 Пример: Линейный классификатор Модель алгоритма: Модель алгоритма: Пространство поиска – значения вектора и смещения с Пространство поиска – значения вектора и смещения с Гипотеза a – какая-то конкретная прямая Гипотеза a – какая-то конкретная прямая Скалярное произведение Обучающая выборка Данные, с неизвестными ответами

23 Оценка качества результата Функция потерь Функция потерь характеризует отличие правильного ответа от ответа данного построенным отображением Функция потерь характеризует отличие правильного ответа от ответа данного построенным отображением - индикатор потери - индикатор потери - отклонение - отклонение - квадратичное отклонение - квадратичное отклонение - индикатор существенного отклонение - индикатор существенного отклонение

24 Оценка качества результата Эмпирический риск Пусть, - обучающая выборка Пусть, - обучающая выборка Эмпирический риск (ошибка тренировки): Эмпирический риск (ошибка тренировки): Метод минимизации эмпирического риска*: Метод минимизации эмпирического риска*: *мы свели задачу машинного обучения к задаче оптимизации *мы свели задачу машинного обучения к задаче оптимизации

25 Замечание Гипотез, имеющих нулевой эмпирический риск может так же существовать неограниченное количество: Гипотез, имеющих нулевой эмпирический риск может так же существовать неограниченное количество: Наиболее общая гипотеза Наиболее частная гипотеза Золотая середина? Вопрос: Какова здесь модель?

26 Модельная задача Данные Целевая функция – Целевая функция – Тренировочная выборка – Тренировочная выборка – Контрольная выборка – Контрольная выборка – На ней проверим работу На ней проверим работу *Вопрос: как будут выглядеть выборки?

27 Модельная задача Модель алгоритма и метод обучения Модель алгоритма – Модель алгоритма – Полиномы степени n Полиномы степени n Метод обучения – Метод обучения – Минимизация эмпирического риска Минимизация эмпирического риска *Методы аппроксимации полиномами известны из курса численных методов

28 Результат для n=40

29 Переобучение (overfitting) Феномен наличия высокой ошибки на контрольной выборке при малой ошибке на обучающей Феномен наличия высокой ошибки на контрольной выборке при малой ошибке на обучающей На практике очень частый эффект! На практике очень частый эффект! Фактически, главная проблема машинного обучения Фактически, главная проблема машинного обучения

30 Переобучение Причина – гипотеза хорошо описывает свойства не объектов в целом, но только лишь объектов из обучающей выборки: Причина – гипотеза хорошо описывает свойства не объектов в целом, но только лишь объектов из обучающей выборки: Слишком много степеней свободы параметров модели алгоритма (слишком сложная модель) Слишком много степеней свободы параметров модели алгоритма (слишком сложная модель) Шум в данных Шум в данных Плохая обучающая выборка Плохая обучающая выборка Как формализовать и оценить склонность алгоритма к переобучению? Как формализовать и оценить склонность алгоритма к переобучению?

31 Состоятельность метода На пальцах Метод состоятелен, если он с большой вероятностью делает маленькую ошибку на данных не присутствовавших в обучающей выборке Метод состоятелен, если он с большой вероятностью делает маленькую ошибку на данных не присутствовавших в обучающей выборке Мы говорим «с большой вероятностью» потому что точно мы не сможем сказать никогда Мы говорим «с большой вероятностью» потому что точно мы не сможем сказать никогда Требуется вероятностная формулировка обучения Требуется вероятностная формулировка обучения

32 Вероятностная формулировка Пусть – вероятностное пространство Пусть – вероятностное пространство Пусть мера пространства P Пусть мера пространства P Множество прецедентов выбрано случайно и независимо согласно распределению P (случайная выборка); для них известны ответы Множество прецедентов выбрано случайно и независимо согласно распределению P (случайная выборка); для них известны ответы Требуется построить отображение Требуется построить отображение

33 Вероятностная формулировка Бинарная классификация Эмпирический риск: Эмпирический риск: Общий риск: Общий риск: рассчитать невозможно рассчитать невозможно требуется минимизировать требуется минимизировать Модель алгоритма и метод обучения определяются так же Модель алгоритма и метод обучения определяются так же

34 Состоятельность метода Метод обучения называется состоятельным, если Метод обучения называется состоятельным, если Для достаточно малых значений точности и больших значений надёжности Для достаточно малых значений точности и больших значений надёжности Общий риск ТочностьНадежность

35 Вопросы Как оценить состоятельность метода? Как оценить состоятельность метода? Как выбрать оптимальный, с точки зрения общего риска, алгоритм? Как выбрать оптимальный, с точки зрения общего риска, алгоритм?

36 Теория Вапника-Червоненкиса Теория, предложенная русским математиком Владимиром Вапником, для оценки способности к обучению различных моделей алгоритмов Теория, предложенная русским математиком Владимиром Вапником, для оценки способности к обучению различных моделей алгоритмов Основные результаты теории: Основные результаты теории: Оценка сложности (емкости) модели алгоритма Оценка сложности (емкости) модели алгоритма Оценка состоятельности через эмпирический риск и сложность модели Оценка состоятельности через эмпирический риск и сложность модели

37 Размерность Вапника-Червоненкиса Пусть: Пусть: А – модель алгоритма (бинарной классификации) А – модель алгоритма (бинарной классификации) Пример – A – все прямые, a – конкретная прямая Пример – A – все прямые, a – конкретная прямая X – исходное пространство объектов X – исходное пространство объектов Тогда, размерностью Вапника-Червоненкиса модели алгоритма А, назовем число равное максимальному числу точек из X, которые алгоритмы из А могут разбить на два класса всеми возможными способами Тогда, размерностью Вапника-Червоненкиса модели алгоритма А, назовем число равное максимальному числу точек из X, которые алгоритмы из А могут разбить на два класса всеми возможными способами Обозначение: Обозначение:

38 Пример для прямой на плоскости

39 Оценка состоятельности Пусть, Пусть, Общий риск складывается из двух частей – эмпирический риск и штраф за сложность: Общий риск складывается из двух частей – эмпирический риск и штраф за сложность: Общий рискЭмпирический рискШтраф за сложность Точность Надежность

40 Штраф за сложность Тем меньше, чем больше обучающая выборка Тем меньше, чем больше обучающая выборка Тем больше, чем больше требуемая надежность Тем больше, чем больше требуемая надежность Тем больше, чем больше сложность модели Тем больше, чем больше сложность модели

41 Принцип структурной минимизации риска Основная идея - «Выбрать модель наиболее простую из достаточно точных» Основная идея - «Выбрать модель наиболее простую из достаточно точных» Пусть есть семейство моделей А с выделенной последовательностью подсемейств возрастающей сложности Пусть есть семейство моделей А с выделенной последовательностью подсемейств возрастающей сложности Выберем семейство с минимальной сложностью, но обеспечивающее нужную точность Выберем семейство с минимальной сложностью, но обеспечивающее нужную точность

42 Иллюстрация Слишком сложная? Слишком простая? Оптимальная?

43 Практический вывод из VC теории Требуется баланс между сложностью модели, обеспечивающей низкий эмпирический риск и простотой, обеспечивающей способность к обобщению Требуется баланс между сложностью модели, обеспечивающей низкий эмпирический риск и простотой, обеспечивающей способность к обобщению

44 Проблема теоретических оценок общего риска Нетривиально рассчитываются для конкретных алгоритмов Нетривиально рассчитываются для конкретных алгоритмов Сильно завышены Сильно завышены Как следствие, для практической задачи малоинформативны Как следствие, для практической задачи малоинформативны

45 Методы экспериментальной оценки качества алгоритмов Для конкретной задачи, желательно получить точные количественные оценки качества работы Для конкретной задачи, желательно получить точные количественные оценки качества работы Используются экспериментальные методы: Используются экспериментальные методы: Удерживание Удерживание Скользящий контроль Скользящий контроль 5-2 контроль 5-2 контроль …

46 Удерживание Вспомним, что такое общий риск: Вспомним, что такое общий риск: Его минимизация для нас является основной целью Его минимизация для нас является основной целью Однако, напрямую его посчитать невозможно (требует вычислений на неограниченном множестве) Однако, напрямую его посчитать невозможно (требует вычислений на неограниченном множестве) Оценим общий риск ошибкой на некотором конечном подмножестве X не пересекающимся с обучающей выборкой: Оценим общий риск ошибкой на некотором конечном подмножестве X не пересекающимся с обучающей выборкой:

47 Удерживание Пусть, имеется набор данных с известными ответами Пусть, имеется набор данных с известными ответами Разобьем Разобьем Будем использовать для обучения, а для контроля Будем использовать для обучения, а для контроля То есть: То есть:

48 Недостатки удерживания Быстро и просто рассчитывается Быстро и просто рассчитывается Некоторые «сложные» прецеденты могут полностью попасть в только одну из выборок и тогда оценка ошибки будет смещенной Некоторые «сложные» прецеденты могут полностью попасть в только одну из выборок и тогда оценка ошибки будет смещенной Контроль Обучение Ошибка произойдет не по вине классификатора, а из-за разбиения! *возможна и обратная ситуация

49 Повторное удерживание Если разбиение на контроль и обучение может быть не устойчивым, то почему бы не провести его много раз и не усреднить? Если разбиение на контроль и обучение может быть не устойчивым, то почему бы не провести его много раз и не усреднить? Такой методикой мы частично избавимся от проблемы «сложных прецедентов»; Такой методикой мы частично избавимся от проблемы «сложных прецедентов»; НО, вероятность того, что какие-то прецеденты ни разу не попадут в контрольную выборку всё равно велика; НО, вероятность того, что какие-то прецеденты ни разу не попадут в контрольную выборку всё равно велика; Процесс становиться сильно рандомизированным; Процесс становиться сильно рандомизированным;

50 Скользящий контроль Разделим выборку на множество непересекающихся частей и будем поочередно использовать одно из них для контроля а остальные для тренировки Разделим выборку на множество непересекающихся частей и будем поочередно использовать одно из них для контроля а остальные для тренировки Разбиваем: Разбиваем: Приближаем риск: Приближаем риск:

51 Иллюстрация Контроль Обучение Результат считается как средняя ошибка по всем итерациям

52 Свойства В пределе равен общему риску В пределе равен общему риску Каждый прецедент будет один раз присутствовать в контрольной выборке Каждый прецедент будет один раз присутствовать в контрольной выборке Обучающие выборки будут сильно перекрываться (чем больше сегментов, тем больше перекрытие) Обучающие выборки будут сильно перекрываться (чем больше сегментов, тем больше перекрытие) Если один группа «сложных прецедентов» попала полностью в один сегмент, то оценка будет смещенной Если один группа «сложных прецедентов» попала полностью в один сегмент, то оценка будет смещенной

53 5-2 контроль (5-2 cross validation) Некоторый компромисс: Некоторый компромисс: Проведем замер ошибки методом скользящего контроля с двумя сегментами Проведем замер ошибки методом скользящего контроля с двумя сегментами Повторим этот эксперимент пять раз и усредним результат Повторим этот эксперимент пять раз и усредним результат Свойства: Свойства: Каждый из прецедентов будет учувствовать в контрольных выборках на каждом из 5 этапов; Каждый из прецедентов будет учувствовать в контрольных выборках на каждом из 5 этапов; Из-за малого числа сегментов и множества испытаний вероятность того, что какая-то группа прецедентов всегда будет в одном сегменте становится очень мала Из-за малого числа сегментов и множества испытаний вероятность того, что какая-то группа прецедентов всегда будет в одном сегменте становится очень мала

54 Почему так? Мы привели лишь эвристическое обоснование данных методик, НО для этого всего есть строгое обоснование основанное на мат-статистике Мы привели лишь эвристическое обоснование данных методик, НО для этого всего есть строгое обоснование основанное на мат-статистике

55 Виды ошибок Измерения ошибки как «вероятности выдать неверный ответ» может быть не всегда достаточно Измерения ошибки как «вероятности выдать неверный ответ» может быть не всегда достаточно 15% ошибки при постановке диагноза может означать как и то что, 15 % больных будут признаны здоровыми (и возможно умрут от отсутствия лечения), так и то, что 15% здоровых больными (и деньги на лечение будут потрачены зря) 15% ошибки при постановке диагноза может означать как и то что, 15 % больных будут признаны здоровыми (и возможно умрут от отсутствия лечения), так и то, что 15% здоровых больными (и деньги на лечение будут потрачены зря) При неравнозначности ошибок для разных классов вводят понятие ошибки первого и второго рода и замеряют их по отдельности При неравнозначности ошибок для разных классов вводят понятие ошибки первого и второго рода и замеряют их по отдельности

56 Ошибки I и II рода Пусть, существует «основной класс» Пусть, существует «основной класс» Обычно, это класс, при обнаружении которого, предпринимается какое-либо действие; Обычно, это класс, при обнаружении которого, предпринимается какое-либо действие; Например, при постановке диагноза основным классом будет «болен», а вторичным классом «здоров». Например, при постановке диагноза основным классом будет «болен», а вторичным классом «здоров». Ошибка первого рода равна вероятности принять основной класс за вторичный Ошибка первого рода равна вероятности принять основной класс за вторичный Вероятность «промаха», когда искомый объект будет пропущен Вероятность «промаха», когда искомый объект будет пропущен Ошибка второго рода равна вероятности принять вторичный класс за основной Ошибка второго рода равна вероятности принять вторичный класс за основной Вероятность «ложной тревоги», когда за искомый объект будет принят «фон» Вероятность «ложной тревоги», когда за искомый объект будет принят «фон»

57 Ошибки I и II рода Истинная гипотеза Ошибка II рода Ошибка I рода Построенная гипотеза Будем считать красные точки «основным классом»

58 Ошибки I и II рода Что считать основным классом зависит полностью от прикладной специфики Что считать основным классом зависит полностью от прикладной специфики Особенно важно оценивать ошибки I и II рода раздельно при несбалансированности классов: Особенно важно оценивать ошибки I и II рода раздельно при несбалансированности классов: Пусть Пусть Тогда при нулевой ошибке II рода и ошибке I рода 0.5 Тогда при нулевой ошибке II рода и ошибке I рода 0.5 Общая ошибка всего лишь Общая ошибка всего лишь

59 Чувствительность vs Избирательность Чувствительность – вероятность дать правильный ответ на пример основного класса Чувствительность – вероятность дать правильный ответ на пример основного класса Избирательность – вероятность дать правильный ответ на пример вторичного класса Избирательность – вероятность дать правильный ответ на пример вторичного класса *Вопрос – как связаны данные понятия и ошибки I и II рода?

60 Регулировка баланса Почти все алгоритмы классификации допускают регулировку соотношения ошибки I и II рода за счет варьирования некоторого параметра Почти все алгоритмы классификации допускают регулировку соотношения ошибки I и II рода за счет варьирования некоторого параметра

61 ROC кривая ROC – Receiver Operating Characteristic curve ROC – Receiver Operating Characteristic curve Кривая, отражающая зависимость чувствительности и ошибки второго рода Кривая, отражающая зависимость чувствительности и ошибки второго рода Худший случай Лучший случай

62 ROC кривая Построение Для различных значений параметра строится таблица ошибок Для различных значений параметра строится таблица ошибок Сам параметр в таблице не участвует! Сам параметр в таблице не участвует! Классификатор строиться и оценивается на разных выборках! Классификатор строиться и оценивается на разных выборках! Sensitivity False Positive …… По таблице строиться набор точек в плоскости sensitivity/FP По таблице строиться набор точек в плоскости sensitivity/FP Каждая строка таблицы - точка Каждая строка таблицы - точка По точкам строиться кривая По точкам строиться кривая

63 Анализ ROC кривой Площадь под графиком – AUC Площадь под графиком – AUC Дает некоторый объективный показатель качества классификатора Дает некоторый объективный показатель качества классификатора Позволяет сравнивать разные кривые Позволяет сравнивать разные кривые Соблюдение требуемого значения ошибок I и II рода Соблюдение требуемого значения ошибок I и II рода Зачастую, для конкретной задачи существуют рамки на ошибку определенного рода. С помощью ROC можно анализировать возможность текущего решения соответствовать требованию Зачастую, для конкретной задачи существуют рамки на ошибку определенного рода. С помощью ROC можно анализировать возможность текущего решения соответствовать требованию

64 Пример Данные – точки на плоскости Данные – точки на плоскости Модель алгоритма – порог по оси X Модель алгоритма – порог по оси X Метод обучения – минимизация эмпирического риска полным перебором Метод обучения – минимизация эмпирического риска полным перебором

65 Удерживание Тренировочная выборка Контрольная выборка Ошибка: Ошибка:

66 Повторное удерживание Тренировочная ошибка: Тренировочная ошибка: { } { } Среднее = Среднее = Ошибка на контроле Ошибка на контроле { } { } Среднее = Среднее =

67 Скользящий контроль Разбиваем на множества

68 Скользящий контроль Итеративно измеряем ошибку

69 Скользящий контроль Тренировочная ошибка: Тренировочная ошибка: { } { } Среднее = Среднее = Ошибка на контроле Ошибка на контроле { } { } Среднее = Среднее =

70 Построение ROC Построение таблицы Меняем порог и оцениваем ошибку Меняем порог и оцениваем ошибкуSensitivity False Positive ……

71 Построение ROC Построение кривой По таблице строим точки По таблице строим точки Точки интерполируем кривой Точки интерполируем кривой

72 Итоги лекции Возможные вопросы на экзамене! Постановка задачи машинного обучения с учителем Постановка задачи машинного обучения с учителем Основные определения: Основные определения: Модель алгоритма, метод обучения, гипотеза, общий и эмпирический риск Модель алгоритма, метод обучения, гипотеза, общий и эмпирический риск Принцип минимизации эмпирического риска и проблема переобучения Принцип минимизации эмпирического риска и проблема переобучения Состоятельность метода обучения Состоятельность метода обучения Размерность Вапника-Червоненкиса семейства моделей Размерность Вапника-Червоненкиса семейства моделей Оценка состоятельности семейства моделей Оценка состоятельности семейства моделей Принцип структурной минимизации риска Принцип структурной минимизации риска Экспериментальные методы оценки классификаторов Экспериментальные методы оценки классификаторов Удерживание, скользящий контроль Удерживание, скользящий контроль Ошибка I и II рода Ошибка I и II рода ROC кривая ROC кривая

73 Следующая лекция Обзор методов обучения Обзор методов обучения Вероятно, будет выдано второе задание Вероятно, будет выдано второе задание

74 Сдайте !

75 Использованы материалы Слайды доклада «Supervised Learning of Edges and Object Boundaries» Piotr Dollár Zhuowen Tu Serge Belongie Слайды доклада «Supervised Learning of Edges and Object Boundaries» Piotr Dollár Zhuowen Tu Serge Belongie Черновики лекций «Математические методы обучения по прецедентам» Константин Воронцов Черновики лекций «Математические методы обучения по прецедентам» Константин Воронцов