Применение свертки при увеличении изображений (линейные методы ресамплинга)

План Введение Введение Интерполяция Интерполяция Артефакты интерполяции Артефакты интерполяции –Алиасинг –Размытие –Эффект Гиббса

Введение Изображения представляются в виде двумерной матрицы пикселей Изображения представляются в виде двумерной матрицы пикселей Как увеличить размер изображения? Как увеличить размер изображения? Простейший способ: метод «ближайшего соседа», или просто растяжение пикселей Простейший способ: метод «ближайшего соседа», или просто растяжение пикселей

Недостаток метода: Изображение получается сильно пикселизованнымВведение Увеличение методом «ближайшего соседа», или повторением пикселей Увеличение методом «ближайшего соседа», или повторением пикселей

Интерполяция Интерполяция – нахождение промежуточных значений по имеющемуся дискретному набору известных значений. Интерполяция – нахождение промежуточных значений по имеющемуся дискретному набору известных значений.

Интерполяция Существуют разные способы интерполяции. На этом слайде показан метод «ближайшего соседа» Существуют разные способы интерполяции. На этом слайде показан метод «ближайшего соседа»

Интерполяция Функция становится более гладкой, если вместо ступенек соединять точки прямыми. Это простейшая линейная интерполяция первого порядка Функция становится более гладкой, если вместо ступенек соединять точки прямыми. Это простейшая линейная интерполяция первого порядка

Интерполяция Функцию можно также аппроксимировать с помощью кубических сплайнов. Этот метод наиболее широко используется в программах обработки изображений Функцию можно также аппроксимировать с помощью кубических сплайнов. Этот метод наиболее широко используется в программах обработки изображений

Интерполяция Кубический сплайн Эрмита – функция, которая на каждом отрезке интерполяции: Кубический сплайн Эрмита – функция, которая на каждом отрезке интерполяции: –является многочленом третьей степени –непрерывна и имеет непрерывную производную x i-1 xixi S i (x)=a 3 x+b 2 x+cx+d S(x i-1 ) = f(x i-1 ) S(x i ) = f(x i ) S (x i-1 ) = f (x i-1 ) S (x i ) = f (x i )

Интерполяция Интерполяция изображений Интерполяция изображений –Пиксели изображений представляются в виде точек –Сутью увеличения изображений является нахождение значений в промежуточных точках

Интерполяция Билинейная интерполяция – это линейная интерполяция в двумерном случае Билинейная интерполяция – это линейная интерполяция в двумерном случае x y

Интерполяция Бикубическая интерполяция Бикубическая интерполяция 1 0 x y Кубический сплайн Эрмита в двумерном случае: - Фиксация значений функции и её производных,, в узлах сетки

Интерполяция Невозможно точно восстановить информацию Невозможно точно восстановить информацию

Интерполяция Сравнение простейших методов интерполяции Сравнение простейших методов интерполяции Метод «ближайшего соседа» Билинейная интерполяция Бикубическая интерполяция

Интерполяция Любой линейный метод представляет собой свёртку Любой линейный метод представляет собой свёртку В двумерном случае В двумерном случае Результат зависит от выбора ядра K Результат зависит от выбора ядра K

Интерполяция Примеры ядер: Примеры ядер: –Метод «ближайшего соседа» –Линейная интерполяция –Кубическая интерполяция

Интерполяция Примеры ядер: Примеры ядер: –Гауссовская интерполяция –«Идеальная» интерполяция

Интерполяция Примеры ядер: Примеры ядер: –Интерполяция Ланцоша 2 и 3 порядка

Интерполяция Недостатки линейных методов: Недостатки линейных методов: –Алиасинг (неровности, эффект «лесенки») –Размытие –Эффект Гиббса

Алиасинг Значения слова «алиасинг» Значения слова «алиасинг» –Ступенчатость, неровность (при увеличении) –Эффект наложения (при уменьшении)(т. Котельникова) –Зубцеобразный дефект (в синтезе) Метод ближайшего соседа Билинейная интерполяция Нелинейный адаптивный метод Исходное изображение

Алиасинг Алиасинг как эффект наложения при уменьшении Алиасинг как эффект наложения при уменьшении

Алиасинг Алиасинг как зубцеобразный дефект при построении линий и текстур Алиасинг как зубцеобразный дефект при построении линий и текстур

Эффект Гиббса Эффект Гиббса – это негативный эффект, возникающий при интерполяции. На изображениях проявляется в виде ореолов возле резких перепадов интенсивности Эффект Гиббса – это негативный эффект, возникающий при интерполяции. На изображениях проявляется в виде ореолов возле резких перепадов интенсивности

Недостатки линейных методов Эффект Гиббса Эффект Гиббса – это негативный эффект, возникающий при интерполяции. На изображениях проявляется в виде ореолов возле резких перепадов интенсивности Эффект Гиббса – это негативный эффект, возникающий при интерполяции. На изображениях проявляется в виде ореолов возле резких перепадов интенсивности

Эффект Гиббса билинейная интерполяция нелинейный метод эффект Гиббса эффект Гиббса

Интерполяция Невозможно построить наилучший линейный метод Невозможно построить наилучший линейный метод Эффект ГиббсаРазмытие Алиасинг Метод «ближайшего соседа» Билинейная интерполяция Бикубическая интерполяция «Идеальная» интерполяция Гауссовская интерполяция Интерполяция Ланцоша 3 порядка Интерполяция Ланцоша 2 порядка

Нелинейные методы Избавиться от недостатков линейных методов можно с помощью адаптивных нелинейных методов Избавиться от недостатков линейных методов можно с помощью адаптивных нелинейных методов Нелинейный методЛинейные методы

Нелинейные методы билинейная интерполяция билинейная интерполяция нелинейный метод нелинейный метод

Примеры нелинейных методов Градиентные методы Основная идея: использование разных ядер для интерполяции вдоль и поперёк границ Основная идея: использование разных ядер для интерполяции вдоль и поперёк границ x y

Примеры нелинейных методов NEDI Увеличение только в 2 раза Увеличение только в 2 раза Основная идея: самоподобие изображения при увеличении Основная идея: самоподобие изображения при увеличении Белый цвет – пиксели исходного изображения Зелёный – первый проход Красный – второй проход

Примеры нелинейных методов NEDI Первый проход Первый проход Коэффициенты выбираются из предположения, что эти же коэффициенты использовались при получении текущего изображения из его уменьшенной версии

Примеры нелинейных методов NEDI Второй проход Второй проход Второй проход аналогичен первому. В интерполяции участвуют пиксели, посчитанные в первом проходе

Примеры нелинейных методов NEDI Второй проход Второй проход Второй проход аналогичен первому. В интерполяции участвуют пиксели, посчитанные в первом проходе

Примеры нелинейных методов Обратная задача Постановка задачи в виде уравнения Постановка задачи в виде уравнения где z – увеличенное изображение, u – уменьшенное изображение, A – оператор, уменьшающий изображение Увеличение как решение уравнения с применением итерационных методов Увеличение как решение уравнения с применением итерационных методов Проблемы: для одного и того же u существует несколько z + неустойчивость. Проблемы: для одного и того же u существует несколько z + неустойчивость.

Нелинейные методы Регуляризирующий метод Одним из способов решения некорректной задачи Az=u является метод регуляризации, созданный основоположником факультета ВМК академиком А.Н.Тихоновым Одним из способов решения некорректной задачи Az=u является метод регуляризации, созданный основоположником факультета ВМК академиком А.Н.Тихоновым Регуляризация сводит некорректно поставленную задачу к корректной за счет использования дополнительных ограничений. Регуляризация сводит некорректно поставленную задачу к корректной за счет использования дополнительных ограничений.

Нелинейные методы Регуляризирующий метод Решение задачи повышения разрешения ищется в виде где Решение задачи повышения разрешения ищется в виде где - параметр регуляризации - параметр регуляризации

Нелинейные методы Регуляризирующий метод Выбор стабилизатора Выбор стабилизатора –Тихоновский –Total Variation, –Bilateral TV и - операторы сдвига по осям x и y на s и t пикселей соответственно,, р=1

Нелинейные методы Регуляризирующий метод Для минимизации регуляризирующего функционала Для минимизации регуляризирующего функционала применяется итерационный субградиентный метод

Нелинейные методы Регуляризирующий метод билинейная интерполяция регуляризирующий метод эффект Гиббса эффект Гиббса

Нелинейные методы Регуляризирующий метод Регуляризирующий метод Регуляризирующий метод Постобработка методом квазирешений Постобработка методом квазирешений

Нелинейные методы Увеличение с подавлением эффекта Гиббса Исходные изображения, увеличенные методом ближайшего соседа Билинейная интерполяцияУвеличение регуляризирующим методом Увеличение регуляризирующим методом с подавлением эффекта Гиббса

Повышение разрешения изображений Введение Введение Линейные методы повышения разрешения Линейные методы повышения разрешения –Примеры интерполяции –Представление в общем виде –Недостатки линейных методов Нелинейные методы Нелинейные методы –Примеры нелинейных методов –Регуляризирующий метод Суперразрешение Суперразрешение

Суперразрешение Задача суперразрешения – это реконструкция изображения высокого разрешения по нескольким изображениям низкого разрешения Задача суперразрешения – это реконструкция изображения высокого разрешения по нескольким изображениям низкого разрешения

Суперразрешение Источник дополнительной информации – субпиксельные сдвиги Источник дополнительной информации – субпиксельные сдвиги Движущийся объектПолучаемые с камеры изображения

Суперразрешение Зная информацию о сдвигах, можно построить изображение более высокого разрешения Зная информацию о сдвигах, можно построить изображение более высокого разрешения Получаемые с камеры изображения Соответствие между пикселями изображений низкого разрешения и реконструируемого изображения высокого разрешения

Суперразрешение Построение через решение обратной задачи: найти такое изображение высокого разрешения, которое, будучи уменьшенным с учётом сдвигов, даст исходные изображения Построение через решение обратной задачи: найти такое изображение высокого разрешения, которое, будучи уменьшенным с учётом сдвигов, даст исходные изображения

Суперразрешение A k – оператор понижения разрешения A k – оператор понижения разрешения H cam – размытие камерой (подавление алиасинга, моделируется фильтром Гаусса) H cam – размытие камерой (подавление алиасинга, моделируется фильтром Гаусса) H atm – эффекты в среде H atm – эффекты в среде n – шум n – шум F k – оператор смещения (оптического потока) F k – оператор смещения (оптического потока) D – оператор прореживания D – оператор прореживания

Суперразрешение z – реконструируемое изображение F1F1 FNFN F2F2 Применение операторов движения F k Уменьшение изображений (операторы D и H)

Суперразрешение Быстрая реализация супер-разрешения Качественная реализация супер-разрешения Метод ближайшего соседа Нелинейный метод интерполяции Исходные изображения

Суперразрешение Увеличение видео в 4 раза Бикубическая интерполяцияСуперразрешение

Спасибо за внимание!