Современные проблемы в области фильтрации цифровых изображений Ярославский государственный университет им. П.Г. Демидова физический факультет, лаборатория. - презентация

1 Современные проблемы в области фильтрации цифровых изображений Ярославский государственный университет им. П.Г. Демидова физический факультет, лаборатория «Цифровые цепи и сигналы» Научно-технический семинар «Современные задачи цифровой обработки изображений» , Ярославль, Россия Волохов Владимир,

2 План презентации Суть задачи фильтрации цифровых изображений Классификация современных методов фильтрации цифровых изображений Анализ главных компонент. Построение алгоритма фильтрации аддитивного белого гауссовского шума (АБГШ) на основе анализа главных компонент. Результаты работы алгоритма Использование алгоритмов фильтрации АБГШ в различных задачах цифровой обработки изображений 2

3 Общая суть задачи фильтрации изображений и возможные варианты ее решения Разработка и анализ алгоритмов, предназначенных для удаления шумов из цифровых изображений, с целью улучшения субъективных и объективных оценок качества картинки. Здесь и далее модель шума – АБГШ 3 В работе были проанализированы методы, результаты и подходы алгоритмов фильтрации изображений на базе: Локальных методов обработки Нелокальных методов обработки Поточечных методов обработки Многоточечных методов обработки

4 Классификация рассматриваемых алгоритмов фильтрации цифровых изображений соответствует работе: Katkovnik V., Foi A., Egiazarian K., Dabov K. From local kernel to nonlocal multiple-model image denoising // Int. J. Computer Vision, V. 86, 8. P. 1 – 32 Подробный анализ рассматриваемых алгоритмов фильтрации цифровых изображений может быть найден в следующих работах: Katkovnik V., Foi A., Egiazarian K., Dabov K. From local kernel to nonlocal multiple-model image denoising // Int. J. Computer Vision, V. 86, 8. P. 1 – 32 Dabov K. Image and video restoration with nonlocal transform- domain filtering. PhD thesis, Tampere University of Technology, Анализ современных подходов удаления АБГШ из цифровых изображений

5 Локальные методы обработки 5 Nadaraya E. A. On estimating regression // Theory Probab. Applic., V. 9. P. 141 – 142 Watson G. S. Smooth regression analysis // Sankhya Ser., V. 26. P. 356 – 372 Итоговая оценка пикселя: XXX 6040X X XXX X X X X XXX X X XXX /9*

6 Нелокальные методы обработки 6 Buades A., Coll B., Morel J. M. Nonlocal image and movie denoising // Int. J. Computer Vision, V. 76, 2. P. 123 – 139 Итоговая оценка пикселя:

7 Поточечные методы обработки 7 Katkovnik V., Foi A., Egiazarian K., Astola J. Directional varying scale approximations for anisotropic signal processing // Proc. XII European Signal Processing Conf., P. 101 – 104 Foi A. Anisotropic nonparametric image processing: theory, algorithms and application. PhD thesis, Politecnico di Milano, 2005

8 Многоточечные методы обработки 8 Muresan D. D., Parks T. W. Adaptive principal components and image denoising // Proc. IEEE Int. Conf. Image Processing, V. 1. P. 101 – 104 Область наложения Область обучения Область фильтрации Центр 7x7 21x21 Внутри области обучения набираем векторы обучения размера 5x5, всего 289 штук: …

9 Адаптивный анализ главных компонент 9 Muresan D. D., Parks T. W. Adaptive principal components and image denoising // Proc. IEEE Int. Conf. Image Processing, V. 1. P. 101 – 104 Область наложения Область обучения Область фильтрации Центр r β [r, c] главная ось d c Анализ главных компонент. Основная идея!

10 Адаптивный анализ главных компонент 10 7x7 21x21 Внутри области обучения набираем векторы обучения размера 5x5, всего 289 штук: … Шаг 1. Оценка дисперсии шума на зашумленном изображении: Шаг 2. Разбиение зашумленного изображения на совокупность перекрывающихся блоков и формирование для каждого из них базиса главных компонент Шаг 3. Представление каждого из блоков с использованием базиса главных компонент и обработка полученных трансформант Шаг 4. Обратное преобразование и наложение блоков с перекрытием (1) диагональные вейвлет-коэффициенты первого уровня вейвлет-разложения

11 Адаптивный анализ главных компонент. Пример обработки изображений Плюсы: Адаптация к исходному множеству данных Минусы: При больших размерах векторов обучения возникают артефакты в локальных областях изображения, при малых плохо давится шум в области границ изображения Размер векторов обучения 2x25x52x25x5 11

12 Предлагаемый метод. Основная идея! 12 Dabov K. et al. Image denoising by sparse 3D transform- domain collaborative filtering // IEEE Trans. Image Processing, V. 16, 12. P – 2095 Применение двухэтапной схемы восстановления цифрового изображения из зашумленных данных Этап 1. Формирование первичной или «грубой» оценки цифрового изображения на основе адаптивного анализа главных компонент Этап 2. Формирование вторичной или «точной» оценки цифрового изображения на основе использования оптимальной винеровской фильтрации проводимой в области анализа главных компонент с использованием первичной оценки цифрового изображения

13 Оптимальная винеровская фильтрация в области анализа главных компонент Формирование вторичной или «точной» оценки изображения Шаг 1. Разбиение зашумленного изображения и первичной или «грубой» оценки изображения на совокупность перекрывающихся блоков и формирование для каждого из них базиса главных компонент. Размер областей обучения, наложения, фильтрации, а также векторов обучения выбирается отличным от этапа 1, получения первичной оценки изображения Шаг 2. Выполнение винеровской фильтрации в области анализа главных компонент Шаг 3. Обратное преобразование и наложение блоков с перекрытием (2) значения сформированные на основе первичной оценки изображения и зашумленного изображения, соответственно 13

14 Пример первичной и вторичной оценок исходного изображения Исходное изображение Зашумленное изображение, ПОСШ = 20,15 дБ Первичная оценка, ПОСШ = 30,63 дБ Вторичная оценка, ПОСШ = 31,65 дБ 14

15 Визуальные результаты работы алгоритма Исх. изображение «Лена» Зашум. изображение, ПОСШ=20,15 дБ Курвлет-преобразование, ПОСШ=30,39 дБ Предложенный метод, ПОСШ=31,65 дБ Нелок. усреднение, ПОСШ=30,35 дБ Блоко-согласование и 3D фильтрация, ПОСШ=32,06 дБ 15

16 «Перцы», ПОСШ = 27,54 дБ«Барбара», ПОСШ = 26,01 дБ «Фотограф», ПОСШ = 24,07 дБ«Лодка», ПОСШ = 25,79 дБ Визуальные результаты работы алгоритма при больших степенях зашумления (ПОСШ = 14,74 дБ) 16

17 Результаты работы рассматриваемого алгоритма (тестовое изображение «Лена») 17

18 Результаты работы рассматриваемого алгоритма (тестовое изображение «Холм») 18

19 Дополнительные приложения рассматриваемого алгоритма. Фильтрация цветных изображений Модель шума: АБГШ независимо подмешанный в каждый канал ПОСШ = 24,65 дБПОСШ = 31,30 дБ 19

20 Дополнительные приложения рассматриваемого алгоритма. Фильтрация смешанных шумов Hirakawa K., Parks T. W. Image denoising using total least squares // IEEE Trans. Image Processing, V. 15, 9. P – 2742 «Барбара», ПОСШ = 14,81 дБ«Барбара», ПОСШ = 25,02 дБ Модель смешанного шума: y = x + ( x)n, n = N(0;1) 20

21 Дополнительные приложения рассматриваемого алгоритма. Удаление артефактов блочности Foi A., Katkovnik V., Egiazarian K. Pointwise shape-adaptive DCT for high-quality denoising and deblocking of grayscale and color images // IEEE Trans. Image Processing, V. 16, 5. P – 1411 «Фотограф», ПОСШ = 25,02 дБ«Фотограф», ПОСШ = 25,85 дБ 21

22 Благодарности В работе использовались результаты и методы следующих научных статей: Starck J. L., Emmanuel J., Candes E., Donoho D. The curvelet transform for image denoising // IEEE Trans. Image Processing, V. 11, 6. P. 670 – 684 Muresan D., Parks T. W. Adaptive principal components and image denoising // IEEE Int. Conf. Image Processing, V. 1, P. 101 – 104 Buades A., Coll B., Morel J. M. A non-local algorithm for image denoising // Proc. IEEE Comp. Soc. Conf. Computer Vision and Pattern Recognition, V. 2. P. 60 – 65 Dabov K. et al. Image denoising by sparse 3D transform- domain collaborative filtering // IEEE Trans. Image Processing, V. 16, 12. P – 2095 … 22