ЦИФРОВЫЕ ВИДЕОСИСТЕМЫ А.М. АСТАПКОВИЧ Гос. Университет Аэрокосмического Приборостроения, Санкт-Петербург, 2012 Лекция 0 ОБЗОР КУРСА ЛЕКЦИЙ

ЦЕЛЬ И ЗАДАЧИ КУРСА Выработка понимания базовых принципов построения современных цифровых видеосистем систем в части: принципов обработки видео и аудио информации; архитектурных решений ; типовых применений ; перспективных направлений исследования;

СТРУКТУРА КУРСА ФИЗИЧЕСКИЕ ПРИНЦИПЫ И АППАРАТНАЯ РЕАЛИЗАЦИЯ ЦИФРОВЫХ СИСТЕМ ОБРАБОТКИ ВИДЕОИНФОРМАЦИИ ПРИКЛАДНЫЕ ПРИМЕНЕНИЯ И СОВРЕМЕННЫЕ СТАНДАРТЫ МЕТОДЫ ОБРАБОТКИ ВИДЕОИЗОБРАЖЕНИЙ ОБЗОР ПЕРСПЕКТИВНЫХ НАПРАВЛЕНИЙ ИССЛЕДОВАНИЯ

ТЕМА 1. Введение ЛЕКЦИЯ 1. Цифровые фотоаппараты § 1. Физические принципы формирования цифровых изображений § 2. Шумы и искажения в цифровом изображении § 3. Низкоуровневая обработка изображений § 4. Высокоуровневая обработка изображений § 5. Структура и компоненты современного цифрового аппарата ЛЕКЦИЯ 2. Цифровое видео § 1. Бытовые цифровые видеосистемы (обзор стандартов) § 2. Промышленные цифровые видеосистемы § 3. Видеосистемы марсохода Spirit-Opportunity § 4. Современная элементная база § 5. Архитектура систем и программное обеспечение верхнего уровня

СТРУКТУРА ЦИФРОВОГО ФОТОАППАРАТ

ЛЕКЦИЯ 3-4. IP-видеотелефония и системы видеонаблюдения §1. Передача данных по сетям с пакетной коммутацией §2. IP-телефоны фирмы CISCo и базовые стандарты IP-телефонии §3. Аудиокодеки и качество IP-телефонии §4. Многоканальные системы видеонаблюдения ТЕМА 2. ПРИМЕРЫ ПРИМЕНЕНИЯ Cisco IP phone 7985 Videophone Digital Media System-on-Chip(DMSoC) TMS320DM365

ЛЕКЦИЯ 5-6. Системы технического зрения §1. Система управления марсохода Spirit-Opportunity §2. Видеосистема марсохода §3. Использование видеоинформации в подсистеме управления движением марсохода §4. Особенности канала передачи видеоданных §5. Обзор системы cтандартов европейского космического агентства ECSS Mars rover Spirit-Opportunity ПРИМЕРЫ ПРИМЕНЕНИЯ

ТЕМА 3. ОБРАБОТКА ВИДЕОДАННЫХ ЛЕКЦИЯ 7. Общие принципы сжатия видеоданных §1. Характеристики потоков и качества изображения §2. Принципы сжатия видеоизображений §3. Вейвлет сжатие, вейвлет и базис Хаара §4. Реализация вейвлет сжатия Вейвлет Хаара 1 0 x ½ Ψ(x) = -1 ½ x 1 Ψ(x) = -1 ½ x x; x x; x 0 Базис Хаара Ψ j i(x) = Ψ (2 j x - i) i= 0..2 j -1 i= 0..2 j -1 (a+b+c+d)/4(a-b+c-d)/4 (a+b-c-d)/4(a-b-c+d)/4 LLLH HLHH W0W0 V1V1 V2V2

ЛЕКЦИЯ 8-9 Обработка изображений §1. Оценка качества видеоизображений §2. Фильтрация изображений §3. Детектирование границ §4. Выделение движущихся объектов ОБРАБОТКА ВИДЕОДАННЫХ Original image Enhanced contrast PSNR=25 dB JPEG compression PSNR=25 dB

ДЕТЕКТИРОВАНИЕ ГРАНИЦ Чистое изображение Зашумленное изображение Границы изображения ДЕТЕКТОР ГРАНИЦ CANNY

ЗАЩИТА ВИДЕОДАННЫХ ЛЕКЦИЯ 10. СТЕГАНОГРАФИЯ § 1. Базовые определения и классификация цифровых водяных знаков § 2. Укрупненная структура систем цифровой защиты видеоданных § 3. Требования к системам и алгоритмам § 4. Примеры реализации Encryption keys - K Container - I image audio sample text code Marking information - M trade mark copy number other EMBEDDING ALGORITHM Marked information or STEGO - I

LL LH HL HH Q=55 СЖАТИЕ JPEG, JPEG2000 ВЫДЕЛЕНИЕ ПРИМЕР РЕАЛИЗАЦИИ Модифицированный алгоритм Kutter

СОВРЕМЕННЫЕ ИССЛЕДОВАНИЯ ЛЕКЦИЯ 11. ПАРАДИГМА АДАПТИВНОЙ АЛГОРИТМИЗАЦИИ § 1. Современные структурные нормы SSIM и CW-SSIM § 2 Применение нейронных сетей для обработки данных § 3 Алгоритмы классификации класса ADA BOOST Original image MSE=0 SSIM=1 CW-SSIM=1 MSE=306 SSIM=0.928 CW-SSIM=0.938 Enhanced contrastDistorted brightness MSE=309 SSIM=0.987 CW-SSIM=1 Gauss noise MSE=309 SSIM=0.576 CW-SSIM=0.814

ПОМЕХОУСТОЙЧИВЫ ДЕТЕКТОР ГРАНИЦ S 1 (0,0) S 2 (0,0) S 1 (0,1) S 2 (0,1) ……………………………….. S 1 ( i,j ) S 2 (i,j ) S nsen ( i,j ) 1 w 1 w 2 w nsen+1 F(0,0) F(0,1) ……… F( i,j) W = (S T S + E) –1 S T F min F(w) = (SW - F, SW – F)+ (W,W) w S * W = F NN Edge filter