Линейное предсказание, интерполяция аудио Лектор: Лукин Алексей Сергеевич

План Корреляция и автокорреляция, их применения Корреляция и автокорреляция, их применения Линейное предсказание Линейное предсказание Авторегрессионная модель сигнала Авторегрессионная модель сигнала Нахождение коэффициентов регрессии Нахождение коэффициентов регрессии Применения Применения Сжатие Сжатие Интерполяция Интерполяция LSAR-интерполяция звука LSAR-интерполяция звука Подавление искажений перегрузки и щелчков Подавление искажений перегрузки и щелчков

Корреляция Корреляция (кросс-корреляция): мера похожести двух сигналов при различных сдвигах k одного сигнала относительно другого Корреляция (кросс-корреляция): мера похожести двух сигналов при различных сдвигах k одного сигнала относительно другого Оценка корреляции Оценка корреляции Вычисление через FFT Вычисление через FFT Применения корреляции: поиск похожих фрагментов сигналов, поиск сдвига кадра в видео Применения корреляции: поиск похожих фрагментов сигналов, поиск сдвига кадра в видео

Автокорреляция Автокорреляция: мера похожести сигнала на собственные сдвинутые копии Автокорреляция: мера похожести сигнала на собственные сдвинутые копии Оценка автокорреляции Оценка автокорреляции Вычисление через FFT Вычисление через FFT Применение автокорреляции: оценка основного тона звукового сигнала, поиск периодичности Применение автокорреляции: оценка основного тона звукового сигнала, поиск периодичности

Линейное предсказание Линейное предсказание (LPC) Линейное предсказание (LPC) Ошибка предсказания Ошибка предсказания Авторегрессионная модель сигнала Авторегрессионная модель сигнала

Линейное предсказание Нахождение наилучших параметров регрессионной модели Нахождение наилучших параметров регрессионной модели

Линейное предсказание Нахождение наилучших параметров регрессионной модели Нахождение наилучших параметров регрессионной модели Приравниваем градиент нулю Приравниваем градиент нулю Матрица R xx – тёплицева, обращаем рекурсией Левинсона-Дурбина за P 2 операций Матрица R xx – тёплицева, обращаем рекурсией Левинсона-Дурбина за P 2 операций

Линейное предсказание Составляющие ошибки Составляющие ошибки 1.Особенности сигнала, не описываемые моделью 2.Неточность параметров модели 3.Шум Как выбрать число параметров модели? Как выбрать число параметров модели? Модель порядка P может точно моделировать смесь P/2 синусоид с различными частотами и амплитудами Модель порядка P может точно моделировать смесь P/2 синусоид с различными частотами и амплитудами Выше порядок меньше ошибка предсказания (но хуже стабильность вычислений) Выше порядок меньше ошибка предсказания (но хуже стабильность вычислений)

Линейное предсказание Применения Применения Реставрация сигнала (интерполяция/экстраполяция пропущенных отсчетов) Реставрация сигнала (интерполяция/экстраполяция пропущенных отсчетов) Компрессия сигнала (достаточно хранить коэффициенты модели и сигнал ошибки) Компрессия сигнала (достаточно хранить коэффициенты модели и сигнал ошибки)

LSAR-интерполяция Пусть неизвестный интервал окружен известными отсчетами: Пусть неизвестный интервал окружен известными отсчетами: По материалам книги S. Vaseghi Advanced Digital Signal Processing and Noise Reduction

LSAR-интерполяция Запишем ошибку линейного предсказания (предполагая, что коэффициенты известны): Запишем ошибку линейного предсказания (предполагая, что коэффициенты известны): По материалам книги S. Vaseghi Advanced Digital Signal Processing and Noise Reduction

LSAR-интерполяция Перепишем, отделив неизвестные отсчеты: Перепишем, отделив неизвестные отсчеты: По материалам книги S. Vaseghi Advanced Digital Signal Processing and Noise Reduction

LSAR-интерполяция Минимизируем ошибку предсказания: Минимизируем ошибку предсказания: Проблема: коэффициенты LPC неизвестны Проблема: коэффициенты LPC неизвестны Решение: вычислим их приблизительно, затем – оценим x Uk и снова вычислим более точные коэффициенты… Решение: вычислим их приблизительно, затем – оценим x Uk и снова вычислим более точные коэффициенты… По материалам книги S. Vaseghi Advanced Digital Signal Processing and Noise Reduction

Исправление перегрузки Исходная запись с перегрузкой Исходная запись с перегрузкой (clipping) женский вокал с перегрузкой: спектрограмма короткий фрагмент волны

Исправление перегрузки После одной итерации LSAR-интерполяции После одной итерации LSAR-интерполяции

Исправление перегрузки После трех итераций После трех итераций

Исправление щелчков Исходная запись со щелчками Исходная запись со щелчками Детектирование щелчков Детектирование щелчков Анализ разности между соседними отсчетами Анализ разности между соседними отсчетами Анализ ошибки LPC (в т.ч. – многополосный) Анализ ошибки LPC (в т.ч. – многополосный) Анализ спектрограммы Анализ спектрограммы Интерполяция щелчков Интерполяция щелчков (clicks)

Исправление щелчков Исходная запись со щелчками Исходная запись со щелчками (clicks) оркестр, записанный с виниловой пластинки: волна

Исправление щелчков Остаточный сигнал LPC Остаточный сигнал LPC Порядок предсказания – 100 (но можно было и меньше) Порядок предсказания – 100 (но можно было и меньше)

Исправление щелчков После детектирования и интерполяции щелчков методом LSAR (3 итерации) После детектирования и интерполяции щелчков методом LSAR (3 итерации)

Исправление щелчков Исходная запись со щелчками Исходная запись со щелчками (clicks) оркестр, записанный с виниловой пластинки: спектрограмма

Исправление щелчков После автоматического обнаружения и интерполяции щелчков После автоматического обнаружения и интерполяции щелчков