Применения банков фильтров Лектор: Лукин Алексей Сергеевич

План Банки фильтров, основанные на STFT Банки фильтров, основанные на STFT Психоакустическая компрессия звука Психоакустическая компрессия звука Слуховая маскировка Слуховая маскировка Устройство алгоритма mp3 Устройство алгоритма mp3 Подавление стационарных шумов Подавление стационарных шумов Метод спектрального вычитания Метод спектрального вычитания STFT как банк фильтров, полосовые гейты STFT как банк фильтров, полосовые гейты Проблема «музыкального шума» Проблема «музыкального шума» Частотно-временное разрешение Частотно-временное разрешение Расширение частот в аудиосигнале Расширение частот в аудиосигнале

Банки фильтров, основанные на STFT Спектрограмма Спектрограмма график зависимости амплитуды от частоты и от времени, показывает изменение спектра во времени график зависимости амплитуды от частоты и от времени, показывает изменение спектра во времени отображается модуль Short Time Fourier Transform (STFT) отображается модуль Short Time Fourier Transform (STFT)

Банки фильтров, основанные на STFT Частотно-временное разрешение Частотно-временное разрешение Способность различать детали по частоте и по времени, «размытость» спектрограммы Способность различать детали по частоте и по времени, «размытость» спектрограммы Для STFT определяется длиной весового окна (а также, отчасти, размером и шагом DFT по времени) Для STFT определяется длиной весового окна (а также, отчасти, размером и шагом DFT по времени) Соотношение неопределенностей: разрешение по частоте обратно пропорционально разрешению по времени Соотношение неопределенностей: разрешение по частоте обратно пропорционально разрешению по времени 6 ms12 ms24 ms48 ms96 ms размер окна

Банки фильтров, основанные на STFT Частотно-временное разрешение Частотно-временное разрешение Частотное разрешение спектрограммы равномерное Частотное разрешение спектрограммы равномерное Частотное разрешение слуха на НЧ выше, чем на ВЧ Частотное разрешение слуха на НЧ выше, чем на ВЧ STFT, окно 12 мсSTFT, окно 93 мс

Банки фильтров, основанные на STFT Как банки фильтров разбивают частотно- временную плоскость? Как банки фильтров разбивают частотно- временную плоскость? Вейвлеты делят частотную ось на октавы Вейвлеты делят частотную ось на октавы STFT разбивает частотную ось равномерно STFT разбивает частотную ось равномерно f t STFT f t Вейвлеты

Банки фильтров, основанные на STFT Без весовых окон, без перекрытия блоков Без весовых окон, без перекрытия блоков Размытие спектра плохое разделение частот в каналах Размытие спектра плохое разделение частот в каналах Нестыковки на границах блоков Нестыковки на границах блоков Нет избыточности Нет избыточности С весовыми окнами, с перекрытием блоков С весовыми окнами, с перекрытием блоков Хорошее разделение частот в каналах Хорошее разделение частот в каналах Нет нестыковок на границах блоков Нет нестыковок на границах блоков Избыточность Избыточность Пример банка фильтров, подходящего для обработки: Пример банка фильтров, подходящего для обработки: Декомпозиция – STFT, окно Hann, перекрытие 75% Декомпозиция – STFT, окно Hann, перекрытие 75% Синтез – обратное STFT, окно Hann, сложение с перекрытием (OLA) Синтез – обратное STFT, окно Hann, сложение с перекрытием (OLA) + – – +

Банки фильтров, основанные на STFT Модифицированное дискретное косинусное преобразование (MDCT) Модифицированное дискретное косинусное преобразование (MDCT) Перекрытие 50%, весовое окно Перекрытие 50%, весовое окно Неплохое разделение частот в каналах Неплохое разделение частот в каналах Без избыточности! подходит для компрессии Без избыточности! подходит для компрессии Каждое окно длины 2N захватывает N новых отсчетов и выдает N вещественных коэффициентов спектра Каждое окно длины 2N захватывает N новых отсчетов и выдает N вещественных коэффициентов спектра Требования к окнам: Требования к окнам: Примеры подходящих окон: Примеры подходящих окон: Полпериода синуса Полпериода синуса Kaiser-Bessel derived (KBD) Kaiser-Bessel derived (KBD) +

Слуховая маскировка Абсолютный порог слышимости Абсолютный порог слышимости Как соотнести уровни в звуковом файле с абсолютными уровнями звука? Как соотнести уровни в звуковом файле с абсолютными уровнями звука?

Слуховая маскировка Сильные звуки (masker) маскируют более слабые (maskee) Сильные звуки (masker) маскируют более слабые (maskee) Одновременная маскировка Одновременная маскировка Временная маскировка (прямая и обратная) Временная маскировка (прямая и обратная)

Слуховая маскировка Маскировка тонами, шумами и общий порог маскировки Маскировка тонами, шумами и общий порог маскировки Шаг квантования выбирается пропорциональным порогу маскировки Шаг квантования выбирается пропорциональным порогу маскировки

Алгоритм mp3 Кодирование аудиоданных с потерями Кодирование аудиоданных с потерями mp3-файл x[n] FFT Банк фильтров … MDCT … QHuffman … Психоакустический анализ Компрессия mp3

Пред-эхо Pre-echo (pre-ringing) Pre-echo (pre-ringing) Переключение размера Переключение размера гранул в БФ

Шумоподавление Аддитивный шум Аддитивный шум Метод спектрального вычитания Шум предполагается стационарным, т.е. не меняющимся во времени (средняя мощность, спектр)

Стационарные шумы Общий принцип подавления Общий принцип подавления 1.Преобразование, компактно локализующее энергию (energy compaction) 2.Модификация коэффициентов преобразования (подавление коэффициентов, соответствующих шуму) 3.Обратное преобразование (восстановление очищенного сигнала)

Спектральное вычитание Спектральное вычитание для аудиосигналов Спектральное вычитание для аудиосигналов 1.STFT 2.Оценка спектра шума по участку без полезного сигнала 3.«Вычитание» спектра шума из спектра сигнала 4.Обратное STFT Spectral Subtraction, Short-Time Spectral Attenuation STFT Noise spectrum estimation Inverse STFT x[t]X[f,t] – W[f,t] S[f,t]s[t] схема алгоритма спектрального вычитания

Спектральное вычитание Требования к банку фильтров Требования к банку фильтров Точное (или почти точное) восстановление Точное (или почти точное) восстановление Отсутствие «эффекта блочности» (перекрытие, окна) Отсутствие «эффекта блочности» (перекрытие, окна) Хорошая частотная локализация Хорошая частотная локализация Не требуется: сохранение количества информации Не требуется: сохранение количества информации Выбираем банк фильтров, основанный на STFT

Шумоподавление Многополосная интерпретация Многополосная интерпретация x[n] Банк фильтров (анализ) … Gate …… y[n] Банк фильтров (синтез) Пороги срабатывания гейтов зависят от уровня шума в каждой частотной полосе Гейт (gate) – устройство, подавляющее тихие сигналы (громкие пропускаются без изменения)

Спектральное вычитание Конструкция гейтов Конструкция гейтов Порог срабатывания зависит от шума нужно знать параметры шума обучение Порог срабатывания зависит от шума нужно знать параметры шума обучение Мягкое или жесткое срабатывание Мягкое или жесткое срабатывание Время срабатывания (attack/release time) Время срабатывания (attack/release time) Ограничение степени подавления Ограничение степени подавления Пример подавления: Здесь G – коэффициент усиления, W – оценка амплитуды шума, X – амплитуда сигнала.

Шумоподавление Шум случаен его спектр тоже случаен Шум случаен его спектр тоже случаен Пример спектра белого шума: Пример спектра белого шума: приближенный фрагментобщая спектрограмма

Шумоподавление После спектрального вычитания появляются После спектрального вычитания появляются случайно расположенные всплески энергии – артефакт «музыкальный шум» (musical noise) «музыкальный шум»общая спектрограмма

Шумоподавление Музыкальный шум: методы борьбы Музыкальный шум: методы борьбы Завышение порога (недостаток – теряем больше сигнала) Завышение порога (недостаток – теряем больше сигнала) Ограничение G(f, t) снизу (чтобы музыкальный шум маскировался естественным шумом) Ограничение G(f, t) снизу (чтобы музыкальный шум маскировался естественным шумом) Увеличение времени срабатывания гейтов (при слишком сильном увеличении получается шумовое эхо и смазываются атаки в сигнале) Увеличение времени срабатывания гейтов (при слишком сильном увеличении получается шумовое эхо и смазываются атаки в сигнале) Сглаживание G(f, t) по времени и/или по частоте Сглаживание G(f, t) по времени и/или по частоте зашумленный сигналпростое спектр. вычитаниесглаживание по времени

Спектральное вычитание Эффекты частотно-временного разрешения Эффекты частотно-временного разрешения Эффект Гиббса (размытие транзиентов) Эффект Гиббса (размытие транзиентов) Недостаточное частотное разрешение Недостаточное частотное разрешение Зашумленный сигналРазмер окна 50 мсАдаптивное разрешение

Расширение частотного диапазона Задача расширения Задача расширения Дано аудио, обработанное НЧ-фильтром (т.е. без высоких частот, например – после mp3-компрессии) Дано аудио, обработанное НЧ-фильтром (т.е. без высоких частот, например – после mp3-компрессии) Нужно достроить высокие частоты, основываясь только на низких (или, возможно, на дополнительной информации о ВЧ, закодированной в потоке) Нужно достроить высокие частоты, основываясь только на низких (или, возможно, на дополнительной информации о ВЧ, закодированной в потоке)

Расширение частотного диапазона Метод Метод 1.Сгенерировать грубое приближение высоких частот по низким (методы spectral replication, distortion, vocoder+resampling) 2.Придать грубому приближению желаемую форму (продолжение низких частот по энергии, степени тональности и т.д.) – здесь используем банки фильтров

Расширение частотного диапазона Эксперименты Эксперименты Линейное продолжение общей формы низких частот