Основы спектрального анализа звуков Часть 1. Ряды Фурье.

В векторной алгебре скалярное произведение пары трёхмерных векторов a и b определяется одним из следующих равнозначных способов: Назовём ортонормированным базисом в трёхмерном векторном пространстве такую тройку векторов {e 1,e 2,e 3 }, для которых справедливы следующие соотношения: a = a 1. e 1 + a 2. e 2 + a 3. e 3 = = (a,e 1 ). e 1 + (a,e 2 ). e 2 + (a,e 3 ). e 3

Обозначим пару оцифрованных звуковых сигналов следующим образом: s(t) => {s 1, s 2, s 3, …, s N } z(t) => {z 1, z 2, z 3, …, z N } Их скалярное произведение определим по аналогии для векторов a и b :

Определение 1. Скалярным произведением двух функций на интервале называется:

Определение 2. Две функции называются ортогональными, если их скалярное произведение равно нулю:

Определение 3. Функция s(t) называется нормированной на 1, если:

Определение 4. Назовём ортонормированным базисом такую бесконечную совокупность функций {e 1 (t), e 2 (t), e 3 (t), …, e n (t), …}, для которых выполняются следующие условия:

Определение 5. Назовём координатой a n функции s(t) в функциональном бесконечномерном ортонормированном базисе такое число: a = a 1. e 1 + a 2. e 2 + a 3. e 3 = (a,e 1 ). e 1 + (a,e 2 ). e 2 + (a,e 3 ). e 3 Эта аналогия взята из разложения векторов в ортонормированном базисе векторов:

Введём базис из гармонических функций:

И так далее… …до бесконечности…

Ортонормированный базис из гармонических функций: Все функции этого базиса ортонормированны: Использовать формулы:

Определение 6. Пусть для функции s(t) существует интеграл: Рядом Фурье, порождённым этой действительной функцией s(t), называется бесконечный тригонометрический ряд: где коэффициенты определяются по формулам Эйлера-Фурье:

Если функция То есть, Теорема Фурье непрерывна на интервале и для неё существует интеграл то порождённый этой функцией ряд Фурье равен порождаемой функции

В полном виде коэффициенты (координаты) a n и b n определяются по формулам Эйлера-Фурье:

В кратком виде ряд Фурье выглядит так: А в полном виде - так: Используя тригонометрическую формулу: получим: где:

Или в общем виде:

Теперь ряд Фурье принимает вид: Сделаем замену: Ряд Фурье - это математическая частотная модель фрагмента звукового сигнала на заданном временном интервале.

Это графическая форма представления математической частотной модели фрагмента звукового сигнала на заданном временном интервале.

Основы спектрального анализа звуков Часть 2. Адекватность рядов Фурье.

О периодичности функции Ф(t) Функция f(t) была нами определена на интервале: Как эта функция: (но не сама порождающая функция s(t)) ведёт себя вне этого интервала? Функция Ф(t) периодична или нет?

Сложная функция Ф(t), представленная этим рядом, периодична. И её период равен kT 0. Доказательство:

О периодичности -T/2T/2-3T/23T/2

Адекватность рядов Фурье Внутри интервала [-T/2;T/2] – всегда. Какова бы ни была непрерывная функция s(t) на интервале [-T/2;T/2], порождённый ею ряд Фурье всегда адекватно описывает эту функцию внутри этого интервала. Если функция s(t) строго периодична, то её модельное (математическое) описание с помощью ряда Фурье на интервале одного периода, адекватно описывает эту функцию не только внутри интервала [-T/2;T/2], но и вне его. Следствие. Если исходный функция – это гармоническая функция, то ряд Фурье будет состоять только из одной пары базисных функций. Адекватной моделью функции импульсного типа (импульсного сигнала) является ряд Фурье на бесконечном временном интервале [-;+]. То есть, когда T.

Основы спектрального анализа звуков Часть 3. Принцип неопределённости Гейзенберга.

Это графическая форма представления математической частотной модели фрагмента звукового сигнала на заданном временном интервале. Так выглядит идеальный (теоретический) спектр строго периодического сигнала:

Гармоника – атомарный информационный объект звука: Ее амплитудный спектр: F0F0 f A(f) A0A0

Сигнал, равный сумме 2-х гармоник: Их амплитудный спектр: F1F1 f A(f) A1A1 F2F2 A2A2

Но это все справедливо теоретически для спектров бесконечно длинных гармоник Реально же требуется находить спектры гармоник, на которые раскладываются речевые сигналы, на очень маленьких временных промежутках (интервалах, окнах). Например, на интервалах, по длительности не превышающих время звучания одной фонемы или одного периода голосовых импульсов. (тут-то и возникают проблемы…)

Нарезка на кадры одиночной гармоники Границы кадров

Амплитудный (логарифмический) спектр отдельного кадра предыдущего сигнала Истинное значение частоты F 0 и амплитуды A 0 Артефакты

Артефакт [лат. arte искусственно + factus сделанный] – биол. образования или процессы, возникающие иногда при исследовании биологического объекта вследствие воздействия на него самих условий исследования. А как бы выглядел спектр на предыдущем слайде, если бы прямоугольное окно вырезало бы целое число периодов гармонического сигнала? Вспомнить о ряде Фурье.

Нарезка на кадры с помощью гладких окон Границы кадров

Амплитудный (логарифмический) спектр отдельного кадра, вырезанного с помощью гладкого окна Истинное значение частоты F 0 и амплитуды A 0 Артефакты

При неправильном выборе параметров спектрального анализ можно получить ложные следы (артефакты) Амплитудный спектр одиночной гармоники

Амплитудный спектр обертонов голоса (звук «о» в «fourzero») Окно Гаусса (почти) не порождает артефакты

Временное окно Гаусса артефактов не создает Спектр (линейный, а не логарифмический) одиночной гармоники, полученной при использовании окна Гаусса: время частота - полуширина временного окна Гаусса это же расстояние и между кадрами - полуширина спектра одиночной гармоники F0F0 A0A0 t кадра

Принцип неопределенности Гейзенберга: Если построить спектральный фильм с шириной кадров: будут неразличимы. Их следы на спектре (сонограмме) сольются. Показать на примере. то гармоники, различающиеся по частоте, менее, чем на

Звуковой сигнал, состоящий из суммы нескольких гармоник:

Спектр предыдущего звукового сигнала, полученного с помощью очень маленького временного окна Гаусса

Спектр предыдущего звукового сигнала, полученного с помощью чуть большего временного окна Гаусса

Спектр предыдущего звукового сигнала, полученного с помощью еще чуть большего временного окна Гаусса

Спектр предыдущего звукового сигнала, полученного с помощью еще большего временного окна Гаусса

Спектр предыдущего звукового сигнала, полученного с помощью большого временного окна Гаусса

Сонограмма предыдущего звукового сигнала, полученного с помощью большого временного окна Гаусса

Единственными (квази)гармоническими компонентами в речевом сигнале являются затухающие гармоники, возникающие в резонаторе (в речевом тракте) после хлопка голосовых связок. Взаимное расположение частот этих затухающих гармоник и определяет формантную структуру речевого сигнала. Форма свободно затухающего гармонического колебания.

Спектр одного кадра в середине предыдущего сигнала: Резонансная частота (идеальный теоретический спектр). Резонансная частота (реальный практический спектр).

Отрезок реального речевого сигнала между двумя соседними импульсами (хлопками) голосовых связок. Примерное положение голосового импульса. Отклик резонаторов речевого тракта (РТ) на голосовой импульс возбуждения РТ.

Спектр одного маленького кадра в середине предыдущего сигнала: Резонансные частоты речевого тракта (идеальный теоретический спектр) Реальный практический спектр)

Общие рекомендации по визуализации резонансных частот (формант) речевого тракта: Частота кадров спектрального фильма должна быть на порядок (раз в 10) больше частоты работы голосовых связок. Но увеличивать частоту кадров спектрального фильма до бесконечности нельзя, поскольку из-за принципа неопределенности Гейзенберга следы формант на сонограмме начнут сливаться.

Основы спектрального анализа звуков Часть 4. Преобразование Фурье.

Реалии: каким бы ни был анализируемый звук (речевой сигнал) он всегда разбивается на отдельные временные кадры для анализа спектрального гармонического состава звука в этом кадре. Это приводит к тому, что строится спектр не всего звукового сигнала, а его выделенной части внутри кадра. Из-за этого отдельный кадр сигнала фактически оказывается изолированным импульсом сложной формы. Адекватной математической частотной моделью функции импульсного типа (импульсного сигнала) является ряд Фурье на бесконечном временном интервале [-;+]. То есть, когда T.

В классическом виде ряд Фурье выглядит так: где: Если T 0 устремить к бесконечности, то спектр из дискретной формы переходит в континуальную. И при этом производятся замены:

Вместо ряда Фурье получается интеграл Фурье: Произведём замену: Здесь знак суммы заменён на знак интеграла. Вместо коэффициентов a n и b n теперь будут функции a(f) и b(f): Заменяя в верхней формуле a(f) и b(f) на S(f), получим преобразование Фурье:

Теперь уже на ряд, а интеграл Фурье: Поскольку Ф(t)=s(t), то получаем: - прямое преобразование Фурье, - обратное преобразование Фурье.

Упрощенная запись спектра: - амплитудный спектр - фазовый спектр

Логарифмический спектр Фурье-преобразование переводит сигнал из физического пространства в информационное: Амплитудный спектр в логарифмическом масштабе (дБ) Фазовый спектр в радианах

Основы спектрального анализа звуков Конец.