Автоматизация сегментации цифрового речевого сигнала по типу возбуждения Ешкеев Никита Станиславович Руководитель к.т.н., доцент Архипов И.О. Ижевск 2013 МИНОБРНАУКИ РОССИИ Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Ижевский государственный технический университет имени М.Т. Калашникова» Диссертация на соискание академической степени магистра Специальности : «Программная инженерия» «Системы мультимедиа и компьютерная графика» 1

ВВЕДЕНИЕ Основные задачи области цифровой обработки сигналов: Создание модели сигнала; Определение параметров модели сигнала; Определение сигнала на фоне помех; Выделение полезного сигнала на фоне помех. Основные цели обработки сигналов: Сжатие речевого сигнала; Искажение голоса; Сегментация беседы на монологи; Декомпозиция беседы дикторов; Идентификация голоса диктора; Распознавание речи. 2

Аналитический обзор Голосовой поиск Google. Siri (Speech Interpretation and Recognition Interface) Голосовое управление операционной системой Windows Vista/7/8. MS Speech Читатель Компьютер Watson 3

Аналитический обзор. Выводы Системы обработки цифровых речевых сигналов в настоящее время развиваются очень широко; Для нормального функционирования системы необходимо предварительное обучение, основанное на фрагментах эталонного цифрового речевого сигнала; Создание фрагментов необходимого текста для обучения либо отсутствует, либо не автоматизировано. 4

Цель работы Автоматизация процесса ручной сегментации цифрового речевого сигнала 5

Постановка задачи Разработать инструмент для сегментации цифрового речевого сигнала. Инструмент обязан предоставлять возможности: визуализации цифрового речевого сигнала в следующих представлениях: Дискретное, как зависимость амплитуды от времени Спектральное, как зависимость спектральной плотности мощности сигнала от времени Автокорреляционное, как зависимость коэффициентов автокорреляции от времени сегментации посредством манипулятора мышь выгрузки результатов работы в файл Провести эксперимент, подтверждающий эффективность разработанного инструмента 6

Обзор аналогов Praat и Speech Analyzer системы предварительной обработки речевых сигналов. Имеют богатый функционал в анализе речи, но не имеют возможностей выгружать результаты сегментации. 7

Математическая модель Быстрое преобразование Фурье: (1) 8 где X m – значение преобразования Фурье в момент m; n – номер отсчета; N – размер входной последовательности; x – входной сигнал.

Преобразование Фурье. 9 Рисунок 1 – Преобразование Фурье

Спектрограмма Спектрограмма – изображение, показывающее зависимость спектральной плотности мощности сигнала от времени. 10 Рисунок 2 – Дискретное представление сигнала и спектрограмма

Автокорреляция Автокорреляция – статистическая взаимосвязь между последовательностями величин одного ряда, взятых со сдвигом по времени. 11 (2) где ψ(τ) – значение автокорреляции для смещения τ; N – размер входного сигнала; t – номер отсчета x – входной сигнал; x k – значение отсчета;

Пример автокорреляционной функции 12 Рисунок 3 – График и его автокорреляционная функция

Автокоррелограмма Автокоррелограмма показывает автокорреляционную функцию, т.е. коэффициенты автокорреляции для последовательности из определенного диапазона 13 Рисунок 4 – Дискретное представление сигнала и автокоррелограмма

Проектирование и разработка системы. Структура входного файла где F – частота дискретизации N – количество отсчетов X k – отсчет 14 Рисунок 5 – Структура входного файла

Структура выходного файла Пример выходного файла: file1.dat Буква "Ч" Звук "Ы"... N

Схема работы системы 16 Рисунок 6 – Схема работы системы

Результаты работы системы 17 Рисунок 7 – Главное окно системы

Диалоговое окно с настройками 18 Рисунок 8 – Диалоговое окно с настройками

Инструмент в действии 19 Рисунок 9 – Активная стадия работы с инструментом

Результирующий файл AIO04100.DAT

Апробация системы Подана заявка на государственную регистрацию программы для ЭВМ 21

Эксперимент. Гипотеза Инструмент позволяет ускорить процесс сегментации как минимум в 10 раз. С помощью инструмента сегментации можно сократить процент ошибок как минимум в 10 раз. 22

Постановка задачи На вход подается звуковой файл, в котором хранится фраза «ЧЕТЫРЕ». Оператору предлагается выделить отсчеты, которые являются началом каждой из букв входного сигнала. 23

Пути решения Использование ручной сегментации при помощи табличного процессора MS Excel Использование инструмента 24

Оценка Скорость выполнения задания Точность выделения требуемого отсчета 25

Результаты работы 26 Таблица 1

Результаты эксперимента удалось сэкономить в 17,6 раз больше времени; процент допущенных ошибок упал в 13,1 раз. 27

Выводы В ходе работы было разработано настольное приложения для Microsoft Windows. Для достижения цели были решены поставленные задачи. 28

Выводы. Продолжение Для задачи визуализации представления сигнала реализованы следующим образом: Дискретное представление построено графиком линейной функции; Спектральное представление при помощи БПФ; Автокорреляционное – при помощи автокорреляционной функции. 29

Выводы. Продолжение Для решения задачи, требующей сегментации сигнала посредством манипулятора «мышь», в приложение была встроена поддержка манипулятора «мышь» PS/2 и USB

Выводы. Продолжение Функция выгрузки результатов работы в файл реализована с помощью расширения языка C# LINQ to XML. 31

Выводы. Продолжение Для подтверждения эффективности системы был проведен эксперимент, который полностью подтвердил выдвигаемую гипотезу, а следовательно, и эффективность использования системы в целом. 32

Выводы. Окончание Таким образом, поставленные задачи были успешно решены, а, следовательно, преследуемая цель была достигнута. 33

Спасибо за внимание! 34

Содержание Введение; Введение Аналитический обзор; Аналитический обзор Цель работы; Цель работы Постановка задачи; Постановка задачи Обзор аналогов; Обзор аналогов Математическая модель; Математическая модель Спектрограмма; Спектрограмма Автокорреляция; Автокорреляция Автокоррелограмма; Автокоррелограмма Проектирование и разработка системы; Проектирование и разработка системы Структура выходного файла; Структура выходного файла Схема работы системы; Схема работы системы Диалоговое окно с настройками; Диалоговое окно с настройками Инструмент в действии; Инструмент в действии Результирующий файл; Результирующий файл Апробация системы; Апробация системы Эксперимент Выводы. Выводы 35