Синтез речи по тексту: проблемы персонализации и выразительности синтезированной речи Б.М. Лобанов (lobanov@newman.bas-net.by ) Объединённый институт проблем. - презентация

1 Синтез речи по тексту: проблемы персонализации и выразительности синтезированной речи Б.М. Лобанов ) Объединённый институт проблем информатики НАН Беларуси, Минск, Беларусь

2 Введение Несмотря на широкое развитие исследований в области синтеза речи по тексту, основным критерием качества до недавних пор оставалась разборчивость синтезированной речи. Недостаточное внимание, уделяемое естественности синтезированной речи, ставит барьер для широкого использования систем синтеза речи. Решение проблемы естественности синтезированной речи связано с разработкой средств достижения её персонализации и выразительности. Для этого предлагаентся воспользоваться новыми методами компьютерного клонирования персональных характеристик речи диктора. При этом решается не только проблема повышения естественности синтезированной речи, но и проблема воспроизведения манеры чтения и голоса конкретного человека.

3 Задачи компьютерного клонирования персональных и выразительных характеристик речи Компьютерное клонирование – это дальнейший этап развития систем искусственного интеллекта, когда моделируется не только сама интеллектуальная функция, но и особенности её проявления у конкретного человека. В речевых технологиях целью компьютерного клонирования является создание системы синтеза речи по тексту с максимально возможным приближением по звучанию к голосу и манере чтения конкретного человека. При этом ставится задача воспроизведения персональных акустических особенностей голоса, фонетических особенностей произношения, а также интонационной индивидуальности и выразительности речи диктора.

4 Структура системы синтеза речи по тексту Выразительность речи Персонализация речи

5 Структура текстового процессора

6 Текстовый процессор: блок предварительной обработки текста

7 Текстовый процессор: блок морфологической и акцентной маркировки

8 Структура просодического процессора

9 П росодический процессор: блок членения текста на предложения, пунктуационные (ПС) и лексические (ЛС) синтагмы

10 Пример членения сложного предложения на ПС и ЛС Служил он с прохладцей / и, / несмотря на то, / что бесстрашное сердце гоняло его кровь, / не особенно искал возможности выслужиться – / зато послужной список Митьки / являл некоторое неблагополучие: / был хозяин его два раза судим – / по обвинению в изнасиловании русско-подданной польки / и в грабеже, / за три года войны подвергался бесчисленным наказаниям / и взыскам; / однажды военно-полевой суд чуть не прилепил ему даже расстрела, / но как-то умел Митька / выкручиваться из бед, / и, / хотя / и был в полку на последнем счету, – / любили его казаки за веселый улыбчивый нрав, / за похабные песни / (на них был Митька / мастер не из последних), / за товарищество / и простоту, / а офицеры – / за разбойную лихость.

11 П росодический процессор: блок разметки ПС и ЛС на синтаксические синтагмы

12 Идеальным решением проблемы членения такого рода предложений на синтагмы было бы использование комплекса правил разбора на синтаксические компоненты. Вариант 1 {(Идеа=льным реше+нием)}[1] {(пробле+мы члене=ния)}[1] {(тако=го ро+да) (предложе+ний)}[2] {(наЪсинта+гмы)}[1] {(бы+лоЪбы испо=льзование)}[1] {(ко+мплекса пра=вил) ( разбо+ра)}[2] {(наЪсинтакси=ческие компоне+нты)}[1] Вариант 2 {(Идеа=льным реше+нием)} {(пробле+мы члене=ния)}[2] {(тако=го ро+да) (предложе+ний)} {(наЪсинта+гмы)}[3] {(бы+лоЪбы испо=льзование)} {(ко+мплекса пра=вил) ( разбо+ра)}[3] {(наЪсинтакси=ческие компоне+нты)}[1] Пример членения ПС на синтаксические синтагмы

13 Просодический процессор: Блок интонационной разметки синтагм

14 Просодический процессор: Интонационные типы синтагм повествовательных предложений

15 Просодический процессор: Маркировка комбинаторных вариантов интонационного типа синтагмы

16 Просодический процессор: Маркировка позиционных вариантов интонационного типа синтагмы

17 Структура фонетического процессора

18 Структура акустического процессора

19 Акустический процессор: синтез акустико-просодических характеристик

20 Акустический процессор: синтез акустико-фонетических характеристик

21 Клонирование просодических характеристик речи (1) 3- х акцентная синтагма с интонацией незаверщенности Ma+shenka atkry+la glaza+, (Marry has opened eyes,)Машенька открыла глаза, …

22 Клонирование просодических характеристик речи (2) 3-х акцентная синтагма с интонацией заверщенности …, а сегодня я всё забыла.

23 Клонирование просодических характеристик речи (3) 3-х акцентная синтагма с интонацией общего вопроса Ленточки заплетать красные?

24 Клонирование просодических характеристик речи (4) 3-х акцентная синтагма с интонацией частного вопроса Где мой портфель?

25 Клонирование просодических характеристик речи (5) 3-х акцентная синтагма с интонацией восклицания Ура! Сегодня в школу!

26 Клонирование просодических характеристик (6) конечная АЕ для 5-ти дикторов и 4-х интонационных типов Весело запела, Ура! А моя ручка на месте? Настало утро. Рассказ (Клон «Елена») Диалог (Клоны: М1, М2, Ж1, Ж2)

27 Нерешённые проблемы (1) Го+ре Горе+ Мо+чи Мочи+ Кру+гом Круго+м Са+дится Сади+тся Зе+млю Землю+ Ко+льца Кольца+ Ме+лки Мелки+ Пры+гнул Прыгну+л По+лю Полю+ Ро+жу Рожу+ Мо+лодец Молоде+ц Све+тил Свети+л Бо+ка Бока+ Гла+за Глаза+ Поде+лим Подели+м Чу+дную Чудну+ю Де+вицу Деви+цу Всё Все По+ля Поля+ Све+ту Свету+ Го+рю Горю+ Рабо+тать Работа+ть На+чал Нача+л Засве+тилЗасвети+л Взви+лся Взвился+ Спа+ли Спали+ У+тра Утра+ Го+спода Господа+ Че+ртиЧерти+ Ря+ду Ряду+ Во+рот Воро+т Доро+гой Дорого+й Кра+сно Красно+ Чу+дно Чудно+ Хи+тро Хитро+ Ки+ту Киту+ Графические омографы: список, классификация, правила разрешения омографо

28 Нерешённые проблемы (2) Определение местоположения синтагматического ударения

29 Нерешённые проблемы (3) Распознавание предложений с обращениями, вводных слов и сочетаний, однородных членов предложения и т.д. и т.п.

30 Нерешённые проблемы (4) Класификация функционально- семантических признаков частиц, союзов, междометий и определение их роли как индиеаторов выразительности и эмоциональности речи.

31 ЗАКЛЮЧЕНИЕ К сожалению, или, к счастью, остаётся еще очень много нерешённых проблем в автоматической генерации речи по произвольному тексту: орфоэпически правильной, выразительной, наделённой чертами конкретной личности. Хочется надеяться, что коллеги из смежных областей компьютерной лингвистики примут активное участие в решении этих не простых проблем!

32 ПОСЛЕСЛОВИЕ В апреле 2008 года вышла в свет монография: Лобанов Б.М., ЦирульникЛ.И. Лобанов Б.М., Цирульник Л.И. Компьютерный синтез и клонирование речи – Минск : Белорус. Наука, 2008, 337с. ISBN

33

34 КУПЛЯЙЦЕ БЕЛАРУСКАЕ!!! Заказать книгу можно: В Москве – ООО"Техническая книга" Тел.(+7) , В Минске – Изд. "Белорусская наука", ул. Ф. Скорины, 40, тел. (+375)