Мультимедиа технологии. Лекция 3. Составляющие мультимедиа. Звук Антон Викторович Кудинов, доцент кафедры ВТ

Содержание Природа звука Оцифровка звука. Запись звука Обработка Сжатие Форматы хранения Объединение звука и изображения Методы синтеза звука MIDI 2

Природа звука Отличается от всех цифровых средств информации ( визуальных ) Комбинация физических и психологических факторов Сложно смоделировать Не всегда нужен : легко раздражает 3

Два специальных типа звука Музыка ( имеет культурный статус ) Речь ( имеет лингвистическое содержание ) Разработаны специальные представления речи ( особые алгоритмы сжатия ) и музыки ( команды ) 4

Природа звука Преобразование энергии в колебания воздуха или другой упругой среды Камертон – одна частота Большинство звуков – сложной природы, можно разложить на набор частотных компонентов Частотный спектр - способ описания звука через относительные амплитуды его частотных компонентов 5

Свойства звука Высота – восприятие мозгом частоты колебаний Длительность – восприятие продолжительности колебаний Громкость – восприятие амплитуды колебаний единица измерения – децибел удвоение амплитуды звуковых колебаний соответствует увеличению громкости на 6 децибел, и наоборот Пространственная локализация – оценка направления на источник звука и расстояния до него Тембр – окраска звука. По тембрам отличают звуки одинаковой высоты и громкости, но исполненные или на разных инструментах, разными голосами, или на одном инструменте разными способами, штрихами. 6

Особенности восприятия звука человеком 20 Гц – 20 кГц ( средние ) Верхняя граница чувствительности снижается с возрастом Форму сигнала любого звука можно изобразить, построив зависимость его амплитуды от времени Иллюзии : более громкий звук кажется более низким сложные звуки кажутся более низкими, чем чистые человек выделяет свое имя, произнесенное в шуме стереофония 7

Цитата « Зная об очевидной сложности акустических сигналов, было бы наивно верить, что аналоговые или цифровые технологии развились достаточно, чтобы допускать точную запись и передачу того, что мы слышим. Ситуацию еще более усложняет то, что мы не знаем точного предела человеческого восприятия. Очевидно одно : в лучшем случае, даже при использовании самой сложной технологии, то, что воспроизводится аудиосистемой, является лишь аппроксимацией реального звука ». Кен С. Похлманн 8

Оцифровка звука 1. Преобразование звука в электрический сигнал 2. Аналогово - цифровое преобразование : квантование дискретизация 9

Дискретизация Частота Найквиста для оцифровки звука : f = 2 f max = 2 * 20 кГц = 40 кГц Для разный целей : AudioCD – 44,1 кГц передача через Internet – 22,05 кГц запись речи – 11, 025 кГц цифровые аудиоленты – 48 кГц Используется частотный фильтр, удаляющий частоты больше половины частоты дискретизации 10

Квантование Количество уровней выбирается исходя из удобного количества бит Обычно – 16 бит, уровней Шум квантования Минимальный уровень – 8 бит Высококачественный звук – 24 бит ( сложная схема АЦП ) 11

Шум квантования 12

Сжатие сжатие речи удаление пауз ( амплитуда ниже заданного порога ) нелинейное квантование адаптивная дифференциальная импульсно - кодовая модуляция (16-32 Кбит / с ) кодирование с линейным предсказанием сжатие на основе восприятия отбрасывание данных, не влияющих на восприятие сигнала сжатие на основе порога слышимости – психо - акустическая модель стандарт MPEG-1, разработанный для видео, хорошо используется для аудио, имеет 3 уровня (3- й уровень – MP3 ) аудио MPEG-2 – Advanced Audio Coding (AAC), лучше сжатие, нет обратной совместимости 13

Форматы хранения и передачи По платформам : MacOS – AIFF (.aiff) Windows – WAVE (.wav) Unix – AU (.au,.snd) MP3 – скорее алгоритм сжатия, может быть частью других форматов RealAudio (.ra,.ram) – для потокового аудио MIDI (.mid) MOD (.mod) – для хранения сэмплов, платформонезависимый 14

Методы синтеза звука таблично - волновой синтез (WaveTable, WT) – основан на воспроизведении сэмплов – заранее записанных звучаний реальных инструментов сэмплы содержатся в ПЗУ звуковой платы, можно загружать в ОЗУ изменение высоты звука через изменение скорости проигрывания сэмпла параллельное проигрывание разных сэмплов дополнительная обработка звука ( модуляция, фильтрация ) достоинства : реалистичность звучания классических инструментов, простота получения звука недостатки : жесткий набор заранее подготовленных тембров, большие объёмы памяти для сэмплов, неодинаковое звучание разных моделей синтезаторов из - за различающихся наборов стандартных инструментов 15

Методы синтеза звука частотная модуляция ( Frequency Modulation, FM ) – синтез, основанный на использовании нескольких генераторов сигнала с взаимной модуляцией каждый генератор управляется схемой, регулирующей частоту и амплитуду сигнала ( оператор ) бывает двухоператорный ( OPL 2) и четырехоператорный ( OPL 3) синтез 16 тембр звучания определяется схемой соединения операторов и параметрам и каждого оператора мах количество синтезируемых тембров – зависит от числа операторов и схемы управления ими

Частотная модуляция достоинства : не надо заранее записывать звуки инструментов и хранить их в ПЗУ, велико разнообразие получаемых звучаний, легко повторить тембр на различных платах с совместимыми синтезаторами недостатки : трудно обеспечить достаточно благозвучный тембр во всем диапазоне звучания, имитация звучания реальных инструментов крайне грубая, сложно организовать тонкое управление операторами, из - за чего в звуковых платах используется упрощенная схема с небольшим диапазоном возможных звучаний 17

Выбор метода синтеза Если в композиции нужен звук реальных инструментов, лучше подходит метод таблично - волнового синтеза Для создания новых тембров более удобен метод частотной модуляции, хотя возможности FM - синтезаторов звуковых плат достаточно ограничены 18

MIDI Musical Instruments Digital Interface по сравнению с цифровым звуком – как векторная графика по сравнению с растровой сокращенная форма записи музыки в цифровой форме достоинства : меньший объем памяти более высокое качество произведения можно редактировать на уровне отдельных нот, менять скорость и тембр звучания и т. д. недостатки : зависимость от устройства воспроизведения нельзя записать произвольный звук 19

MIDI- файл представляет собой последовательность команд, которыми записаны действия ( например, нажатие клавиши на пианино или поворот регулятора ) General MIDI ( GM ) – разработка фирмы Roland, 128 мелодических тембров с возможностью воспроизведения звуков разной высоты и 46 ударных инструментов. За всеми инструментами закреплены номера General Standart ( GS ) – общий стандарт фирмы Roland, включает дополнительные наборы мелодических и ударных инструментов, а также различные эффекты ( скрип двери, звук мотора, крики и т. д.) Extended General ( XG ) – новый стандарт фирмы Yamaha, включающий несколько сотен мелодических и ударных инструментов, ставший альтернативой формату GS 20

Спасибо за внимание ! 21