Мастер-класс «Современные технологии коррекции интонации в аудиозаписях»

27 октября 2023

25 октября 2023 г. на кафедре аудиовизуальных систем и технологий совместно с кафедрой звукорежиссуры СПбГИКиТ состоялся мастер-класс на тему современных технологий коррекции интонации в аудиозаписях или, проще говоря, изменения высоты звучания фонограммы средствами компьютерной техники. В мастер-классе принимали участие доцент кафедры АВСиТ Сергей Васильевич Перелыгин, доцент кафедры звукорежиссуры Сергей Львович Киселёвым и студенты ФМТ и ФЭИ.

В эпоху доминирования механических устройств записи/воспроизведения фонограмм (конец XIX в. – первая четверть XX в.) было технически реализуемо лишь зависимое изменение высоты/длительности фонограммы. Для этого было достаточно изменить скорость перемещения носителя записи.

Возможности же независимой обработки звуковых сигналов стали осознаваться разработчиками аппаратуры при совершенствовании технологии магнитной записи/воспроизведения фонограмм. Магнитофон стал незаменимым инструментом в процессе создания фонограмм, и именно на основе конструкции магнитофона были созданы многие приборы обработки звука, в том числе устройства независимого изменения высоты тона и длительности фонограмм. Первые коммерчески успешные устройства были созданы в конце 70-х годов прошлого века компаниями «Eventide» и «Publison». Компания «Eventide» до сих пор существует и успешно разрабатывает и продаёт устройства с патентованным названием «Harmonizer».

Прибор “Infernal Machine” компании Publison

Прибор “Harmonizer” компании Eventide

Первые цифровые алгоритмы независимого изменения высоты сигнала получили название «Pitch Change» или «Pitch Shift». При их использовании сигнал разделяется на короткие фрагменты, эти фрагменты подвергаются транспонированию с ресемплингом, а затем заново соединяются в непрерывную фонограмму. Для того чтобы избежать заметных щелчков в точках соединения, фрагменты имеют избыточную длительность (нахлёсты) и соединяются с плавным изменением уровня с помощью кроссфейдов.

Принцип работы устройства Pitch Shift:

а – исходный сигнал;

б – результат транспонирования на октаву вниз;

в – результат транспонирования на октаву вверх.

Сегодня такие возможности реализованы практически в любом коммерчески доступном устройстве цифровых звуковых эффектов. Именно цифровая обработка позволяет реализовать более сложные алгоритмы транспонирования (изменения высоты звучания), которые устраняют появление в процессе обработки сигнала неестественности звучания из-за изменения длительности артикуляционных процессов и смещения частот абсолютных формант.

Достижения в области уменьшения заметности этих искажений позволили некоторым компаниям выделиться в отдельную группу на рынке профессионального звукового оборудования. Это Prosoniq, Antares (https://www.antarestech.com) и Celemony (https://www.celemony.com) в области программного обеспечения и Eventide (https://www.eventideaudio.com) в области физических устройств.

Среди множества важных усовершенствований в области коррекции интонации следует отметить:

1) реализацию исследования автокорреляционной функции с целью поиска оптимальных позиций кроссфейдов («De-Glitch»),

2) разделение сигнала на несколько частотных полос и автоматический подбор оптимальных позиций кроссфейдов в каждой полосе,

3) перенос сигнала в частотную область с помощью специфической реализации быстрого преобразования Фурье (STFFT – «Short-Time Fast Fourier Transform») и выполнение обратного преобразования после коррекции спектра или длительности сигнала,

4) выбор оптимального оконного преобразования сигнала с использованием вэйвлет- и чирплет-преобразования,

5) автоматическое распознавание основного тона сложного сигнала.

При достаточном размере STFFT (более 4096 отсчётов) преобразования высоты звука оказываются самыми незаметными на слух. Анализ и преобразования сигнала в частотной области позволяют выделить высокочастотную формантную область и не подвергать её транспонированию, что существенно повышает естественность звучания.

Эти и многие другие вопросы были рассмотрены в рамках мастер-класса. Студенты проявили интерес к теме транспонирования звука, выразили желание изучить данную проблему более детально. Организаторы мастер-класса с радостью отвечали на вопросы и сделали прогноз о дальнейшем развитии независимых искусственных манипуляций с высотой и длительностью фонограмм и о построении новых математических моделей человеческого восприятия музыкальных сигналов.