Метод, разработанный Янковским, был основан исключительно на математических вычислениях и обладал многими свойствами, характерными для современных цифровых технологий, такими как дискретизация и квантование звуковых сигналов и соответствующих спектральных данных, операции с базовыми примитивами (шаблонами), выбранными из базы данных. Эту технику можно рассмотреть как своего рода протокомпьютерную музыкальную технологию, основанную на вычислительных методах синтеза и обработки звука.
Для выполнения сложных математических вычислений формы волны и других важных параметров звукового синтеза и автоматизированного музыкального исполнения, таких как ритм, в штате лаборатории графического звука Бориса Янковского и Евгения Шолпо были специальные сотрудники, задача которых состояла в том, чтобы выполнять сложные математические вычисления.
Практические методы Янковского были основаны на анализе описаний спектров, доступных в литературе, случайных возможностях использовать первый в СССР спектроанализатор, приобретенный Первой московской фабрикой смычковых инструментов, а также на богатом практическом опыте, благодаря которому Янковский умел оценивать спектральный состав звуков, исследуя структуру формы волны. Янковский заметил, что острые резонансы приводят к появлению довольно очевидных высокочастотных колебаний в рельефе волновой формы. Измеряя частоту и относительную амплитуду этих колебаний при помощи специальной линейки, он мог дать грубую оценку формантной структуры звука.
В результате долгосрочного исследования Янковский установил, что все естественные звуки могут быть разделены на классы по характерным типам спектров и соответствующих акустических свойств источников, в числе которых:
1) особенности спектрального состава звука (например, преобладание четных или нечетных гармоник и т. п.);
2) наличие формант, отражающих резонансные свойства источника звука;
3) особенности переходных процессов в спектре, особенно во время атаки звука;
4) характерные амплитудные огибающие (атаки и затухания);
5) характерные процессы амплитудной и спектральной модуляции (например, различные формы вибрато).
Он также установил, что в пределах одного класса возможно выделить свойства, характерные для других классов. Янковский считал наличие общей форманты самой важной общей особенностью различных звуков в пределах одного класса.
В серии синтонов, названных Янковским «пятиобертонки», он предпринял попытку синтезировать узкие спектральные зоны, напоминающие острые форманты. Его идея состояла в том, чтобы вычислить формы волны, соответствующие наборам по пять соседних высоких гармоник, сгруппированных вокруг некоторой средней частоты с отсутствующими низкими гармониками, включая первую. Он ожидал, что, соединяя последовательно пятиобертонки и сегменты тишины с варьируемой продолжительностью, определяющей общий период волны, он сможет синтезировать звуки с различными высотами, зависящими от продолжительности пауз, в то время как частота форманты останется неизменной. Несмотря на то, что для чистоты опыта форма волны одного периода, включая промежуточный сегмент, должна быть вычислена согласно желаемому спектру, идея была вполне функциональна: на спектрограмме хорошо видна сильная фиксированная форманта, в то время как спектральное содержание зависит от основной частоты, хотя количество гармоник также зависит от основной частоты и в большинстве случаев не равно пяти. Эта идея дает возможность изменения высоты звука, а также создания сложной формантной структуры, независимой от высоты, с минимальным количеством вычислений.
Экспериментируя с оптически записанными звуками, Янковский обратил внимание, что транспонирование их вверх и вниз посредством изменения скорости воспроизведения разрушает характер звука. «Звучание профиля “графического звука”, сфотографированного на кино-пленку с изменением одной лишь длины периода при неизменной форме, на всех частотах определенного диапазона, отличается постоянством спектра и текучестью или непостоянством окраски. Его форманта (если только можно говорить в этом случае о форманте, точнее весь зафиксированный состав его обертонов) движется параллельно основному тону, на протяжении всего данного диапазона»[347].
В штате Лаборатории графического звука Шолпо были специальные сотрудники, в задачу которых входило осуществление сложных математических вычислений. Ленинград. 1946. Личный архив М. Е. Шолпо
Чтобы решить проблему изменения высоты при сохранении неизменных формант, Янковский предложил вычислять по три шаблона на каждую октаву для всего диапазона частот каждого конкретного звука, транспонируя каждый шаблон посредством изменения скорости воспроизведения в диапазоне, не превосходящем одной трети октавы. Он писал: «Вопрос сводится к выбору количества нот в диапазоне инструмента, для которых надо производить синтез обертонов <…> я наметил для синтеза по 3 профиля на октаву каждого тембра. Этим самым был принят, конечно, своеобразный компромис по отношению к требованию абсолютной устойчивости формант, (так как я допустил сдвиг на большую терцию), но практически этот сдвиг совершенно не заметен»[348]. Интересно, что подобный метод используется сегодня в большинстве современных сэмплеров.
6.7. Синтоны и синтетические инструменты
Согласно классификации Янковского, он работал с четырьмя базовыми уровнями спектральной организации звуков:
1) «простой (чистый) тон» — простое гармонической колебание;
2) «сложный тон» — суперпозиция нескольких простых тонов;
3) «синтон» (синтетический тон) — искусственный сложный тон на основе математического сложения простых тонов, связанных с некоторым конкретным спектральным шаблоном и созданных методом графического звука.
4) «синтетический инструмент» — библиотека синтонов, связанных с некоторым особым звуковым характером (инструментом), с фиксированными формантами, предназначенный для синтеза звука методом графического звука. Фактически, речь идет о базе данных, не имеющей ничего общего с обычными «музыкальными инструментами», на которых играют традиционными способами[349].
На третьем этапе своей работы Янковский планировал «создание типов извлечения звука и красочностей промежуточных, для заполнения провалов между оркестровыми, следующими техническими приемами: 1. Путем медленных “наплывов”, спектральных переходов с помощью двойной фото-экспозиции. 2. Путем быстрых, радужных переливов из спектра — при громкостном вибрато со сдвигом на полуцикл, так что максимумы силы звука приходятся между максимумами другого. 3. Воспроизведением всех звуковых красок всеми способами извлечения звука, свойственными всевозможным инструментам и зависящими от изменения стационарных звучаний, как по амплитуде, так и по форме колебаний: pizzicato и обратная ему мягкая атака звука, громкостное вибрато (филирование звука) и разные процессы в начале звуков и в переходе между ними»[350].
Например, чтобы синтезировать человеческий голос, напевающий гласный звук, нужно было бы выбрать несколько шаблонов, связанных с формантами (рисованные волновые формы, наподобие пятиобертонок), добавить дополнительные шаблоны по мере необходимости (такие как «равно-амплитудный полный»), с помощью виброэкспонатора настроить каждый шаблон на требуемую частоту и интенсивность и затем смикшировать их. Конечный результат походил бы на «замороженный звук», подобный одному фрейму преобразования Фурье, временного «кванта» звука, физически связанного с одним кадром фильма. Чтобы произвести звук, изменяющийся во времени, необходимо вычислить последовательность статических кадров, каждый из которых представляет собой очередную фазу изменения звука во времени. Чтобы произвести финальную звуковую дорожку нужно соединить кадры в последовательность внахлест, переводя один кадр в другой через перекрестное микширование для достижения плавности переходов и минимизации помех на стыках кадров. Для реализации этого метода Янковский разработал свой виброэкспонатор.
«Пятиобертонки». 1935–1936. Математически рассчитанные волновые формы звуков с сильной формантой. Коллекция А. И. Смирнова
6.8. Виброэкспонатор
Разработанный Янковским специальный модифицированный анимационный станок «виброэкспонатор» позволял не только фотографировать последовательные сегменты рисованных звуковых дорожек, но также производить все необходимые манипуляции со спектро-стандартами в процессе создания синтонов. Это означало, что временная дискретизация соответствовала 24 кадрам в секунду, а каждый кадр представлял собой один «квант», своего рода мгновенную фотографию постоянно изменяющегося звука. При этом волновая форма каждого кадра последовательности вычислялась согласно спектральному составу на основе определенного набора спектральных шаблонов.
Несмотря на то, что Янковский ссылается на конструкцию виброэкспонатора в ряде своих рукописей, он нигде не дает полного его описания. Тем не менее, согласно имеющимся упоминаниям, можно представить себе принципы его работы. Являясь надстройкой над анимационным станком, виброэкспонатор имел несколько уровней, позволявших осуществлять полный цикл создания синтонов, а также покадровый перенос готовой звуковой дорожки на кинопленку.
Важной частью виброэкспонатора был станок скользящей копировки, позволявший конвертировать исходные синтоны, выполненные трансверсальным методом, в «интенсивные» негативы, необходимые для последующей обработки. Для осуществления скользящей копировки фотопластинка с изображением синтона помещалась в специальную кассету с тонкой щелью (апертурой), расположенной вдоль синтона, через которую параллельный пучок света попадал на вторую, не экспонированную фотопластинку, установленную позади апертуры. Широкое интенсивное изображение синтона получалось путем перемещения второй фотопластинки сверху вниз перед апертурой. «Интенсивное» (переменной плотности) изображение звуковой волны было необход