Синхронизация губ – один из самых сложных аспектов лицевой анимации, не в последнюю очередь потому, что рот – один из самых сложных элементов в риггинге. При этом следует помнить, что правильно работающий рот должен оставаться незаметным и внимание игрока в идеале должно быть обращено на глаза.
Формы рта для базовых фонем (английского языка)
Фонемы
В самом базовом варианте анимация речи во время диалога создается с помощью серии предустановленных форм под названием «фонемы», охватывающих все различимые звуки речи. Некоторые звуки (например, «A» и «I» для английского языка[9]) могут передаваться одной и той же анимационной «фонемой». Полный набор фонем выглядит следующим образом:
Переходы между формами
Для правильной передачи речи недостаточно просто выстроить эти формы в правильной последовательности и в соответствии с таймингом (хотя для первоначальной синхронизации это очень полезно). Признаки хорошей синхронизации губ – это плавный переход от одной фигуры к другой, знание того, какие из них не обязательно должны соответствовать звукам речи на сто процентов, а также пропуск некоторых форм – чтобы избежать «хлопанья губами» при быстрой речи или произнесении сложных слов.
При синхронизации губ большую пользу принесет такое «низкотехнологичное» средство, как зеркальце для бритья на рабочем столе. С его помощью можно сколько угодно репетировать диалоги, прорабатывая последовательность движений и форм губ. Конечно, говорить при этом следует настолько естественно или настолько преувеличенно, как этого требует стиль анимации. И лучше переосторожничать, чем допустить «беззвучные» движения губ.
Система кодирования лицевых движений
Стандартный метод работы при создании ключевых кадров с синхронизацией губ заключается в обращении к легкодоступному набору поз (благодаря отдельной библиотеке или системе настроек в DCC), которые можно вставлять в соответствии со звуками диалога.
Важно отметить, что эти позы не должны соответствовать только тем, что были указаны выше (если только проект специально не предусматривает это или такое решение не обусловлено экономией). Наоборот, лучше создавать их самому на основе более детальных форм, определяемых движениями мелких мышц и в совокупности воспроизводящих формы «фонем». Кроме этого, необходимы средства управления мелкими деталями, которые оживляют мимику: легкие движения кожи вокруг глаз, носа, лба, щек и шеи, а также движения рта и челюсти.
Ползунки настроек для множества поз системы FACS
Лица персонажей игр с самым высоким разрешением часто имеют сотни отдельных настроек, задаваемых не вручную, а с помощью ползунков на основе так называемой системы кодирования лицевых движений (FACS, Facial Action Coding System). Система FACS охватывает микровыражения, возникающие благодаря большому разнообразию возможных движений мышц лица, которые были первоначально классифицированы Полом Экманом и Уоллесом Фризеном в конце 1970-х годов. Конкретная детализация, а следовательно и количество форм, будут разными для каждого проекта в зависимости от требований к точности и важности лицевой анимации.
Совместное использование лицевой анимации
В отличие от стандартизированных скелетов тела, персонажи в вашей игре, скорее всего, будут иметь уникальные лица, а потому к ним не получится применить универсальный подход – даже если в лицах будет одинаковое количество костей с одинаковыми названиями. Поэтому при разработке анимаций лиц разных персонажей нужно экспортировать их в виде набора значений, соответствующих уникальным вариациям поз каждого персонажа.
Общая лицевая анимация для разных персонажей Fortnite. (Copyright 2018 Epic Games, Inc.)
Экспорт простых значений от 0 до 1 позволит не только сэкономить память (иначе для каждой позы пришлось бы указать положение и поворот каждой кости), но и воспроизводить простые двоичные значения на персонажах с совершенно разными лицевыми ригами, количеством костей и формами поз. Например, позу поднятия брови у дракона можно будет воспроизвести и для мыши, несмотря на разницу в визуальном оформлении. Так для разных типов персонажей будет воспроизводиться анимация, состоящая из поз, совпадающих если не визуально, то хотя бы по названию.
Сокращение объема работ по лицевой анимации
Поскольку анимирование лица – это самый сложный и трудоемкий тип анимации, создаваемой с нуля, то в играх с большим количеством диалогов (таких как ролевые или продолжительные сюжетные приключения) часто требуется решение, которое позволило бы аниматором сэкономить время.
К счастью, в настоящее время существует несколько программ, позволяющих процедурно генерировать синхронизацию губ на основе аудиофайлов и текста. Результат не отличается высоким качеством, но полученная анимация может стать отличной основой для последующей работы над важными сценами.
В наше время доступным даже для самых ограниченных бюджетом разработчиков становится видеозахват лиц. Программное обеспечение в сочетании с простым оборудованием, таким как веб-камеры или мобильные телефоны, позволяет получать приличные результаты для первого прохода (или лиц, находящихся далеко от камеры) и в то же время предоставляет аниматорам возможность начать работу не с совсем уж чистого листа.
Исправление неудачной синхронизации губ
Неудачная синхронизация губ иногда довольно заметна, но часто бывает трудно определить точную причину неудач и ошибок. Ниже перечислены несколько способов устранения самых частых проблем.
• Тайминг: самый частый недосмотр, из-за которого движения губ выглядят неправильно, – это нарушение синхронизации. Попробуйте выделить кадры вокруг нужной области и сдвинуть их вперед или назад. Обязательно воспроизводите видео при каждой новой настройке, чтобы убедиться, что на результат не влияет низкая частота кадров в DCC. Иногда при редактировании захвата движений лица вся анимация рассинхронизируется и требует корректировки.
• Формы рта: иногда одна или несколько форм просто не попадают в кадр, остаются невидимыми или оказываются вообще неправильными. Если форма недостаточно заметна, попробуйте задержать ее на кадр-два дольше, насколько позволяет время, а затем скорректируйте.
• «Хлопанье губами»: движения рта бывают слишком заметными, когда каждому звуку речи пытаются подобрать отдельную форму. Как и в других случаях, проверьте движения губ на себе – произнесите строку в зеркало. Так вы поймете, нужно ли для выбранной скорости речи отображать ту или иную форму или можно ее пропустить (или отобразить быстрее).
• Переходы: «фонемы», или соответствующие звукам речи формы рта и губ, не просто следуют друг за другом, а проходят друг в друга через промежуточные формы, особенно при четкой артикуляции или в медленной речи. Более того, многие фонетические формы требуют нескольких поз – например, звук [б], при котором рот сначала закрывается, а затем открывается, чтобы выпустить воздух. Опять же, для достижения наилучших результатов воспользуйтесь зеркалом или видеозаписью, чтобы определить, когда губы между фонемами сжимаются, разжимаются или смыкаются.
(Публикуется с разрешения Sony Interactive Entertainment.)
Интервью. Мари Селайя
Главный лицевой аниматор – Detroit: Become Human
Не могли бы вы объяснить процесс создания лицевой анимации в Detroit: Become Humanи вашу роль в проекте?
Лицевая анимация в Quantic Dream – весьма специфический процесс, поскольку наша цель в том, чтобы действительно воссоздать внешность и игру актеров в точности так, как это происходило на съемочной площадке. Мы прежде всего рассказчики, наша задача – погрузить игрока в игру, полностью «втянуть» его в происходящее. У нас, аниматоров, есть поговорка: «Лучшая анимация – это та, которую не замечают». Анимация должна быть достоверной, правдоподобной и настолько изящной, чтобы полностью повторять реальность.
Detroit – дорогая в производстве игра с разветвленной сюжетной линией, требующей огромного количества мимики. Разработали ли вы какие-нибудь формулы, применимые на начальном этапе к любой актерской игре для повышения качества захвата?
Мы пользуемся специализированным инструментом, определяющим ключевые позы и выражения из галереи. Как только выражение опознано (посредством регистрации смещения маркеров от нейтральной позиции к улыбающимся губам и глазам), к нему автоматически применяются корректировки, которые я сделала для исходных FACS-записей актера. Так сглаживаются любые аномалии при получении данных, после чего я перехожу к последующему этапу ручной доработки деталей. Это экономит нам значительное количество времени, хотя в том, чтобы инструмент определил нужные выражения и применил нужную степень коррекции, тоже есть свое искусство.
Как вы балансируете технологии и искусство в вашем подходе к работе с мимикой? Насколько студиям следует сосредоточиться на пайплайне и качестве мимики и насколько они могут при этом освободить время аниматоров для тщательной обработки после захвата движения?
Искусство и технология – это мать и отец нашей работы. С учетом объема обрабатываемых нами данных, даже небольшое повышение эффективности дает колоссальный эффект. Именно поэтому мы максимально усовершенствовали процесс захвата данных и минимизировали время, необходимое для доработки, чтобы вносить улучшения на самом начальном этапе работы. Некоторая доработка необходима и всегда будет необходима, но это цена, которую приходится платить при стремлении к истинному правдоподобию.
В студии осознают это внимание к технологиям как к средству освободить время аниматоров, и оно отражено в рабочем процессе. Но мы также понимаем, что ни один инструмент никогда не будет полностью совершенным; даже самые чистые данные неизбежно потребуют художественного вмешательства со стороны человека, потому что любое улучшение носит субъективный характер. Мы часто добавляем такие подробности, как REM (быстрые движения глаз, сопровождающиеся вспышками интереса или внимания), и другие микровыражения, необходимые для создания ощущения реальност