17/06/2021

Virtual production как замена зелёному экрану

Virtual production как замена зелёному экрану

О virtual production в последнее время не писал только ленивый. О том, что это новая эпоха продакшена, о том, что LED панели полностью заменят привычный всей индустрии зелёный экран — и так далее, и тому подобное. А истина-то, собственно, где? Она, как обычно, где-то посередине. На стыке традиционного и virtual продакшенов.

Всем привет, меня зовут Дмитрий Шарденков. Я — CG супервайзер компании Parallax Digital. И сейчас моя задача — рассказать о плюсах и минусах технологии на примере опыта нашей компании. Об этапах производства, о том, сложно ли это и, в конце концов, — стоит ли оно того.
Что ж, тишина на площадке! Мотор!

 Да кто такой этот ваш Virtual Production

Чем же является по сути новый вид продакшена? Virtual Production — тип съёмки, позволяющий поместить человека или объект в виртуальную среду в реальном времени. Иными словами, если при стандартной съёмке и использовании green screen вы "рисуете" графику поверх отснятого материала, то здесь вы видите финальный результат уже в превью своей собственной камеры. А благодаря системе трекинга, изображение на экране меняет своё положение и перспективу относительно объекта в кадре, порождая тот самый эффект “параллакс” — визуальный объём, создающий глубину и эффект присутствия в сцене.

Тест трекинг системы и камеры Alexa на LED экранах. Parallax Digital

И уже на этом моменте мы сразу упираемся в основное отличие Virtual Production от привычного типа съёмки, с использованием CG — препродакшн является основой в производстве. К первому съёмочному дню весь объём CG приводится в готовый вид, трекинг система откалибрована, а все пожелания заказчика учтены ещё на этапе драфтов и тестовых смен. Актёры видят, в какой локации они находятся, визуально проще воспринимая условный дубль. Режиссёр понимает, как ему с этим работать, а оператор, совместно с отделом CG определяет, где и какой ракурс в конкретной сцене будет выигрышнее. 

Прямая трансляция премии “АПКиТ” 2020, совместно с Пятым каналом. Parallax Digital

Одна из ключевых особенностей Virtual Prodiction — возможность во время съёмочного дня изменять вид и условия виртуальной декорации малой кровью, если того требует ситуация. Убрать здание из кадра, поменять время суток, изменить цветокор — задачи, реализуемые в кратчайшие сроки и без рисков для съёмочного дня.

Но есть нюанс — переделать городской массив и изменить в нём дорожный трафик за час до очередного дубля вам никто не позволит. Всегда есть жёсткое и нерушимое правило — масштаб правок всегда оценивается перед внедрением их в производство. И уже на основе этого реализуется то или иное изменение сцены.

Фрагмент промо-ролика “Реальность”, сделанный совместно с Пятым каналом. Parallax Digital

Однако здесь в силу вступает условность, как и с реальной декорацией — съёмка не начнётся, если виртуальная локация не подготовлена к выводу на LED экран. А если она не готова к нужному дедлайну, случается переработка съёмочной группы, или, того хуже — “отмена” съёмочного дня. А это, часто — неустойка. Неустойка = убытки. Неприятно. А вот как избежать подобной ситуации и на чём строится корректное производство, я вам расскажу дальше.

Производственные особенности

Начнём с основного инструмента — реалтайм рендер, "движок", который и будет выводить виртуальный фон на LED. Будем рассматривать Unreal Engine 4, на котором и базируется почти весь современный Virtual Production. 

Это очень мощное и комплексное решение 3d визуализации как для игр, так и для киноиндустрии. В последние несколько лет на него обратили внимание не только разработчики игр, но и киноделы. В первую очередь, за способность обрабатывать в реальном времени уровень графики, необходимый для живых съёмок, что позволило родиться таким продуктам, как, например, набивший уже всем оскомину "Мандалорец". Это и породило, в основной своей массе, прецедент для расцвета новой индустрии.

Кадр из короткометражного фильма “Гиперскачок”. Parallax Digital

Я буду разбирать тот пайплайн, по которому выстроена работа в Parallax Digital. Мы пробовали разные типы производства, “пристреливались” к всемозможным решениям, но остановились на единственном полностью устраивающем нас варианте. Здесь всё достаточно лаконично и многим знакомо:

  1. Идея
  2. Драфт \ Тестовая съёмка
  3. Полишинг
  4. Тестовая съёмка
  5. Правки 
  6. Съёмка

Давайте рассмотрим каждый из пунктов в отдельности, заодно поговорив о взаимосвязи CG контента и технических решений съёмочной команды.

Идея

Всё начинается с неё. Клип, фильм, рекламный ролик — принцип один и тот же. Идея разбивается на следующие компоненты:

  • Сценарий
  • Референсы
  • Концепт
  • Раскадровка

Сценарий даёт понять саму идею. Оценить масштаб будущих работ отдела CG и съёмочной группы. Уже на стадии завершения сценария технический департамент, совместно со съёмочной группой, оценивает будущую конфигурацию LED панелей. Условно, это даёт мне, как супервайзеру CG отдела понимание того, в каком разрешении и рабочей области оператора будет производиться финальная съёмка. Относительно этого выстраивается пайплайн разработки CG тем или иным образом, подстраиваясь под технические ограничения.

Timelapse монтажа LED экранов

Например, для проекта “Снежная королева” мы использовали экран общей площадью 204 квадратных метра, суммарным разрешением, превышающем 11к. Учитывая, что рендер финального изображения был в реалтайме, оптимизация сцен отнимала большое количество времени при производстве. Немаловажным было и то, что экран был установлен в ледовой арене “Юбилейный”. Это накладывало на сцены дополнительные условия в виде гипертрофированных отражений на объектах и изменении общей композиции. 

Сцена из ледового шоу на льду — Снежная королева. Parallax Digital

Концепт и референсы позволяют визуализировать будущую атмосферу, внешний вид или стилистику виртуальной локации. Оценивается сложность и сроки создания определённого объекта или визуального эффекта. На данном этапе решается важный аспект будущей съёмки — какие элементы будут включены в реальную декорацию, какие — в виртуальный фон. Для полной синергии LED экранов и натурной съёмки команде Virtual Production совместно с художниками-реквизиторами съёмочной команды необходимо чётко и ясно разделить обязанности по созданию того или иного элемента будущей композиции. 

"За кадром" клипа группы “Нигатив”

Раскадровка необходима для понимания будущих ракурсов, с которыми хочет взаимодействовать режиссёрская группа. Она помогает определить рабочую зону оператора и визуальную доминанту кадра — доминирующий элемент виртуального фона. Грамотно сделанная раскадровка очень сильно помогает урезать сроки разработки локаций. Допустим, режиссёр с оператором-постановщиком утвердили определённые ракурсы и не хотят от них отступать — разработка виртуального фона ведётся исключительно под выбранный ракурс. Локация за пределами кадра не прорабатывается. 

Раскадровка неанонсированного проекта Parallax Digital

Однако большинство фонов создаются на 360 градусов, так как часто режиссёры и операторы, не знакомые с технологией, теряются, отходят от изначальных раскадровок и “вертят” виртуальной камерой до тех пор, пока их не устроит получившийся кадр. Благо, Unreal Engine это позволяет делать в реальном времени и без каких либо усилий.

Помимо вышеобозначенных вещей, на стадии идеи решается ещё один важный вопрос, без которого виртуальный фон остаётся обычными фотообоями — выбор трекинг системы. Это отдельная тема для целой статьи. Отмечу лишь, что точность и безотказная работа трекинга в течение всей съёмочной смены — залог успешной реализации проекта. В нашем случае используется трекинг-система компании Mo-sysStartracker. Это надёжное решение, уже ставшее индустриальным стандартом.

Трекинг-система StarTrack от компании Mo-Sys во время онлайн митапа “Неигровое использование движка Unreal Engine”. Parallax Digital
За кадром трансляции онлайн митапа “Неигровое использование движка Unreal Engine”. Parallax Digital

Драфт

С идеей разобрались. Трекинг выбрали. Экраны поставили. Остаётся самая глобальная часть разработки — виртуальная локация. Разработка оной всегда начинается с драфта. Он состоит из четырёх этапов, каждый из которых согласуется напрямую с заказчиком, посредством обсуждения или тестовых съёмочных смен. После успешного завершения драфта, локация отправляется на полишинг для подготовки к полноценным съёмкам. 

Набросок драфта будущей локации. Parallax Digital

Помимо визуала, локация может содержать и функционал, который необходим для реализации той или иной идеи. Городской трафик, смена дня и ночи по команде и т.д. Порой доходит даже до искусственного интеллекта. Всё это необходимо для того, чтобы локация “жила”, а зритель не цеплялся глазом за монотонность видимой картинки. 

Коротко пробежимся по тому, из чего состоит драфт и в какой последовательности идёт разработка локации в Parallax Digital, по порядку:

  1. Формы и общие визуальные акценты — блокаут, или грейбокс. Кому как удобнее.
  2. Базовый свет, детали окружения, тестовый функционал и первый ракурс. На этом этапе очень часто снимаются “прешуты” — тестовые съёмки с актёрами, позволяющие оценить выбранные ракурсы и общую динамику кадра.
  3. Текстурирование. Добавление визуальных эффектов. Начальная настройка материалов — шейдинг. Проработка деталей окружения.
  4. Читаемый светотеневой рисунок. Детальный шейдинг. Глубокая проработка видимой локации. Стабильный функционал. Базовый пост-процесс и цветокоррекция.
Подготовка к съёмкам, совместно с Пятым каналом. Parallax Digital

На протяжении всего драфта в паре с ним идут и тестовые съёмки, позволяющие отсекать любой из возможных инцидентов, способных затруднить работу в съёмочный день — от неисправного трекинга, до проблем с выводом локации на LED. Это ещё одно важное правило Virtual Production, которое роднит его с обычным продакшеном — перед первым съёмочным днём команда обязана провести тестовые смены, чтобы оценить все риски и проверить каждый аспект, задействованный в съёмке. Уж поверьте — никто не хочет, чтобы внезапно вышла из строя камера или не заработала трекинг-система. Это может обойтись очень дорого. Одна отменённая смена способна поставить под угрозу весь проект. Это всегда нужно держать в уме.

Полишинг

На этом этапе весь CG массив приводится к “продуктовому” виду. 

Концепт и финальный результат локации из короткометражного фильма “Гиперскачок”. Parallax Digital

Основная задача на данном этапе — сделать финальное изображение в камере реалистичным, не вызывающим сомнения у потенциального зрителя. Представьте, что у вас вполне обычная натурная съёмка. Позади условного актёра комната, или даже целый ангар. И вы уже на превью видите не вызывающий сомнения кадр. Так вот именно на полишинге достигается эффект полного присутствия — зритель должен поверить в то, что попалось ему на глаза. Для подобного эффекта в Virtual Production применяется целый комплекс действий: PBR шейдинг, свет, цветокор LED дисплея и выбор камеры с подходящей оптикой. И, наконец — общее сведение по цвету и композиции реального и виртуальной декораций.

  

Здесь я отмечу ещё одно важное правило Virtual Production: неважно, как выглядит сцена в превью движка или на самом LED экране — важно, как она выглядит в превью вашей камеры. Локация может быть сколь угодно реалистична на рендере или во viewport UE4, однако при выводе на LED всё может кардинально поменяться. Есть множество уловок, как избежать подобной ситуации — откалибровать схожим образом рабочие мониторы и LED, выводить всё в идентичном цветовом пространстве и т.д. Но об этих тонкостях мы с вами поговорим в следующий раз.

Тестовая съёмка

Переходим к съёмкам — пока тестовым. Это уже не обычный "прешут", который может быть снят и на "драфтовой" части локации, с помощью дешёвой камеры и без вменяемой оптики. Здесь проходит "боевая" смена, отражающая все аспекты будущих съёмок: отполированный CG, готовых актёров и полностью укомплектованную аппаратуру. Разница с полноценным съёмочным днём в том, что все возможные инциденты запланированы заранее, а команда имеет на руках готовый алгоритм действий на случай внештатной ситуации.

Подготовка к тестовой смене фильма “Гиперскачок”. Parallax Digital

Проверяется всё. Выбранный ракурс, CG, функционирование трекинг системы. Работа режиссёрской и операторской групп. Конечно, смену можно провести и без тестов, опираясь на собственный опыт и любимое всеми “авось”. Но всегда стоит помнить одну простую вещь — грамотное планирование и тест — залог успешного проекта. Определённо, не всё можно протестировать заранее. Однако, около 80% ошибок, если они есть, отсеиваются именно на этом этапе производства.

Здесь стоит отметить важность экосистемы производства. Чем меньше степеней свободы (или, иными словами — компонентов), которыми вы управляете не напрямую, тем выше стабильность разработки Virtual Production. Всё и всегда должно быть под рукой. Контроль виртуальной сцены, мониторинг трекинг системы, переключение реальной и виртуальной камер между собой — это не полный перечень того, что может потребоваться во время съёмочного дня.

Для этого множество студий используют комбинацию из определённых решений, применяя для каждого проекта свой "коктейль". Мы пошли несколько иным путём и разработали целый программный комплекс, в который входит плагин для UE4, объединяющий множество компонентов в одном месте — B.A. Solutions.

Он является глобальной точкой интеграции сторонних систем контроля, с помощью которых происходит управление компонентами Virtual Production — от камер и параметров сцены до трекинг систем. Например, интегрируя клавишную панель StreamDeck, мы получаем единой блок управления в одном месте, что даёт возможность изменить сцену до неузнаваемости буквально за пару нажатий. Это неимоверно упрощает съёмочный процесс и позволяет уделить больше времени самим тестам, а дальше — съёмке, не отвлекаясь на процесс интеграции.

  

Финальный этап

Что ж, мы на финишной прямой. Остались правки и, непосредственно, съёмка. Скорректировать ракурс, поправить композицию, определиться со светом, цветами и дать установки съёмочной команде. Основной массив работы выполнен — можно снимать. Дальше всё зависит от слаженной работы съёмочной команды и Virtual production.

Завершение монтажа декораций для съёмок Пятого канала. Parallax Digital

Мы познакомились с Virtual Production. Поговорили об основных отличиях realtime и post-render графики в контексте съёмок. Давайте сделаем вывод относительно новой технологии и ответим на главный вопрос — стоит ли оно того? Слегка забегая вперёд, отвечу — да, определённо стоит.

Фрагменты из клипа группы “Нигатив”. Parallax Digital

И дело здесь даже не в том, что новый тип производства способен заменить зелёный экран, или перевернуть киноиндустрию с ног на голову. Нет, до этого ещё далеко. Киноделы по-прежнему будут использовать Green Screen для определённых задач, которые Led выполнить не в силах. Однако ждать, пока новый вид съёмки себя проявит уже не имеет смысла. Он это давно сделал — проекты LucasFilm, Netflix, HBO и многих других говорят сами за себя. Мировая киноиндустрия всё больше опирается на realtime графику, сокращая сроки и стоимость производства. 

Да и возможность поменять освещение в локации прямо на съёмочной площадке, повернуть эту же локацию вокруг актёра столько раз, сколько вам будет угодно и внести оперативно правки день в день — сильные аргументы в пользу новой технологии.

Тест удалённого контроля сцены через OSC протокол. Parallax Digital

Со своей стороны скажу лишь, что взаимодействие с парой LED + UE4 раскрывает творческий потенциал нашей команды. Мы можем создать и снять любую локацию с абсолютно любой творческой задумкой, не выходя из съёмочного павильона. Альпы, берег моря, Марс, город будущего — что угодно. И для этого не нужно ждать рендера одного кадра по несколько часов — графика выводится в реальном времени на глазах у всей съёмочной команды. 

Именно поэтому мы видим большие перспективы данной технологии. И то, что происходит сейчас — лишь начало огромного пути, по которому, в своё время, прошёл Green Screen, став общепринятым стандартом индустрии. Добро пожаловать в будущее, друзья. Оно намного лучше, чем вы можете себе представить.

Всем спасибо за работу. Смена окончена.

Недавние статьи

А Jump Theory: история об особенном мальчике

02/07/2021
Студентка НИУ ВШЭ разрабатывает проект, главная задача которого — попасть в медиа-контекст, чтобы слово “аутизм” было на слуху и не вызывало отчуждения или негативных ассоциаций.

Глава из книги «Unreal Engine 4 для дизайна и визуализации»

01/07/2021
По традиции специально для наших читателей — глава из новой книги от издательства "Бомбора". Это не очередное обобщенное пособие по движку, а практичная книга именно по визуальному дизайну на нем.

Рояль не нужен

07/06/2021
TinShift — динамичный шутер-арена, 3 июня вышедший в ранний доступ. Обещают динамичный геймплей, паркур, несколько режимов.