09/11/2021

Создание лиц для 3D-персонажей с помощью FaceBuilder for Blender

Создание лиц для 3D-персонажей с помощью FaceBuilder for Blender

Всем привет! Меня зовут Андрей, команда KeenTools. Мы разрабатываем плагины для Foundry Nuke и Blender, среди которых — FaceBuilder, позволяющий быстро создавать 3D модели головы и лица по нескольким фотографиям. Изначально аддон был задуман как инструмент только для работы в VFX, но, вызвав внезапный ажиотаж среди пользователей Блендера, он смог найти свою нишу и в геймдеве, позволив художникам упростить работу с лицами персонажей на первых этапах скульптинга.

Одним из таких примеров и хочется поделиться — команда BigMediumSmall, создающая высококачественные тематические ассеты персонажей и окружения в разгар карантина оказалась без доступа к оборудованию для фотограмметрии и начала активно использовать FaceBuilder в своих наборах. Мы поговорили с её основателями Джамой Джурабаевым и Олегом Жеребиным о процессе работы над набором The Wild West, создании лиц героев с нуля и на какие ухищрения приходилось идти из-за тотального локдауна. Передаём им слово.

О BigMediumSmall

Джама Джурабаев: Мы с Олегом много лет дружили, жили оба в Лондоне и делились друг с другом своими потугами. Раньше это были визовые проблемы, сейчас в основном остались только рабочие моменты. Например, самая большая боль концепт-художника — работа с ассетами. В интернете есть много хороших ресурсов по архитектуре, но с персонажами — беда. Что-то есть, но оно разбросано по разным наборам и качество очень варьируется. Хорошие работы стоят слишком дорого, а плохие совсем нельзя использовать. Мы решили, что надо делать своё и запустили компанию BigMediumSmall, где стали создавать проработанных персонажей и окружение под них. Сначала ориентировались на рынок концепт-арта, потом экстраполировали на геймдев и кинопроизводство.

В плане контента, с самого начала было решено, что будем делать только то, что нам самим нравится. Мы оба болели рыцарями, поэтому первых персонажей посвятили именно им — путешествовали по Англии, снимали замки, искали доспехи и ели fish & chips на протяжении трех месяцев. Как итог, получился дебютный набор средневековых героев Medieval с поддержкой разных поз и анимированными тканями одежды. Все модели мы проектировали в High-poly, а после просто переносили в Low-poly, сохраняя хороший полигонаж и мэппинг. Мы в целом добивались простоты в плане использования, поэтому герои сразу шли с ригом и настроенными материалами, чтобы их можно было переносить легко в разные программы.

При работе над вторым набором — Post Apocalypse — мы взялись за постапокалипсис и сделали ассеты в военной стилистике с небольшим налётом Sci-Fi. Среди героев были солдаты, медики и даже огнемётчики. Как верно замечают в англоязычном интернете, художникам из бывших советских стран даже не нужны референсы для создания подобных военизированных героев — достаточно выглянуть из окна. 

Итак, два набора позади, мы двигаемся по плану, но тут у нас возникает дилемма — как масштабировать проектировку лиц. Дело в том, что в предыдущих проектах все персонажи были в масках: рыцари носили шлемы, а солдаты были облечены в спецзащиту. Мы, конечно, готовили им лица, но если у рыцарей они были оформлены совсем условно, там всего одна щёлка для глаз, то у военных мы в целом проделали неплохую работу, но всe этапы — скульптинг, текстурирование и так далее — приходилось делать вручную. По итогу, в первых версиях набора мы создали одно лицо и просто размножили его под маски на всех персонажей.

При этом мы понимали, что со следующим пакетом хотим повысить объёмы — около 10-15 персонажей — и с подобным ручным подходом одни только лица мы бы моделили 8 месяцев, что практически нереально с учётом нашего ценового потолка. Нужно было искать решение.

Карантин, спутавщий все планы

Джама: Мы приступили к третьему набору — The Wild West, c ковбоями, лошадьми и небольшим поселением. В процессе столкнулись с разными челленджами, особенно в работе с окружением, но больше всего трудностей вызвали именно открытые лица.

Изначально было запланировано, что мы хотим получить высококачественные модели, поэтому был подготовлен пайплайн с фотограмметрией. У нас был очень хороший инструмент и также опыт, как это делать. Но тут встала другая проблема, уже универсальная для всех — COVID. Мы успели отсканировать только двух человек, прежде чем Англия закрылась на карантин. Застопорились на этапе, когда у нас всё готово для сканирования, но мы не можем никого пригласить из-за постоянных локдаунов. В один момент мы уже думали отказаться от открытых лиц, одев на них маски и сделав из всех персонажей бандитов.

Но было решено всё же поискать другой метод и именно тут появился FaceBuilder. Мы до этого уже были знакомы с KeenTools, общались с ребятами на CG Event, поэтому достаточно быстро решились внедрить аддон в пайплайн. Приглашать людей на сканирование было невозможно, но с аддоном нам было достаточно всего лишь набора фотографий от них. Забегая вперед, скажем, что как итог — получилась комбинация из совмещения результатов FaceBuilder и фотограмметрии.

О пайплайне работы с FaceBuilder

Олег Жеребин: Изначально в качестве теста мы решили попробовать FaceBuilder для создания одного из главных героев этого набора — шерифа Bert.

У нас уже был опыт работы с плагином, мы пробовали его Blender-версию, когда она была в бете, поэтому особых проблем с пониманием работы не возникло. Мы заранее подготовили фотосет головы человека со всех сторон, 8-10 фотографий.

Сделали геометрию, совместили все фотографии и получилась следующая модель.

Для повышения качества и придания большего реализма, модель немного подскульптовалась, дорисовывались текстуры на голове и за ушами, стандартные глаза были заменены на наши. Понятно, что с фотографий на геометрию все детали так легко не переносятся, да и для главного персонажа такого качества в любом случае требуется полировка. Мы также добавляли торс, потому что в изначальной модели из FaceBuilder его не было, а многие персонажи с Дикого Запада часто ходили с открытой шеей.

Меш при этом остался исходным, хотя нам и пришлось перенести его на сетку, оптимизированную под наши задачи. Для транспортировки геометрии мы использовали ZBrush, где это легко делается с помощью Zwrap — выставляются контрольные точки по глазам, носу, ушам, после чего меши трансформируются и морфятся друг в друга. Хочется отметить, что начиная с апдейта 2021.1 можно использовать и полностью оригинальный меш FaceBuilder, с единственным исключением в виде отсутствия шеи. А в остальном, сама геометрия отличная!

После всех полировок, наращивания волос и добавления одежды получилась финальная модель персонажа. 

Но на этом наши задачи не закончились. Кроме главных героев, нам также нужно было проработать массовку. Нам очень понравилось, насколько детально мы готовили основных персонажей, но это занимало слишком много времени, а создать большое количество жителей города нужно было в сжатые сроки. И тут нам также очень помог FaceBuilder — у нас был набор фронтальных фотографии людей и мы сходу понаделали кучу голов.

Схема работа осталась такой же: мы переносили меш на нашу сетку, добавляли шею и немного подскульпчивали отдельные детали. Но, по сравнению с главным героем, здесь доработок было гораздо меньше — персонаж должен просто хорошо смотреться на расстоянии. Если делать головы быстро, то получается большая вариативность, что добавляет гораздо больше реализма в толпу, чем когда мы просто делали одну голову и множили её на всех персонажей.

В качестве UV-развёртки мы использовали встроенную в FaceBuilder, дорисовывая лишь часть текстур вроде торса. В ней, конечно, есть небольшие недочёты, вроде деформации глаз, но без этого никуда. В целом, она удобная, её можно легко править в фотошопе, добавлять брови или нос, не надо для этого идти в Substance или куда-либо ещё.

Для работы мы использовали встроенную развертку MaxFace — это крайне удобно, так как текстура показывается цельным лицом. Можно было добавить изначальные фронтальные фотографии в фотошопе и дорисовывать отдельные детали лица вроде бровей. Но это только для случаев с одной фотографией. Когда у нас был полный комплект фото со всех сторон — многие детали проще переносились на текстуру.

Джама: Мы очень довольны результатом работы, потому что в нынешних реалиях карантина и COVID, это лучший вариант, который можно получить с помощью фотографий. Во многом, отличный компромисс между скоростью и качеством. И да, это быстрейший вариант взять моего племянника из Таджикистана и сделать из него американского ковбоя!

О создании одежды, лицевой анимации и поддержке игровых движков

Джама: На момент выхода The Wild West мы не затачивали персонажей под блендшейп-анимацию, ограничившись только добавлением рига. Но для будущих наборов есть в планах добавить ещё и подготовленные движения тела. Ну и, конечно, мы думаем над блендшейпами для лицевой анимации. Всё же упирается во время, и поскольку наш рынок довольно диверсифицированный, мы делаем и для концепт-художников и уже потихоньку поднимаем планку, чтобы это можно было использовать и дальше в продакшене.

Если говорить об одежде, мы работаем в Marvelous Designer и в целом у нас гибридный воркфлоу, где мы часть делаем сканами и что-то руками. Например, шляпу легче отсканировать, чем моделировать вручную, она статичная. Поэтому мы снимали актера сразу в ней. Но у нас немного специфический сектор — мы пока не делаем ассеты, которые сразу же можно вставить в фильм. Хотя вот герои из этого набора хорошо сделаны — у них сетки, топологии правильные, всё хорошо оптимизировано, можно было бы использовать.

Олег: Для стыков кусков одежды друг с другом мы полностью ретопологизировали геометрию. Она анимированная с way-поинтами, все складки подготовлены под деформацию меша, дальнейший экспорт и работу. Какие-то вещи мы делаем вручную через симуляцию в Marvelous — но тут ничего нового, это стандарт индустрии при работе с одеждой. Например, штаны на одном из героев мы делали с помощью фотограмметрии, поэтому они так реалистично выглядят.

В целом, как и в работе с лицами, мы комбинируем ручной подход и автоматизацию. Всё зависит от того, насколько быстрый и качественный результат по одежде нужно получить. Но это, конечно, повод для отдельной статьи.

Джама: Что касается игровых движков, то в предыдущих наборах у нас не было их встроенной поддержки: фактически, это был набор НPBR-материалов и в программах они отображались как отдельные текстуры. Например, при загрузке моделей в Unreal Engine надо было заново перестраивать ноды. Но, начиная c The Wild West, мы добавили готовые сетапы для импорта как в Unity, так и в Unreal Engine — просто кликаешь на персонажа и он открывается в Unreal со всеми настроенными материалами.

Признаемся, мы сами завидуем этим наборам. Отсутствие таких ассетов — это была наша боль. Опять же, для инди или даже для базовых пост-продакшен компаний это хорошо работает. Конечно, мы пока движемся не так быстро, как нам хотелось бы, но на этот год у нас запланировано сразу несколько коллекций и каждая из них по своему будет крута. Для будущих проектов мы всё больше склоняемся в сторону сканов. Делать руками — круто, но это занимает слишком много времени. А с лицами будем продолжать делать гибридный пайплайн с FaceBuilder и фотограмметрией.

* * *

Джама с Олегом сдержали своё обещание развивать новые ассеты. Мы общались с ними в первой половине 2021 года, и спустя всего несколько месяцев BigMediumSmall выпустила целых два новых набора, оба в коллаборации с именитыми концепт-артистами! Во-первых, The Lost Ark при участии Jakub Kozłowski, посвященный исследованию заброшенного Ацтекского города в джунглях Южной Америки. Среди нововведений — полностью заригованные главный герой и его мул с 7 уникальными позами, а также поддержка возможностей Unreal Engine 5 для любителей тестировать всё самое новое!

Вторым набором вышел Mech Squad, полный невероятно детализированными мехами и их пилотами, будто бы сошедшими с экранов лучших sci-fi фильмов. Это неудивительно, ведь создавать набор помогал Min Guen, старший концепт-артист студии Coalition, работавший над Gears 5, а до этого принимавший участие в производстве сериала Snowpiercer и многих других научно-фантастических проектов.

Но это ещё не всё! Помните Post Apocalypse, второй набор команды, посвященный военным в недалёком будущем? Эти ассеты стали стержнем анимационного короткометражного фильма Irradiation режиссера Sava Zivkovic — все персонажи и техника были использованы из набора, а сам фильм сделан на Unreal Engine.

К релизу короткометражки команда Джамы и Олега улучшили набор, полностью оптимизировав его для работы в Unreal (в том числе и на UE5), а также переработав лица персонажей. Как они уже упоминали выше, изначально было подготовлено лишь одно лицо, размноженное на всех героев. Теперь же каждый из персонажей имеет уникальную внешность, скрытую под масками и респираторами. Сделано это было по уже отработанной схеме — как и с The Wild West, основы моделей подготавливались с помощью FaceBuilder for Blender, а после дорабатывались ручным скульптингом.

Посмотреть на эту красоту можно на сайте BigMediumSmall.

Кроме того, сам FaceBuilder также не стоит на месте. Мы в KeenTools добавили в него возможность экспорта модели в Unreal Engine, встроенные FACS-блендшейпы, а также поддержку приложения LiveLinkFace от Epic Games для переноса предзаписанной лицевой анимации на модель аддона. Всё это можно попробовать здесь.

Недавние статьи

WN Conference Abu Dhabi’24: откройте бизнес-возможности в ОАЭ

07/02/2024
Уже 15-16 февраля более 800 представителей игровой индустрии встретятся для двух дней активного нетворкинга и обучения.

WN Conference Belgrade’23 уже скоро!

25/11/2023
7-8 декабря более 800 представителей местной и международной индустрии встретятся для двух дней активного нетворкинга.

7-8 июня WN Conference возвращается в Турцию

23/05/2023
Присоединяйтесь оффлайн или онлайн к бизнес-конференции для представителей игровой индустрии WN Istanbul’23.