Kuflex: как эксперимент стал большим проектом

Kuflex — российская студия интерактивного цифрового искусства. Мы расскажем: как выросли из стартапа в бренд, какие смыслы и стимулы в развитии видим в текущей кризисной ситуации для креативных индустрий, о Kusmos и его подаче на Epic Mega Grants. 

Kuflex: кто мы?

Мы начинали в 2012 году командой из трех участников:  художника, программиста и продюсера. Наш продукт — креативный софт, в котором сочетаются генеративная графика и алгоритмы компьютерного зрения для трекинга движения человека. Мы мечтали создавать цифровые пространства, в которых усталые и скучные взрослые превращались бы (хотя бы на несколько мгновений) в любопытных и радостных детей. С таким настроем мы выпустили в мир цифровое волшебство под знаком KU. 

Kuflex никогда не привлекал прямых инвестиций. Но мы смогли нечто большее — найти баланс между икигай (яп. 生き甲斐, «смысл жизни») и источником дохода. Kuflex предлагал свои идеи, свободные от рекламных клише. Поскольку мы держим в фокусе конечного пользователя — зрителя, клиенты, как правило, соглашались на нашу концепцию. Также мы сразу начали открыто обсуждать выгодные условия сотрудничества, и в итоге выиграли все. Клиент получает крутой продукт, его первую демонстрацию на своих мероприятиях и оптимальную стоимость на разработку, а мы оставляем авторские права, что позволяет дорабатывать программы и продавать лицензии.

Как и все молодые команды, мы искали своего заказчика и практически сразу его нашли. Первым клиентом Kuflex стала компания Microsoft. Наше притяжение друг к другу было закономерно: Kinect for Xbox 360 — первая недорогая камера глубины, доступная на массовом рынке, которую мы стали использовать. Нам доверили концепцию и разработку интерактивных развлечений для мероприятия-презентации Windows 8 в России. Это был вызов, и мы справились. Клиент вернулся к нам с проектом Quantum Space, для которого мы до сих пор выпускаем апгрейды. 

Первую версию мы выпустили в 2013 году в рамках имиджевого проекта Microsoft. Универсальность визуального ряда и интуитивного взаимодействия со зрителем привлекает разных клиентов и бренды из разных стран, метящих на разные аудитории. Программу представили по всему миру: во многих выставках и фестивалях в России и Европе, в музеях и галереях в США, таких значимых событиях как CES 2016, в китайском музее науки и техники в Пекине и в центре медитаций в Тель-Авиве. В марте 2020 мы сделали большой интерактивный батут в крупнейшем парке развлечений Enchanted Kingdom (Санта Роса, Филиппины). Осенью мы показали Quantum Space в инклюзивном арт-центре Level в Англии. Это событие для нас много значит: мы стремимся создать глобальный язык общения, доступный каждому. 

В 2017 году Kuflex пригласили создать персональную иммерсивную выставку в “Галерее света” (Абрау-Дюрсо, Краснодарский край). Наша команда превратила тысячу квадратных метров в магический портал. Кто мечтал в детстве оказаться внутри гигантского калейдоскопа, ощутить себя наделенным суперсилой? Мы сделали это реальностью. В 2018 году четыре работы нашей выставки вошли в книгу New Media Installation, а изображение работы “Симбиоз” выбрали на обложку. В книге собраны 96 работ цифрового искусства со всего мира. Тогда же нас пригласили к участию в выставке Volvo Art Session в Цюрихе. Имя “Kuflex” стали узнавать. 

Сейчас в Kuflex постоянная команда. Нас пять человек, работаем удаленно. Привлекаем специалистов из разных областей. 

Первые опыты в Unreal

Работая над выставкой в Абрау-Дюрсо мы познакомились с движком Unreal Engine и увидели новые перспективы. Многое, что мы делали кодом, можно было собрать в интерфейсе редактора и запрограммировать на визуальном языке Blueprint. Нас особенно поразила простота работы в нем.

Мы начали осваивать движок — чтобы быстрее его изучить, решили применить сразу на практике в инсталляциях Другой мир и Скорость цвета.

Мы сделали две программы примерно за месяц и остались довольны визуалом и скоростью работы. Код на C++ и openFrameworks (который мы применяли раньше) потребовал бы намного больше времени и усилий.

Мы продолжили эксперименты в UE4 и сделали новую версию программы Kusmos. Это система управления визуальным контентом для музыкального концерта. Принцип технологии следующий: мы сканируем артиста камерами глубины и помещаем его 3D-изображение в цифровой мир в реальном времени. Виджей управляет эффектами также в реальном времени.

Kusmos. Предыстория

Первая версия программы была творческим экспериментом. С 2013 года Kuflex сотрудничала с музыкальной группой СБПЧ, разрабатывая визуальный контент для их концертов. В 2015 году Кирилл Иванов (основатель группы) предложил сделать нечто новое для презентации альбома “Здесь и всегда”. Мы решили совместить генеративную графику и интерактивные элементы. 

За месяц наша команда практически с нуля написала программу на C++ & openFrameworks, которую мы назвали Kusmos. Первая версия имела 4 слоя в качестве генераторов визуальных эффектов:

• система частиц, 
• два слоя с манипуляциями над 3D моделями,
• слой для приёма данных с нескольких камер глубины Kinect и их визуализацией.

Скриншоты Kusmos v.1

Слои выходили из программы отдельными видеопотоками с помощью протокола Syphon в виджейскую программу VDMX5 и там дополнительно обрабатывались.

Обработкой и отправкой данных с камер Kinect занималась отдельная программа Tracker (нашей разработки).

Для управления 3D эффектами с помощью 3D-мыши Space mouse использовалась отдельная программа OSCulator. В целом виджейская система состояла из 4-х программ, которые обменивались данными в реальном времени. Иногда подключалась программа Madmapper, если использовались экраны нестандартной формы. Это всё работало, но было неудобно в настройке. Главной фишкой Kusmos стало то, что мы могли создавать интересные визуальные эффекты с помощью обработки 3D моделей: загрузка и переключение на ходу, рисование полигонов с учетом определенных параметров, накладывание разных динамических текстур, искажение геометрии, использование шейдеров. Но любой дополнительный параметр или эффект нужно было программировать кодом C++, что было трудоемко. 

Kusmos v.2. На помощь пришел Unreal Engine

Вторая версия программы — продолжение нашего увлекательного эксперимента. В 2018 году к нам обратилась компания Sila Sveta с предложением сотрудничества над концертом группы Therr Maitz. По визуальной концепции для нескольких песен предполагался генеративный видеоконтент, связь эффектов с движением артистов на сцене. Мы предложили полностью переработать Kusmos с использованием Unreal Engine. Срок ограничивался одним месяцем. Дизайн сцен выполнен в минималистичном стиле, но выглядел классно в сочетании визуальных эффектов и динамикой управления виртуальными камерами. 

Для дополнительных интерактивных эффектов мы написали на C++ плагин, который принимает данные с камер глубины и строит 3D модели на их основе. Еще нам пришлось написать новую версию Tracker, которая получает и обрабатывает данные камер и отправляет их в сцену UE. Мы сделали акцент на цифровых аватарах артистов: нужно было сканировать каждого в реальном времени двумя камерами Kinect (одна спереди и одна сзади). Главной фишкой стало сканирование камерами глубины шестерых артистов на сцене. Мы планировали следующий сетап:

• по 2 камеры Kinect на штативах (спереди и сзади) на каждого артиста и 1 ПК с программой Tracker;
• главный сервер, на котором запущена сцена UE для рендеринга, с подключенным MIDI контроллером;
• все 6 комплектов на сцене (ПК и кинекты) и главный сервер подключаются к сетевому свитчу для обмена данными.

Данные со всех шести ПК в виде карт глубины (всего 6 потоков по паре карт) передаются на главный сервер в сцену UE, в которой наш специально написанный плагин строит процедурно сгенерированные 3D модели (аватары артистов).

Программную часть протестировали, она работала стабильно. Мы запускали все 6 трекеров с записью данных на одном ПК и передавали по сети все потоки на сервер в UE сцену. Но технические тесты показали, что есть сложности. Камеры Kinect периодически “отваливались” или совсем не хотели работать на некоторых ПК. Мы предполагали, что проблема была в портах USB или материнских платах, и в связи с ограниченным сроком решили немного упростить сетап. Также на тестах мы поняли, что интереснее всего выглядят аватары артистов, которые активно двигаются на сцене. Поэтому мы оставили для сканирования троих: двух солистов и барабанщика.

Для подстраховки, чтобы во время концерта из-за “отвалившегося” кинекта мы не потеряли изображение, пришлось встроить функцию Watchdog в программу-трекер, которая следит, все ли в порядке с трекером, и в случае исчезновения данных любого из кинектов перезапускает трекер (кинекты инициализируются только при старте программы и не могут подключаться “на горячую”). На концерте всё прошло отлично. 

Управление сценой

Виртуальными камерами и визуальными эффектами управляли два специалиста: один — оператор — управлял камерами, летал по виртуальной сцене и переключался между ними, как в игре; другой управлял визуальными эффектами с помощью MIDI-контроллера.

При работе с MIDI мы столкнулись со странной проблемой движка, которая так и не решена спустя два года. Каждые 60 секунд Garbage collector убивает переменную, в которой сохраняется ссылка на MIDI-контроллер при запуске сцены. Поэтому приходится проверять и заново инициализировать её по таймеру в цикле, например, каждые 2 секунды. Этого интервала оказалось достаточно для комфортной работы, но можно поставить интервал короче, так как в самые активные моменты эти 2 секунды, на которые теряется управление MIDI, могут быть критичными.

Через пару месяцев команда Sila Sveta пригласила нас принять участие с Kusmos в техно-фестивале Caprices в Швейцарии. Мероприятие проходило три дня. Мы работали в рамках ночной программы. Поскольку музыкантов было много, решили сделать визуализации в едином стиле с использованием цифровых аватаров. В итоге Kusmos расширил библиотеку эффектов, которые создавались художником и со-основателем Kuflex Игорем Татарниковым прямо на мероприятии практически в реальном времени. 

Igor Sodazot: "Для нас это был непривычный формат: когда не один концерт на полтора часа, а три полных ночи подряд. Хотя мы периодически менялись с другим виджеем, всё равно нужно было сделать несколько часов интересного контента. Здесь Unreal Engine очень помог. Мы заранее подготовили несколько минималистичных сцен, но большую часть работы пришлось делать в перерывах, когда за пульт вставал второй виджей. Прямо за пультом под мощные техно-биты с воткнутыми берушами я дорабатывал сцену в редакторе: менял параметры систем частиц, корректировал геометрию и материалы, подстраивал цветовую палитру под следующий сет. Это был интересный опыт."

В 2019 году Sila Sveta снова пригласили нас с технологией Kusmos участвовать в экспериментальном перформансе Nina Kraviz на музыкальном фестивале Coachella в США. Выступление прошло на сцене экспериментальной электронной музыки Mojave. На следующий день на этой сцене выступал Aphex Twin.

Анализируя опыт участия в событиях, мы собирали отзывы зрителей. Kusmos стал своего рода инновацией в подходе к виджеингу, микс интерактивной инсталляции и фильма в реальном времени. 

Кризис перспектив и новые возможности

Еще в начале 2020 года у нас были большие планы: открытие интерактивной выставки в США, ряд других проектов. Но мы, как и все жители планеты, оказались взаперти. Хотя Kuflex всегда работала удаленно, возник вопрос — что делать, когда мы лишены физического пространства для инсталляций? Мы собрались командой и решили исследовать возможности онлайна. Вместе с этим нам искренне хотелось поддержать музыкантов, оказавшихся в финансово уязвимом положении. В результате родился проект Kusmos Live. На базе своей системы управления мы бесплатно создавали настоящее шоу из домашних выступлений разных артистов и продолжали дорабатывать систему. На сегодняшний день Kusmos стал своего рода стартапом Kuflex. 

Kusmos live

Kusmos Live началась как эксперимент весной этого года. Мы смотрели множество музыкальных лайв стримов на разных онлайн платформах. В итоге увидели преимущество Kusmos в многофункциональности системы и возможности работы в реальном времени. Основные наши фишки — коллективное взаимодействие с онлайн аудиторией и использование минималистичного сетапа. С апреля по июль 2020 года команда Kuflex организовала четыре события с разными артистами. Каждый раз мы анализировали работу над предыдущим концертом и старались сделать качественный следующий шаг. 

Kusmos Live x Leksha techno set

Наш первый тест с онлайн-трансляцией на Youtube.

Управление виртуальными камерами было запрограммировано заранее, потому что музыкант находился в Смоленске. При этом визуальные эффекты на музыку реагировали в реальном времени.

Мы задержали старт первого концерта на пару часов и поняли на практике, насколько важно подготовить понятные инструкции для музыканта, а также несколько раз пройти с ним сценарий настройки сетапа. Все равно мы получили положительный фидбэк от зрителей. Нас поддержали и вдохновили продолжить разработку.

Kusmos Live x Leksha ambient set

На втором концерте мы интегрировали видеозахват изображения с вебкамеры в 3D сцену. Концепция была вдохновлена эстетикой фильмов Ридли Скотта. Мы тестировали новые фишки для интерактива зрителей с трансляцией. Пока Leksha (по-прежнему из Смоленска) играл свой эмбиент-сет вживую, виджей (в Москве) управлял визуализацией с помощью команд через чат на Youtube.

Такая идея появилась спонтанно, и мы решили не писать о ней в анонсах. По ходу трансляции, видя странные сообщения в чате, некоторые зрители стали понимать, что они могут сами влиять на действо. Стрим превратился в цифровой квест. Мы снова вдохновились на поиск новых форматов работы с аудиторией. 

Kusmos Live x Pixelord virtual concert

Третий концерт был часовым погружением в эстетику неон-вейв-глитч-рейва. К нам присоединился талантливый стейдж дизайнер Александр Полхов и создал 3D-мир фантастического кибер-феста с неоновыми вывесками и глитч-экранами. Мы интегрировали систему частиц Niagara — теперь у нас процедурно генерируемые 3D модели аватара артиста могут выступать в роли генератора частиц. Попробовали онлайн-трансляцию в Twitch и протестировали интерактив со зрителем через чат. Все зрители могли запускать свои сообщения в виртуальную сцену. Чат зажигал на полную катушку!

По динамике управления виртуальными камерами можно увидеть ощутимую разницу в сравнении с двумя предыдущими сетами. Магия в том, что музыкант и виджей Igor Sodazot находились в одном месте. По словам Pixelord’a, он впервые ощутил попадание визуала в его музыку на 100%. 

Kusmos Live x Yulia Arsen. Recursion performance

Мы решили попробовать другой жанр и создали перформанс “Рекурсия” совместно с танц-художницей Юлией Арсен и композитором Leksha Yankov, хедлайнером международного фестиваля современного искусства EverArt Weekend. Событие проходило сразу на двух площадках — в галерее ‘Red Line’ (ГУМ, Москва) и онлайн в Twitch. Перформер стала цифровым аватаром и взаимодействовала с виртуальными объектами сцены (Collision events с процедурной сеткой аватара).

Объекты сцены запускали зрители числовыми командами в чате Twitch. Они трансформировались в звуковое дополнение к музыкальной композиции при столкновении с аватаром перформера. Получилось интересное взаимодействие зрителей, перформера и цифровой аудиовизуальной реальности, своего рода матрешка — одно в другом.

Kusmos на Epic MegaGrants

Мы много думали, где может найти применение Kusmos. Пришли к выводу, что подойдет практически любое событие с участием артиста или спикера на сцене. Мы видим большие возможности в сфере образования. Согласитесь, так физика или биология может стать по-настоящему фантастической наукой!

Специально для Epic MegaGrants мы собираем демо-версию, где покажем разное применение текущего функционала системы. Следующим шагом мы планируем сделать интеграцию стилизованного персонажа и продолжим эксперименты с окружением. Kusmos получается модульной системой, которая подходит для разных задач. Мы также видим потенциал отдельных модулей в разных областях — шоу, образования и использование Kusmos как инструмента (в качестве набора программных модулей, плагинов и ассетов для Unreal Engine 4). И, конечно, мы верим, что Kusmos нужен творцам как инструмент для классной презентации или шоу в онлайн-пространстве.

Наша цель — сделать Kusmos универсальным и доступным продуктом для широкой аудитории. 

* * *

Если вы дочитали такой длинный текст до конца, то, наверное, было интересно. Наша команда оптимистично смотрит в будущее. Мир неожиданно и резко изменился. Онлайн-пространство, где все по-другому и непредсказуемо. Если вы хотите знать, что мы делаем и хотите работать в нашей команде, пишите и присылайте портфолио на [email protected]. Мы придерживаемся междисциплинарного подхода — нам нужны разные специалисты. Мы верим в силу цифрового волшебства, оно работает — проверено на практике! 

Скоро вернемся с результатом подачи на Epic MegaGrants. 

Всем ку и — до встречи в эфире!