Mocap Fusion [ VR ]

Motion Capture Fusion (VR) - это погруженная в комнату песочница для художников и аниматоров, которые хотят создавать и экспортировать анимацию захвата движения или создавать живой контент с использованием обычного оборудования VR. Всего лишь один VR HMD и два контроллера могут создавать мокап на своих собственных аватарах. Продвинутые пользователи могут создавать более подробный захват движения, включая отслеживание всего тела, и могут быть объединены с другими датчиками (например, с помощью специальных датчиков). Датчик Apple IPhone True Deep и оптический трекинг пальца Oculus Quest 2 для подключения аватаров к одновременным входам. Это слияние нескольких датчиков может объединить множество слоев захвата движения в одном дубле; в том числе: полное отслеживание тела, захват лица, губная синхронизация, отслеживание взгляда, оптическое отслеживание пальцев.

Основные моменты

Запись захвата движения с использованием пользовательских аватаров, сцен и реквизита.
Добавьте пользовательские шейдеры, текстуры, выражения эмотов, физику динамических костей и многое другое.
Vive pro eye, Vive lip tracking и поддержка Facecap Iphone ARkit.
HTC Vive, Valve Index, Oculus Rift, Oculus Quest2, некоторые гарнитуры WMR.
Можно использовать без VR, только трекеры или только с отслеживанием головы IPhone.
Добавьте несколько аватаров в сцену, создайте раскадровки, реагируйте на другие предварительно записанные аватары.
Камера захвата движения и масштабирования, игрок выступает в роли оператора в VR.
VTOL и Fixed Wing летные имитационные платформы для аэрофотосъемки.

Поддерживаемые форматы Output

Экспорт в SFM (.dmx).
Экспорт в Блендер (.blend).
Экспорт в Единство (.anim).

Live-Link (живое производство) и плагины Live-Recording

Плагин Live Link доступен для Unreal Engine (синхронизация с живым аватаром, запись в реальном времени).
Плагин Live Link доступен для Blender (синхронизация с живым аватаром, запись в реальном времени).
Плагин Live Link доступен для Unity (синхронизация с живым аватаром).

Включите пользовательские аватары и используйте аватар на протяжении всего производственного процесса. Это устраняет необходимость перенацеливания и гарантирует, что данные mocap всегда соответствуют 1:1, не вызывая каких-либо смещений в конечных результатах.

Одной из уникальных особенностей Mocap Fusion является то, что он имеет возможность экспортировать данные захвата движения и реконструировать сцену в Blender, делая ее доступной для окончательного рендеринга за считанные минуты.

Совместимые гарнитуры (VR HMD)

Валютный индекс
HTC Vive (и Vive Pro Eye)
Oculus Quest (1 и 2).

Опциональное оборудование для отслеживания

Трекеры SteamVR Vive.
IPhone TrueГлубокий датчик (facecap и отслеживание глаз).
Oculus Quest 2 (полное оптическое слежение за пальцами)

Возможности

Экспортировать мокап и создавать сцены в BlenderTM мгновенно.
HTC Vive Trackers (до 11 дополнительных точек) - полное отслеживание тела.
Возможность записи, воспроизведения, паузы, слома, скраб-мокапа в VR.
Настраиваемые IK-профили и параметры аватара.
SteamVR Knuckles поддерживает индивидуальную артикуляцию пальцев.
Приложение Quest 2 для отслеживания оптических пальцев для индивидуальной артикуляции и разделения пальцев.
Vive Pro Eye Blink и поддержка отслеживания взгляда.
Sidekick IOS Face capture app (True Deep Markerless AR Face Tracking) — приложение для слежения за лицом.
Пользовательские настраиваемые Миры, Аватар и Пропс могут быть построены для mocap с использованием APS_SDK.
Совместим с существующими аватарами и средами Unity3DTM.
Поддерживает пользовательские шейдеры на аватарах mocap.
Поддержка DynamicBone для добавления волос, одежды и моделирования физики тела к аватарам.
Моделирование дыхания для дополнительной анимации грудной клетки.
Добавить/Записать/Экспортировать VR-камеры для реалистичной фотокамеры (например). Эффект VR Cameraman.
Оптимизация для экспорта данных mocap (.bvh) в Daz 3D.
Размещение «потоковых» камер для прямой трансляции аватаров в OBS или в качестве наложений на рабочем столе.
Микрофонная аудиозапись с виземами синхронизации губ и записываемым вращением челюстной кости.
Режим раскадровки, сохраняйте опыт Mocap в качестве страниц для повторения или редактирования позже.
Аниматический видеоплеер, показ историй и сценариев, хореографическое движение.
Двуручное оружие ИК-решатели для естественного обращения с карабинами.
Записываемая платформа VTOL для анимационного моделирования полета вертолета (например). новостные вертолеты).
Камеры VR Camcorders и VR селфи могут быть жестко связаны с трекерами.
Реквизит VR и огнестрельное оружие могут быть жестко связаны с трекерами.
Призрачные кривые для визуализации будущих местоположений нескольких аватаров в сцене.

Геймплей
Опыт зависит от компьютера пользователя и используемого оборудования для отслеживания. Рекомендуемые гарнитуры SteamVR — это Valve Index или HTC Vive. Квест HMD также может дать разумные результаты. Также можно использовать программное обеспечение без HMD (например). когда транслируется живое. Полное отслеживание тела доступно только при использовании трекеров для ног и бедер (и необязательных локтей, коленей, груди). Пользователи могут достичь более реалистичных результатов отслеживания при использовании трекеров тела. Трекеры кузова являются необязательными, и поддерживается стоячий мокап. Дальнейшего реализма можно достичь на совместимых аватарах, также позволяя захватывать лицо или использовать Vive Pro Eye для отслеживания взгляда и мигания.

История
Первоначально это было разработано как интуитивный способ для пользователей создавать виртуальные обучающие видео и презентации в захватывающей среде виртуальной реальности для дополнительного реализма, а затем экспортировать свою анимацию для рендеринга. Проект был доступен сообществу для бета-тестирования и с тех пор получил обратную связь и множество запросов на функции, которые помогли добавить полезность программного обеспечения для разных создателей.