Что это такое?
Это порт нейронного motion-matching AI4AnimationPy для работы в браузере через WebGPU. Позволяет генерировать реалистичную анимацию двуногих и четвероногих персонажей в реальном времени без сервера.
Проект портирует нейронные сети из AI4AnimationPy на WebGPU, выполняя все вычисления непосредственно в браузере. Используется пакетный режим: один вычислительный шейдер обрабатывает всех активных агентов за такт, применяя смешанную точность (fp16 веса, fp32...
Для разработчиков игр, интерактивных 3D-приложений и исследователей анимации, желающих использовать нейронный motion-matching на стороне клиента без мощного GPU-сервера.
Создание плавных и естественных анимаций персонажей обычно требует либо дорогого серверного рендеринга, либо трудоёмкой ручной работы. Большинство браузерных решений не масштабируются на множество агентов и не дают реалистичного поведения.
Проект портирует нейронные сети из AI4AnimationPy на WebGPU, выполняя все вычисления непосредственно в браузере. Используется пакетный режим: один вычислительный шейдер обрабатывает всех активных агентов за такт, применяя смешанную точность (fp16 веса, fp32 аккумулятор). Все агенты разделяют один экземпляр SkinnedMesh, что экономит память. Управлять можно с клавиатуры (WASD), мыши или сенсорных джойстиков.
ai4anim-webgpu — TypeScript-порт двух демок нейронного motion-matching от Facebook Research: для двуногих (biped) и четвероногих (quadruped) персонажей. Демо запускает обе нейросети в браузере с использованием WebGPU, поддерживает до 32 агентов каждого типа с автопилотом или ручным управлением. Включает готовую сцену, управление переключением персонажа, отладочные слои и настраиваемое освещение. Лицензия — CC BY-NC...
В демо можно управлять как двуногим персонажем Geno, так и четвероногим псом — нейронные сети переключаюся на лету, а поведение полностью разное.
Стоит попробовать, если вы интересуетесь браузерной нейронной анимацией. Проект впечатляет производительностью и масштабируемостью, но из-за лицензии CC BY-NC подходит только для исследований и некоммерческих проектов. Для коммерческого использования потребуется отдельное лицензирование.
Проект активно развивается: 20 звёзд, нет открытых issues, последние коммиты недавние.
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
Это порт нейронного motion-matching AI4AnimationPy для работы в браузере через WebGPU. Позволяет генерировать реалистичную анимацию двуногих и четвероногих персонажей в реальном времени без сервера.
Для разработчиков игр, интерактивных 3D-приложений, исследователей анимации, которые хотят использовать нейронный motion-matching на стороне клиента.
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.