Что это такое?
ИИ-модель для создания и управления интерактивными виртуальными мирами через текстовые запросы.
DreamX-World — это open-source модель для интерактивной симуляции миров. Она генерирует разнообразные, качественные сцены, которыми можно управлять через текстовые промпты. Поддерживает как реалистичные окружения (интерьеры, города, природа), так и...
Для разработчиков игр, создателей симуляторов, исследователей ИИ и всех, кто работает с генерацией виртуальных сред.
Создание интерактивных, динамичных и визуально качественных виртуальных миров требует огромных ресурсов, времени и экспертизы в 3D-моделировании и геймдеве.
Модель обучается на данных из Unreal Engine, игровых записей и реальных видео, используя камеру и фильтрацию для реалистичности. Обучение идёт поэтапно: сначала точное управление действиями, затем реакция на события, а потом RL для улучшения согласованности и качества. Через форсирование и дистилляцию достигается эффективный инференс.
DreamX-World — это open-source модель для интерактивной симуляции миров. Она генерирует разнообразные, качественные сцены, которыми можно управлять через текстовые промпты. Поддерживает как реалистичные окружения (интерьеры, города, природа), так и фантастические, игровые и стилизованные миры.
Модель учится не только на реальных видео, но и на геймплее из игр — это помогает ей понимать динамику взаимодействий, которую сложно получить из статичных датасетов.
Стоит пробовать, если вы исследуете генерацию виртуальных сред или хотите быстро прототипировать интерактивные миры. Проект амбициозный, но пока сыроват (мало звёзд, нет форков).
Проект новый (18 звёзд, 0 форков), активность неясна. README подробный, есть демо, но технический отчёт ещё не опубликован.
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
ИИ-модель для создания и управления интерактивными виртуальными мирами через текстовые запросы.
Для разработчиков игр, создателей симуляторов и исследователей в области компьютерного зрения и генеративного ИИ.
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.