Что это такое?
OpenMobile — это открытый фреймворк для синтеза задач и траекторий мобильных агентов. Он включает пайплайн генерации инструкций, сбора данных и обучения моделей для автоматизации действий на Android.
OpenMobile — это открытый фреймворк для синтеза задач и траекторий мобильных агентов. Он решает проблему закрытости данных в этой области, предоставляя пайплайн для генерации инструкций и сбора траекторий. Проект включает два ключевых компонента:...
Подходит для исследователей в области ИИ, разработчиков мобильных агентов и энтузиастов автоматизации Android, которые хотят получить доступ к открытым данным и коду для обучения и оценки моделей.
Современные мобильные агенты на базе vision-language моделей показывают впечатляющие результаты, но их обучающие данные и рецепты синтеза задач и траекторий остаются закрытыми. Это мешает воспроизводимости и прогрессу в области.
OpenMobile предлагает открытый пайплайн для синтеза качественных инструкций и траекторий действий мобильных агентов. Сначала система исследует окружение Android, строя глобальную «память» об экранах и элементах. Затем на основе этой памяти генерируются разнообразные и реалистичные инструкции. Для сбора данных о траекториях используется стратегия переключения политик: модель-ученик и модель-эксперт чередуются, что...
OpenMobile — это открытый фреймворк для синтеза задач и траекторий мобильных агентов. Он решает проблему закрытости данных в этой области, предоставляя пайплайн для генерации инструкций и сбора траекторий. Проект включает два ключевых компонента: масштабируемый пайплайн синтеза задач, который строит глобальную память окружения на основе исследования, и стратегию переключения политик для сбора траекторий, включая...
Проект использует стратегию «переключения политик»: модель-ученик и модель-эксперт поочередно управляют агентом, что позволяет собирать данные не только об успешных, но и о неудачных попытках и восстановлении — это редко встречается в...
Определенно стоит попробовать, если вы исследуете или разрабатываете мобильных агентов. OpenMobile предоставляет полный, открытый и воспроизводимый пайплайн, от синтеза данных до оценки, что является большой редкостью. Проект активен и показывает впечатляющие результаты.
Проект активен, но часть кода (синтез задач и траекторий) ещё не опубликована. Релизная дорожная карта обещает их появление.
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
OpenMobile — это открытый фреймворк для синтеза задач и траекторий мобильных агентов. Он включает пайплайн генерации инструкций, сбора данных и обучения моделей для автоматизации действий на Android.
Для исследователей и разработчиков в области ИИ, которые хотят создавать, обучать и оценивать мобильных агентов, используя открытые данные и код.
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.