← Все проекты
Проект / Swift

actuallyepic/background-computer-use: BackgroundComputerUse — API для автоматизации macOS без захвата курсора

Позволяет программам управлять приложениями и окнами на Mac через HTTP-API, не мешая работе пользователя.

Проект создаёт фоновое приложение, которое запускает локальный HTTP-сервер. Через него можно получать список окон и приложений, делать скриншоты, читать состояние доступности (Accessibility) и отправлять действия: клики, скролл, ввод текста, нажатия клавиш,...

★ 40 Swift Форки 5 Issue 0 Оценка 6/10 Карточка проверена

Для кого это

Для разработчиков, создающих автоматизацию, тестирование или AI-агентов для macOS, которым нужен программный доступ к интерфейсу.

Проблема / задача

Автоматизировать действия в нативных приложениях macOS сложно: нужно работать с Accessibility API, получать скриншоты, эмулировать клики и ввод, при этом не ломая текущий сеанс пользователя.

Как это работает

Проект создаёт фоновое приложение, которое запускает локальный HTTP-сервер. Через него можно получать список окон и приложений, делать скриншоты, читать состояние доступности (Accessibility) и отправлять действия: клики, скролл, ввод текста, нажатия клавиш, перемещение окон. Всё работает через стандартные macOS API (Accessibility, Screen Recording), но упаковано в удобный JSON-over-HTTP интерфейс.

Что видно по README

Это инструмент для автоматизации рабочего стола macOS. Он похож на плагин Computer Use от OpenAI Codex, но работает локально. После запуска создаёт .app-бандл, запрашивает необходимые разрешения у системы и открывает API для управления окнами и приложениями. Состояние системы и метаданные API записываются в JSON-манифест, который можно прочитать для автоматического подключения.

Ключевые возможности

Управление окнами и приложениями через HTTPСкриншоты окон в base64 или пути к файламЭмуляция кликов, скролла, ввода текста и нажатий клавишРабота с Accessibility-деревом для семантического таргетингаСамостоятельная подпись кода для разработки

Технологии

SwiftmacOS Accessibility APIAppKitOpenAI API

Интересный факт

Проект автоматически создаёт локальный сертификат для подписи приложения, если у разработчика нет настроенного идентификатора, что упрощает первый запуск.

С чего начать

  • Запусти ./script/start.sh для сборки и установки .app
  • Предоставьте разрешения на доступность и запись экрана в настройках macOS
  • Прочитайте runtime-manifest.json для получения URL API и начните отправлять запросы

Оценка GitRadar

Удобство
6/10
Свежесть
8/10
Перспектива
7/10
Монетизация
4/10
Общая оценка
6/10

Вердикт GitRadar

Стоит пробовать, если вы разрабатываете под macOS и вам нужен чистый API для автоматизации интерфейса. Проект сыроват (всего 15 звёзд), но архитектура продумана и повторяет функциональность коммерческих решений.

Наблюдения по обновлениям

Проект активен, использует современный Swift 6.2, но имеет мало звёзд и форков, что говорит о ранней стадии.

Что мы проверили

Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.

Исходный репозиторий
https://github.com/actuallyepic/background-computer-use
Лицензия
MIT
Создан на GitHub
24 апреля 2026 г.
Последнее обновление репо
24 апреля 2026 г.
Последняя проверка GitRadar
24 апреля 2026 г.
Изученные файлы
README.md, Sources/BackgroundComputerUse/App/AppKitRuntimeBootstrap.swift, Sources/BackgroundComputerUse/App/RuntimePermissionPresenter.swift, Sources/BackgroundComputerUse/App/BackgroundComputerUseMain.swift, Sources/BackgroundComputerUse/App/RuntimeBootstrap.swift, Package.swift

FAQ

Что это такое?

Локальный HTTP-сервер для автоматизации macOS: управление окнами, скриншоты, эмуляция действий пользователя.

Для кого подходит?

Для разрабочиков, которые пишут тесты, ботов или AI-агентов, взаимодействующих с графическим интерфейсом macOS.

Источники

  • GitHub исходный код и активность
  • README описание, ссылки, стартовые материалы

Нужна помощь с actuallyepic/background-computer-use?

Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.