Что это такое?
Инструмент для статистического сравнения стеков разработки с использованием AI-агентов, языков и фреймворков.
Проект / Python
adrianco/retort: Retort — движок эволюции платформ для тестирования AI-инструментов
Систематически сравнивай языки, фреймворки и AI-агенты, чтобы найти лучший стек для разработки.
Retort применяет статистический дизайн экспериментов (DoE) для систематической оценки стеков разработки. Он генерирует дробные факторные планы, комбинируя языки, модели ИИ и инструменты, выполняет эксперименты в изолированных средах, оценивает результаты по...
Для кого это
Для инженеров платформ, тимлидов и исследователей, которые хотят принимать решения о выборе инструментов на основе данных, а не мнений.
Проблема / задача
Современная разработка — это комбинаторный хастл: десятки языков, фреймворков и AI-агентов. Как выбрать оптимальный стек без бесконечных ручных тестов?
Как это работает
Retort — это движок для эволюции платформ, который помогает «выварить» лучшее из комбинаторного хаоса инструментов разработки. Проект использует статистические методы для систематического тестирования различных комбинаций языков программирования, AI-агентов и фреймворков в изолированных средах (playpens). Результаты оцениваются по нескольким метрикам (качество кода, токены, стоимость, время), после чего стеки либо...
Что видно по README
Retort — это движок для эволюции платформ, который помогает «выварить» лучшее из комбинаторного хаоса инструментов разработки. Проект использует статистические методы для систематического тестирования различных комбинаций языков программирования, AI-агентов и фреймворков в изолированных средах (playpens). Результаты оцениваются по нескольким метрикам (качество кода, токены, стоимость, время), после чего стеки либо...
Ключевые возможности
Технологии
Интересный факт
В первом эксперименте Go с моделью Sonnet и инструментом Beads показал идеальное качество 1.00, а TypeScript с той же комбинацией — единственный провал, вероятно, из-за переполнения контекста.
С чего начать
- Установите через pip install -e .[dev,test]
- Создайте рабочее пространство: retort init my-eval
- Настройте workspace.yaml, определив факторы (языки, агенты) и задачи
- Сгенерируйте дизайн эксперимента: retort design generate --phase screening
- Запустите эксперименты: retort run --phase screening
Оценка GitRadar
Удобство
6/10
Свежесть
9/10
Перспектива
8/10
Монетизация
4/10
Общая оценка
7/10
Вердикт GitRadar
Стоит пробовать, если вы занимаетесь инженерией платформ или исследованиями в области AI-ассистированной разработки. Это редкий инструмент, который применяет серьёзную статистику к хаотичному миру выбора инструментов. Пока проект в альфе, но концепция перспективная.
Наблюдения по обновлениям
Проект активен, версия 0.1.0, есть devcontainer, код хорошо структурирован, но пока мало звёзд и форков.
Что мы проверили
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
- Исходный репозиторий
- https://github.com/adrianco/retort
- Лицензия
- Apache-2.0
- Создан на GitHub
- 10 апреля 2026 г.
- Последнее обновление репо
- 10 апреля 2026 г.
- Последняя проверка GitRadar
- 10 апреля 2026 г.
- Изученные файлы
- tasks/README.md, pyproject.toml, src/retort/cli.py, README.md, .devcontainer/Dockerfile, src/retort/__init__.py
FAQ
Для кого подходит?
Для инженеров платформ, тимлидов и исследователей, которые хотят оптимизировать выбор инструментов на основе данных.
Источники
Нужна помощь с adrianco/retort?
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.