Что такое Meta-Harness?
Фреймворк для автоматического поиска оптимального кода-обвязки вокруг ИИ-модели для конкретной задачи.
Проект / Python
stanford-iris-lab/meta-harness: Meta-Harness — автоматический поиск лучших обвязок для ИИ-моделей
Позволяет автоматически находить оптимальный код-обвязку вокруг базовой ИИ-модели для конкретной задачи.
Исследовательский проект от Stanford IRIS Lab, представляющий фреймворк для end-to-end оптимизации harnesses — кода, который окружает фиксированную базовую модель. Содержит фреймворк и два референсных эксперимента из статьи. Позволяет автоматически искать...
Для кого это
Для исследователей ИИ и продвинутых разработчиков, которые хотят автоматизировать поиск лучших стратегий использования LLM для своих задач.
Проблема / задача
При использовании больших языковых моделей часто приходится вручную писать сложную обвязку (harness) — код, который решает, что сохранять, извлекать и показывать модели. Это требует много экспериментов и времени.
Как это работает
Meta-Harness — это фреймворк для автоматического поиска по пространству task-specific harnesses. Он использует LLM-агента (например, Claude Code) для генерации кандидатов и автоматически оценивает их на ваших данных. Включает готовые примеры для классификации текста и Terminal-Bench 2.0.
Что видно по README
Исследовательский проект от Stanford IRIS Lab, представляющий фреймворк для end-to-end оптимизации harnesses — кода, который окружает фиксированную базовую модель. Содержит фреймворк и два референсных эксперимента из статьи. Позволяет автоматически искать лучшие стратегии работы с моделью для конкретной задачи.
Ключевые возможности
Технологии
Темы и ключи
Интересный факт
Эксперимент с Terminal-Bench 2 на полном датасете из 89 задач с Opus 4.6 стоит около $500 за одну итерацию поиска и занимает 4-6 часов.
С чего начать
- Клонируйте репозиторий
- Установите зависимости через uv sync
- Запустите одну итерацию поиска: uv run python meta_harness.py --iterations 1
Оценка GitRadar
Удобство
4/10
Свежесть
9/10
Перспектива
8/10
Монетизация
3/10
Общая оценка
6/10
Вердикт GitRadar
Стоит пробовать только исследователям ИИ и опытным разработчикам — это сырой исследовательский код, а не production-ready библиотека. Авторы прямо предупреждают, что код только проверен на запуск, но не тестировался глубоко.
Наблюдения по обновлениям
Проект свежий (2026 год), но это именно research code — авторы честно предупреждают, что код только проверен на запуск, но не тестировался глубоко.
Что мы проверили
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
- Исходный репозиторий
- https://github.com/stanford-iris-lab/meta-harness
- Официальный сайт
- https://yoonholee.com/meta-harness/
- Лицензия
- MIT
- Создан на GitHub
- 15 апреля 2026 г.
- Последнее обновление репо
- 15 апреля 2026 г.
- Последняя проверка GitRadar
- 15 апреля 2026 г.
- Изученные файлы
- reference_examples/text_classification/README.md, README.md, reference_examples/terminal_bench_2/README.md, reference_examples/text_classification/pyproject.toml, reference_examples/terminal_bench_2/pyproject.toml, reference_examples/text_classification/__init__.py
FAQ
Для кого подходит?
Для исследователей ИИ и продвинутых разработчиков, которые экспериментируют с оптимизацией работы LLM-моделей.
Источники
- GitHub исходный код и активность
- Официальный сайт позиционирование и демо
- README описание, ссылки, стартовые материалы
Нужна помощь с stanford-iris-lab/meta-harness?
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.