Что это такое?
Набор данных для тестирования безопасности ИИ-агентов в реалистичных сценариях с инструментами.
Проект / Unknown
LiYu0524/ATbench: ATbench — эталонные данные для тестирования безопасности ИИ-агентов
Помогает оценить, насколько безопасно ведут себя ИИ-агенты при работе с инструментами в реальных сценариях.
Проект предоставляет наборы траекторий — полных историй взаимодействия агента с пользователем и инструментами. Каждая траектория размечена как безопасная или опасная, а для опасных есть детальная диагностика по трём измерениям: источник риска, тип сбоя и...
Для кого это
Для исследователей ИИ-безопасности, разработчиков агентских систем и команд, которые хотят проверить свои модели на реалистичных траекториях поведения.
Проблема / задача
Сложно объективно оценить безопасность ИИ-агентов в долгосрочных сценариях с использованием инструментов — не хватает реалистичных и разнообразных тестовых данных.
Как это работает
Проект предоставляет наборы траекторий — полных историй взаимодействия агента с пользователем и инструментами. Каждая траектория размечена как безопасная или опасная, а для опасных есть детальная диагностика по трём измерениям: источник риска, тип сбоя и возможный вред.
Что видно по README
ATbench — это семейство бенчмарков для оценки безопасности ИИ-агентов на уровне траекторий. Содержит реалистичные сценарии с использованием инструментов, размеченные экспертами. Есть две версии: ATbench (1000 траекторий) и ATbench500 (500 траекторий). Данные доступны на Hugging Face, кодовая база будет расширяться.
Ключевые возможности
Технологии
Интересный факт
В последней версии ATbench агенты в среднем делают около 9 шагов за траекторию и используют почти 2000 разных инструментов — это очень разнообразные и сложные сценарии.
С чего начать
- Перейти на страницу датасета на Hugging Face
- Загрузить данные ATbench или ATbench500
- Использовать в своих экспериментах по оценке безопасности
Оценка GitRadar
Удобство
7/10
Свежесть
9/10
Перспектива
8/10
Монетизация
4/10
Общая оценка
7/10
Вердикт GitRadar
Стоит пробовать, если вы серьёзно занимаетесь безопасностью ИИ-агентов. Это один из немногих публичных бенчмарков такого масштаба и детализации.
Наблюдения по обновлениям
Проект активно развивается: в апреле 2026 вышло крупное обновление с 1000 траекторий, обещают выпуск движка для генерации данных.
Что мы проверили
Карточка собрана по данным GitHub, README и структуре репозитория. Это не официальная документация проекта.
- Исходный репозиторий
- https://github.com/LiYu0524/ATbench
- Создан на GitHub
- 9 апреля 2026 г.
- Последнее обновление репо
- 9 апреля 2026 г.
- Последняя проверка GitRadar
- 9 апреля 2026 г.
- Изученные файлы
- README.md
FAQ
Для кого подходит?
Для исследователей и разработчиков, которые работают с агентским ИИ и хотят оценить риски.
Источники
Нужна помощь с LiYu0524/ATbench?
Если проект подходит под ваш сценарий, можем помочь с установкой, интеграцией, доработкой или аккуратным форком под вашу инфраструктуру.