Представлен бенчмарк AhaBench для оценки непрерывного обучения ИИ-агентов

В препринте на arXiv представлена тестовая платформа AhaBench, созданная для проверки способности языковых агентов обучаться на собственном опыте в долгосрочных сценариях. В отличие от стандартных тестов, система оценивает адаптацию модели после получения опыта в условиях, когда прямые подсказки убраны или изменены.

Комплекс состоит из трех компонентов: Aha-Puzzle для исследования головоломок со скрытыми состояниями, Aha-Euler для решения математических задач и Aha-Vending — симулятора торгового автомата, проверяющего способность агента сохранять прибыльность при операционных инцидентах. Оценка строится на начальном балле, результате после опыта и динамике прироста навыков (Learning Lift).

В тестировании панели из восьми моделей лидером стал Claude Opus 4.6, набрав 64,3 балла после обучения с приростом +25,8. Второе место занял Gemini 3.1 Pro с результатом 63,4 балла. Разработчики бенчмарка открыли исходный код симуляторов и тестовые сценарии для публичного использования.