Зерттеушілер жасанды интеллект агенттерінің тәжірибеден үйренуін бағалайтын AhaBench әзірледі

Зерттеушілер тобы arXiv препринтінде тілдік модельдер негізіндегі дербес агенттердің бұрынғы тәжірибеден үйрену қабілетін тексеретін AhaBench атты жаңа бағалау жүйесін таныстырды. Бұл бенчмарк көмекші кеңестер алып тасталған немесе өзгерген жағдайда агенттердің өз мінез-құлқын жақсарта алатынын тексереді.

Тестілеу жүйесі үш бағытты қамтиды: басқатырғыштарды шешуге арналған Aha-Puzzle, математикалық есептердің Aha-Euler кешені және кідіртілген кері байланыс жағдайында виртуалды сауда автоматын басқаратын Aha-Vending ортасы. Нәтижелер бастапқы көрсеткіш (Initial Score), тәжірибеден кейінгі көрсеткіш (Post-Experience Score) және олардың айырмасын көрсететін үйрену деңгейі (Learning Lift) бойынша бағаланады.

Сегіз модельден тұратын сынақта Claude Opus 4.6 ең жоғары 64,3 тәжірибеден кейінгі ұпай мен +25,8 үйрену өсімін көрсетіп, бірінші орын алды. Оған 63,4 ұпаймен Gemini 3.1 Pro жақын келді. Авторлар бенчмарк тапсырмалары мен симулятор кодын ашық қолжетімділікке шығарды.