Ученые представили фреймворк GAMPO для управления AI-агентами

В препринте на arXiv исследователи представили фреймворк GAMPO, предназначенный для проектирования и оценки управляемых многоагентных систем искусственного интеллекта. Концепция объединяет теорию агентности, гибкие подходы и принципы управления на базе анализа 321 источника.

Тестирование проводилось на бенчмарке в сфере здравоохранения CHI-Bench с участием открытых и передовых моделей. Исследование показало, что выгода от внешнего управления жестко ограничена возможностями конкретной модели. Для менее мощных открытых моделей сложные регламенты оказались неэффективными, тогда как простое указание на проверку удвоило успешность выполнения задач.

Для передовых моделей применение специализированных критериев выполнения задач повысило показатель успешности до 84% в тесте с несколькими попытками. Авторы подчеркивают, что полученные результаты носят предварительный характер из-за небольших объемов выборок.