Представлен бенчмарк MERIT для оценки долгосрочной памяти LLM-агентов с учетом затрат

Исследователи представили препринт с описанием бенчмарка MERIT, созданного для оценки эффективности и экономической стоимости долгосрочной памяти у LLM-агентов. В отличие от стандартных диалоговых тестов, система проверяет, как сохраненные факты влияют на реальные действия агента при использовании внешних инструментов.

Эксперименты охватили 23 440 эпизодов на моделях GPT-4.1, Claude Haiku 4.5, gpt-4.1-mini и Claude Sonnet 5. Наличие памяти повысило успешность выполнения зависимых задач с нуля до 0,55–1,00. Однако при обновлении фактов векторный поиск на основе эмбеддингов показал нестабильность: агенты действовали на основе корректно извлеченных данных лишь в 55% случаев.

В то же время хранилища со структурированными фактами и методы суммаризации продемонстрировали устойчивый результат на уровне 0,70–1,00. Исследование показало, что полный повтор контекста экономически невыгоден, тогда как оптимизированные архитектуры памяти обеспечивают в 2,7–3,9 раза больше полезности на каждый потраченный доллар.