Зерттеушілер LLM агенттерінің ұзақ мерзімді жады тиімділігін бағалайтын MERIT бенчмаркін ұсынды

Зерттеушілер тобы құралдарды пайдаланатын LLM агенттеріндегі ұзақ мерзімді жад жүйелерінің тиімділігі мен құнын өлшеуге арналған MERIT бенчмаркін жариялады. Дәстүрлі тесттерден айырмашылығы, жаңа жүйе жай сұрақ-жауапты емес, есте сақталған ақпараттың агенттің нақты іс-әрекеттеріне қалай әсер ететінін бағалайды.

GPT-4.1, Claude Haiku 4.5 және Claude Sonnet 5 үлгілерінде жүргізілген 23 440 эпизодтық сынақ нәтижесі жадты пайдалану тапсырмалардың сәтті орындалу көрсеткішін 0,00-ден 0,55-1,00 деңгейіне дейін көтеретінін көрсетті. Алайда фактілер жаңартылған кезде эмбеддингтер арқылы іздеу жүйесі тұрақсыз нәтиже беріп, агенттер алынған мәнді жағдайлардың тек 55%-ында ғана дұрыс қолданған.

Жұмыс қорытындысына сәйкес, толық контекстті қайта жүктеу (full replay) экономикалық тұрғыдан тиімсіз болып шықты. Құрылымдалған фактілер қоймасы мен LLM арқылы мәтінді қорытындылау әдістері 0,70-1,00 аралығындағы жоғары тиімділікті сақтап, шығын мен нәтиже арақатынасында 2,7-3,9 есе артықшылық көрсетті.