Ғалымдар ғылыми AI-агенттердің шешім қабылдау логикасын зерттеуге арналған деректер қорын ұсынды

Зерттеушілер ғылыми тапсырмаларды орындайтын дербес AI-агенттердің шешім қабылдау процесін бақылауға арналған OpenDiscoveryTrace ашық деректер жинағын ұсынды. Қолданыстағы тестілер көбіне соңғы нәтижені ғана тексерсе, бұл жоба модельдердің гипотезаларды қалай құратынын және қандай қателіктер жіберетінін толық тіркейді.

Жинақ дәрі-дәрмек әзірлеу, материалтану, геномика және ғылыми әдебиеттерді талдау сияқты салалардағы 124 тапсырманы қамтитын 558 траекторияны біріктіреді. Онда үш флагмандық модель (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) және төрт ашық модель (Qwen2.5-7B, Mistral-7B-v0.3, Phi-3.5-mini, Qwen2.5-1.5B) зерттелді.

Талдау көрсеткендей, жетекші модельдердің сәттілік көрсеткіші шамалас (84–89%) болғанымен, олардың қателік профильдері айтарлықтай ерекшеленеді. Мәселен, Claude Opus 4.6 жүйесіндегі ақаулардың 66,7%-ы құралдарды дұрыс қолданбаумен байланысты болса, GPT-5.4 кемшіліктерінің 83,6%-ы логикалық пайымдау қателерінен тұрған. Барлық деректер мен құралдар CC BY 4.0 лицензиясымен қолжетімді.