Представлен датасет OpenDiscoveryTrace для оценки логики рассуждений научных ИИ-агентов

Исследователи представили открытый датасет OpenDiscoveryTrace, предназначенный для анализа и аудита логики рассуждений автономных научных ИИ-агентов. Традиционные бенчмарки оценивают лишь итоговые результаты работы моделей, тогда как новый датасет фиксирует полный пошаговый процесс решения задач, включая вызовы инструментов, ошибки и уровень уверенности.

Датасет содержит 558 полных траекторий по 124 научным задачам в таких областях, как разработка лекарств, материаловедение, геномика и анализ литературы. В исследовании оценивались семь моделей: передовые GPT-5.4, Claude Opus 4.6 и Gemini 3.1 Pro, а также открытые Qwen2.5-7B, Mistral-7B-v0.3, Phi-3.5-mini и Qwen2.5-1.5B.

Анализ показал, что при сопоставимой точности флагманских моделей (84–89%) структура их ошибок кардинально различается. В частности, у Claude Opus 4.6 около 66,7% сбоев были вызваны некорректным использованием инструментов, тогда как у GPT-5.4 83,6% недочетов пришлись на ошибки логического рассуждения. Датасет и инструменты оценки опубликованы под лицензией CC BY 4.0.