Исследователи объяснили механизм интеграции внешних данных в LLM

В новом препринте на платформе arXiv исследователи представили теорию, объясняющую, как большие языковые модели (LLM) интегрируют внешние свидетельства от поисковых систем, агентов и пользователей в формируемые решения. Модели значительно легче перенимают те варианты ответов, которые изначально близки их собственному распределению вероятностей и характерным ошибкам.

Гипотезы были протестированы в рамках более чем десяти миллионов испытаний на двенадцати моделях из четырех семейств в восьми предметных областях, включая квантовую механику, генетику и молекулярную биологию. Анализ выявил, что одни и те же внешние данные могут улучшать работу более слабых моделей, но ухудшать показатели более сильных.

Кроме того, эксперименты показали, что нейросети часто включают внешние варианты в финальный ответ даже после того, как внутренне зафиксировали их невалидность (от 93% до 100% случаев при пропозициональных ограничениях). Анализ внутренней структуры подтвердил, что процесс интеграции ответов слабо связан с механизмами внутренней верификации модели.