Ученые исследовали калибровку уверенности в визуально-языковых моделях

В научном препринте на платформе arXiv исследователи изучили надежность визуально-языковых моделей (VLM) в условиях последовательной потери критически важных визуальных данных. В экспериментах использовалась модель Qwen2.5-VL-3B-Instruct на выборке из 176 траекторий (880 условий маскирования).

Анализ показал, что полное маскирование ключевых визуальных областей снижает точность модели на 28,2 процентных пункта, тогда как сопоставимое маскирование некритических зон уменьшает ее лишь на 0,6 пункта. При этом базовая уверенность модели показала уровень нарушения монотонности (EMVR) 0,436, а 92% траекторий содержали хотя бы одно несоответствие.

Для решения проблемы авторы обучили легковесную надстройку надежности. Внедрение специального контроля снизило EMVR с 0,330 до 0,303 при маскировании и с 0,449 до 0,402 при локальном размытии. Авторы подчеркивают, что предложенная методика улучшает согласованность учета доказательств, а не дает общее превосходство в оценке рисков.