Исследователи выявили проблему «визуального доминирования» в мультимодальных ИИ-моделях

В новом научном препринте исследователи изучили персонализированную безопасность мультимодальных моделей (VLM) в критически важных сферах. Для оценки систем авторы создали бенчмарк MPS-Bench, включающий 5 181 сценарий на основе 584 изображений в 12 областях повышенного риска. Тестирование восьми передовых моделей показало, что они дают прямой ответ в 86–99% случаев вместо запроса недостающего контекста, не набрав выше 2,6 балла из 5 по шкале безопасности.

Причиной сбоев стал эффект «визуального доминирования», при котором визуальные сигналы подавляют текстовые предупреждения о рисках на ранних этапах обработки данных. В результате позднее исправление ответов внутри модели становится неэффективным.

Для устранения проблемы ученые разработали монитор PRISM на основе двунаправленной кросс-модальной модуляции. Система оценивает необходимость отложить ответ для уточнения контекста, показав результат 0,978 AUC и улучшив баланс безопасности и полезности во всех протестированных моделях.