Представлен метод FailSAE для интерпретируемого прогнозирования сбоев VLM

Исследователи представили подход FailSAE, предназначенный для предсказания и интерпретации ошибок в зрительно-языковых моделях (VLM), таких как CLIP. С ростом применения VLM в критически важных сферах выявление сбоев становится ключевым фактором для управления рисками.

Существующие методы полагаются на оценки уверенности или вспомогательные классификаторы, однако они обладают ограниченной интерпретируемостью. В FailSAE задача прогнозирования ошибок решается через латентные активации разреженных автоэнкодеров (SAE) с трехэтапным пайплайном обучения.

Эксперименты показали, что предложенный фреймворк превосходит базовые модели. Анализ концепций с помощью SAE выявил, что во время сбоев представления модели смещаются от специфичных для класса понятий к более двусмысленным или стилистическим признакам, а латентные направления SAE могут использоваться для исправления ошибок на этапе выполнения.