Представлен фреймворк MedProb для извлечения медицинских ответов из VLM

В научном препринте представлен MedProb — легковесный фреймворк зондирования, который извлекает ответы на медицинские визуальные вопросы (Med-VQA) напрямую из внутренних представлений замороженных мультимодальных моделей (VLM) без необходимости генерации свободного текста.

Тестирование на бенчмарках PATH-VQA, SLAKE и VQA-RAD показало, что MedProb извлекает больше релевантных сигналов, превосходя стандартный промптинг, специализированные медицинские модели и многоагентные системы. Зондирование также сокращает видимый разрыв между компактными и крупными моделями, подтверждая наличие скрытого потенциала у небольших VLM.

Анализ 14 пар моделей выявил, что дообучение на медицинских данных не всегда улучшает линейную декодируемость признаков. Кроме того, авторы показали возможность расширения зонда на задачи с открытыми ответами с помощью процедуры rejection-sampling.