Ученые предложили новый ИИ-метод классификации рентгеновских снимков грудной клетки

В препринте на arXiv исследователи представили фреймворк для мультилейбловой классификации рентгенограмм грудной клетки. Система объединяет унимодальные представления модели RAD-DINO и визуально-языковые данные BioViL-T в латентном пространстве для диагностики 14 патологий из набора данных MIMIC-CXR-JPG.

Эксперименты показали, что гибридное слияние признаков обеспечивает наилучшую точность: разработанная модель достигла среднего показателя AUROC на уровне 0,840 и mAP на уровне 0,467. Анализ подтвердил, что комбинирование визуальной и клинической семантической информации дает синергетический эффект.

Авторы подчеркивают, что оценка проводилась только на одном наборе данных, поэтому применимость подхода к снимкам из других медицинских центров еще требует дополнительной валидации.