Исследователи улучшили связывание редких сущностей в мультимодальных ИИ-моделях

В препринте на arXiv ученые представили новый подход к мультимодальному связыванию сущностей (multimodal entity linking), которое сопоставляет упоминания в тексте и изображениях с записями в базах знаний. Авторы расширили оценку «редкости» объектов, перейдя от простых метрик популярности (например, просмотров страниц) к структурным метрикам графов знаний. Выяснилось, что на таких редких сущностях точность существующих SOTA-систем падает на 15,4–39,9%.

Для решения проблемы исследователи создали фреймворк без дополнительного обучения (training-free), в котором визуально-языковая модель итеративно ищет информацию в Википедии и анализирует собранные доказательства. Эксперименты показали, что совмещение логических рассуждений и поиска дает лучший результат, тогда как по отдельности они менее эффективны.

Тестирование на бенчмарке MERLIN для пяти языков (хинди, индонезийский, японский, тамильский, вьетнамский) показало рост общей точности на 6,9%, а на выборках редких сущностей — до 23,3%. Также исследователи открыли доступ к тестовому набору MERLIN-Rare.