Ғалымдар сирек нысандарды тануға арналған жаңа мультимодальды әдісті ұсынды

arXiv платформасында жарияланған препринтте ғалымдар мәтін мен кескіндердегі сирек кездесетін нысандарды білім базаларымен байланыстыру мәселесін зерттеді. Бұған дейін нысандардың сиректігі қаралым саны сияқты көрсеткіштермен өлшенсе, авторлар білім графигінің құрылымдық көрсеткіштерін қолдануды ұсынды. Мұндай сирек сегменттерде қолданыстағы үздік жүйелердің дәлдігі 15,4-тен 39,9 пайызға дейін төмендейтіні анықталды.

Бұл олқылықтың орнын толтыру үшін авторлар қосымша оқытуды қажет етпейтін жаңа жүйені әзірледі. Бұл әдісте көру-тілдік моделі Wikipedia арқылы қажетті деректерді итеративті түрде іздеп, талдайды. Нәтижесінде логикалық ойлау мен ақпаратты іздеу тетіктерін біріктіру ең жоғары тиімділікті көрсетті.

Хинди, индонезия, жапон, тамил және вьетнам тілдерін қамтитын MERLIN бенчмаркінде жаңа жүйе жалпы дәлдікті 6,9 пайызға, ал сирек нысандар бойынша 23,3 пайызға дейін арттырды. Зерттеушілер өз жүйесімен қатар MERLIN-Rare арнайы тестілеу жинағын да ұсынды.