Қытайдың әскери жаңалықтарына арналған CMNIE ақпарат алу бенчмаркі ұсынылды

arXiv препринттер базасында жарияланған жаңа зерттеуде қытайлық әскери жаңалықтарға арналған CMNIE ақпаратты алу (Information Extraction) бенчмаркі ұсынылды. Бұл деректер жинағы талдау жұмыстарын жеңілдету, шешім қабылдау және арнайы білім базаларын қалыптастыру үшін мәтіндерден деректерді бірлесіп алуға бағытталған.

CMNIE деректер жинағы ашық қытайлық әскери жаңалықтардан алынған 13 000 үлгіні қамтиды. Онда 7 түрлі оқиға типі, 10 аргумент рөлі, 7 атаулы нысан түрі және 8 қатынас типі бірыңғай домендік схема бойынша қолмен белгіленген.

Авторлар жүргізген сынақтар бақыланатын IE үлгілерінің, нөлдік мысалды (zero-shot) және қосымша оқытылған тілдік модельдердің (LLM) мүмкіндіктерін бағалады. Нәтижелер көрсеткендей, zero-shot үлгілері негізгі семантиканы түсінгенімен, қатынастарды дәл шығаруда және нақты мәтіндік шекараларды анықтауда қиындықтарға тап болады.