Зерттеушілер LLM модельдеріндегі тіларалық сәйкессіздіктерді анықтайтын SWORD бенчмаркін ұсынды

arXiv платформасында жарияланған ғылыми препринтте зерттеушілер тобы Systematic Wikidata-based Object-Relation Distortion (SWORD) атты жаңа бенчмаркті ұсынды. Жүйе үлкен тілдік модельдердің (LLM) әртүрлі тілдерде фактілік қателерді қаншалықты дұрыс қабылдамайтынын немесе қабылдайтынын тексеруге арналған.

SWORD Wikidata деректеріне негізделіп, сегіз кең таралған тілде синтаксистік жағынан дұрыс, бірақ фактілік тұрғыдан қате сөйлемдер құрастырады. Бағалау барысында модельдердің кездейсоқ қателерге қарағанда мағыналық тұрғыдан қисынды көрінетін бұрмалауларды оңайырақ анықтайтыны белгілі болды. Бұл олардың нақты фактілік тексеруден гөрі деректердің таралу үйреншіктілігіне көбірек сүйенетінін аңғартады.

Сонымен қатар, базалық деңгейде тілдер бойынша ұқсас нәтиже көрсеткен модельдер бұрмаланған сөйлемдерге тап болғанда, әсіресе шығыс азиялық тілдерде айтарлықтай нашарлаған. Кейбір модельдерде тіларалық алшақтық 28 пайыздық тармаққа немесе салыстырмалы түрде 49%-ға дейін жетті.