Представлен бенчмарк SWORD для выявления межъязыковых ошибок в моделях ИИ

В научном препринте, опубликованном на arXiv, исследователи представили бенчмарк Systematic Wikidata-based Object-Relation Distortion (SWORD). Разработка предназначена для оценки того, способны ли большие языковые модели (LLM) последовательно отклонять фактические ошибки на разных языках.

SWORD генерирует синтаксически корректные, но фактически неверные утверждения на восьми распространенных языках с помощью контролируемых искажений триплетов Wikidata. Оценка выявила, что модели парадоксальным образом точнее распознают правдоподобные искажения, чем случайные бессмысленные замены, что указывает на зависимость от статистической близости, а не на реальную проверку фактов.

Кроме того, модели с одинаковыми базовыми показателями на разных языках продемонстрировали заметное падение точности на восточноазиатских языках при работе с искаженными данными. В некоторых моделях разрыв между языками достигал 28 процентных пунктов, что эквивалентно относительному снижению на 49%.