Выбор корпуса существенно влияет на оценки дистанции зависимостей

В новом научном препринте исследовано влияние выбора текстового корпуса на оценки средней дистанции зависимостей в компьютерной лингвистике. Авторы сопоставили 38 пар синтаксических корпусов (трибанков) для одних и тех же языков из базы Universal Dependencies v2.18.

Анализ выявил лишь умеренный уровень согласованности между различными корпусами. Замена одного трибанка на другой привела к изменению почти 40 процентов парных ранжирований языков, а выбор корпуса объяснил около 29 процентов межгрупповой дисперсии в рамках 12 спецификаций обработки данных.

При этом каждый изученный корпус подтвердил общий принцип минимизации длины зависимостей. Исследователи пришли к выводу, что средняя дистанция зависимостей обусловлена стилем, грамматикой и разметкой, а не является постоянным свойством самого языка.