aiЖарияланды: 2026 M09 07 09:00Сенім деңгейі: official

Корпус таңдауы байланыс қашықтығын бағалауға айтарлықтай әсер етеді

Корпус таңдауы байланыс қашықтығын бағалауға айтарлықтай әсер етеді

Қысқаша мазмұны

38 синтаксистік корпус жұбын зерттеу нәтижесі деректер жинағының байланыс қашықтығы көрсеткіштері мен тілдер рейтингін өзгертетінін көрсетті.

Мәтін редакция мен AI көмегімен дайындалды, түпнұсқа сілтемесі көрсетілген

Жаңа ғылыми препринтте мәтіндік корпусты таңдаудың компьютерлік лингвистикадағы байланыс қашықтығы бағалауына қалай әсер ететіні зерделенді. Ғалымдар Universal Dependencies v2.18 деректер қорынан бір тілге арналған 38 трибанк жұбын салыстырып зерттеді.

Зерттеу барысында әртүрлі корпустар арасындағы сәйкестік деңгейі орташа екені анықталды. Бір трибанкті екіншісімен алмастыру тілдердің жұптық рейтингінің шамамен 40 пайызын өзгертті, ал корпусты таңдау 12 өңдеу спецификациясы бойынша дисперсияның шамамен 29 пайызын құрады.

Соған қарамастан, барлық зерттелген корпустар байланыс ұзындығын азайту қағидасын растады. Авторлардың пікірінше, орташа байланыс қашықтығы тілдің тұрақты параметрінен гөрі грамматика, регистр және аннотация ерекшеліктеріне тәуелді кешенді көрсеткіш болып табылады.

Дереккөз: arXiv cs.CL

Түпнұсқаны оқу →

Соңғы жаңалықтар