Зерттеушілер NCP-ArchPreview латентті кеңістіктік тілдік моделін ұсынды

arXiv платформасында жарияланған техникалық есепте зерттеушілер латентті кеңістікке негізделген NCP-ArchPreview жаңа тілдік моделін таныстырды. Бұл архитектура стандартты келесі токенді болжау (NTP) әдісімен қатар бірнеше токенді қамтитын дискретті тұжырымдамаларды болжауға арналған Next Concept Prediction (NCP) тәсілін біріктіреді.

Модель 8,9 миллиард параметрге дейін масштабталып, Dolma-3 деректер жиынтығынан алынған 5,73 триллион токен негізінде оқытылды. Тәжірибелер көрсеткендей, NCP-ArchPreview дайындыққа қажетті токендердің 51,3%-ын ғана пайдаланып, OLMo-3-7B моделінің деңгейіне жеткен. Сонымен қатар ол негізгі сынақтар бойынша OLMo-3-7B моделінен орта есеппен 2,45 ұпайға, ал GSM8K тапсырмасында 5,99 ұпайға озып шықты.

Әзірлеушілердің айтуынша, үйретілген латентті кеңістік модельді бейімдеуде де тиімділік көрсетеді. Бар болғаны 17 миллион параметрлік VQ модулін жаңарту домендік бейімделуге мүмкіндік береді, ал тұжырымдамаларды DFlash2 құралына енгізу генерация ұзындығын 4,17%-ға жақсартады.