Представлена архитектура языковой модели NCP-ArchPreview

В препринте на платформе arXiv опубликован технический отчет о разработке языковой модели латентного пространства NCP-ArchPreview. Архитектура дополняет стандартный механизм предсказания следующего токена (NTP) методом Next Concept Prediction (NCP), который прогнозирует дискретные концепты, охватывающие сразу несколько токенов.

Модель масштабировали до 8,9 млрд параметров и обучили на 5,73 трлн токенов из датасета Dolma-3. Согласно отчету, NCP-ArchPreview достигла финального уровня потерь OLMo-3-7B, использовав лишь 51,3% от общего объема токенов. В тестах модель превзошла OLMo-3-7B в среднем на 2,45 балла, включая прирост на 5,99 балла в бенчмарке GSM8K.

Кроме того, для достижения показателей аналогичной по размеру базовой модели на 8,9 млрд параметров NCP-ArchPreview потребовалось лишь 85% стандартных вычислений. Полученное латентное пространство также упрощает дообучение: адаптация под конкретную область возможна через обновление VQ-модуля размером 17 млн параметров.