Qiushi Engine представила метод эффективного обучения языковых моделей на малых данных

Исследовательская группа Qiushi Engine опубликовала препринт о разработке принципов эффективного обучения языковых моделей на ограниченных объемах текста в рамках трека BabyLM 2026 Strict-Small. Эксперименты проводились на корпусе из 10 миллионов слов и ограничении в 100 миллионов суммарных показов слов.

Программа состояла из трех этапов, включавших компактное перефразирование, перераспределение ресурсов и остаточное инкрементальное обучение. Ученые выявили различия в использовании контекста при точном повторении и адаптированном пересказе текста.

В результате общий показатель модели вырос с 42,02 до 42,25 пункта, достигнув лучшего результата в публичном рейтинге Strict-Small на 8 сентября 2026 года. Модели и программный код размещены в открытом доступе на Hugging Face и GitHub.