Исследователи масштабировали пост-тренировочную тернаризацию для модели Qwen3-8B

Исследователи изучили масштабирование пайплайна пост-тренировочной конверсии с Qwen3-4B на Qwen3-8B. Процесс тернаризации включает ротацию KOTMS, адаптивную тернаризацию E2M-ATQ и компенсацию ошибок в стиле GPTQ в конфигурации weight-only A16.

Модель 8B продемонстрировала среднюю точность 64,6% на восьми zero-shot задачах против 72,4% у базовой FP16-версии. Сохранение метрик с поправкой на случайность составило 78,5% по сравнению с 69,6% у версии 4B, что подтверждает рост устойчивости к дискретизации при увеличении размера сети. Отношение перплексии по трем корпусам (WikiText-2, C4, PTB) составило 1,361x.

Упакованный чекпоинт занимает 8,24 GiB без потери измеренной точности. Прямое исполнение в сжатом виде достигает скорости 15,52 токена в секунду при объеме памяти 7,35 GiB, хотя предварительная реализация packed GEMV пока уступает по скорости FP16 cuBLAS.