Зерттеушілер Qwen3-8B моделін тренингтен кейінгі тернаризациялау әдісін сынақтан өткізді

Ғалымдар тобы Qwen3-8B тілдік моделіне тренингтен кейінгі агрессивті тернаризациялау әдісін қолдану нәтижелерін ұсынды. Конверсия процесінде KOTMS ротациясы, E2M-ATQ бейімделгіш тернаризациясы және weight-only A16 конфигурациясындағы GPTQ үлгісіндегі қателіктерді өтеу алгоритмдері пайдаланылды.

Зерттеу барысында 8B моделінің нөлдік үлгідегі (zero-shot) сегіз тапсырма бойынша орташа дәлдігі FP16 базалық деңгейіндегі 72,4%-бен салыстырғанда 64,6%-ды құрады. Салыстырмалы түрде, 4B моделі сапаның 69,6%-ын сақтаса, 8B нұсқасы 78,5% деңгейін көрсетіп, көлем ұлғайған сайын дискретизацияға төзімділіктің артатынын көрсетті. Үш корпус бойынша (WikiText-2, C4, PTB) перплексия қатынасы 1,361x деңгейінде тіркелді.

Сығымдалған чекпойнт көлемі 8,24 GiB құрап, өлшеу дәлдігіндегі перплексияны сақтап қалды. Тікелей орындау жылдамдығы 7,35 GiB жадында секундына 15,52 токенге жетті, алайда алдын ала тестіленген GEMV орындалуы FP16 cuBLAS нұсқасынан әзірге баяу жұмыс істейді.