Зерттеушілер LLM генерациясын жеделдететін Osprey әдісін ұсынды

Ғалымдар үлкен тілдік модельдердің (LLM) жұмысын жеделдетуге арналған Osprey атты жаңа тәсілді таныстырған ғылыми препринт жариялады. Спекулятивтік декодтау кезінде қолданылатын «drafter» көмекші модельдері әдетте нақты бір мақсатты модельге ғана бейімделіп, жүктеме өзгергенде тиімділігін жоғалтатын. Osprey бұл мәселені дайын шағын тілдік модельдердің алдын ала дайындығын әмбебап ресурс ретінде пайдалану арқылы шешеді.

Жүйе шағын модельді ықшам құрылымға дейін қысқартып, оның базалық қабілетін мақсатты модельге тәуелсіз алдын ала оқыту арқылы қалпына келтіреді. Кейіннен сөздік қорын сәйкестендіру, нөлдік QKV кеңейту және дистилляция көмегімен кез келген негізгі модельге тез бейімдейді.

Тәжірибе нәтижесінде бір әмбебап Osprey негізі токендердің орташа қабылдану ұзындығын Qwen3-8B үшін 16,1%-ға, Llama-3.3-70B-Instruct үшін 21,2%-ға және 229 миллиард параметрлі MiniMax-M2.5 үшін 22,7%-ға арттырды. Сондай-ақ секундына өңделетін токендер жылдамдығы 17,5%-ға өсті. Зерттеу авторлары жобаның бастапқы кодын GitHub платформасында қолжетімді етті.