Зерттеушілер LLM генерациясын жеделдететін X-CoSD әдісін ұсынды

arXiv препринттер қорында бірлескен спекулятивті декодтауға (CoSD) арналған жаңа зерттеу жарияланды. Қазіргі CoSD жүйелерінде пайдаланушы құрылғысындағы шағын модель (SLM) токендердің алдын ала нұсқасын жасайды, ал сервердегі ірі тілдік модель (LLM) оларды тексереді. Алайда бұл тәсіл модельдердің бірдей сөздікке ие болуын талап етіп, құрылғы мен сервер арасында үлкен трафик тудыратын.

Ғалымдар ұсынған X-CoSD жүйесі әртүрлі сөздіктері бар моделдерге бірлесіп жұмыс істеуге мүмкіндік береді. Ол қайта іріктеуді ортақ сөздік және тек LLM-ге тән аймақтарға бөлетін гибридті механизмге сүйенеді. Бұл токендерді тасымалдау көлемін айтарлықтай азайтады.

Сонымен қатар авторлар серверлік іріктеуге негізделген X-CoSD-E нұсқасын да таныстырды. Эксперименттер бұл жаңа әдістердің шығыс сапасын толық сақтай отырып, мәтін құрастыру жылдамдығын едәуір арттыратынын көрсетті.