Представлен метод X-CoSD для ускорения совместной генерации LLM

В препринте на arXiv представлена разработка X-CoSD — оптимизированная архитектура для совместного спекулятивного декодирования (CoSD). В существующих решениях малая языковая модель (SLM) на устройстве пользователя генерирует варианты токенов, а серверная LLM верифицирует их. Прежние методы требовали единого словаря и создавали высокую нагрузку на сеть из-за обмена распределениями вероятностей.

Новый метод X-CoSD позволяет объединять SLM и LLM с несовпадающими словарями без потери точности. Архитектура использует гибридное ресэмплирование (HR), разделяя распределение между общей областью словаря на устройстве и серверной зоной, что существенно снижает объем передаваемых данных.

Дополнительно предложена версия X-CoSD-E с проверкой кандидатов на стороне устройства. Эксперименты подтвердили, что оба подхода сохраняют исходное качество генерации серверной модели и значительно увеличивают скорость создания токенов.