Представлен метод Osprey для ускорения генерации больших языковых моделей

Исследователи опубликовали научный препринт, посвященный методу Osprey, который оптимизирует спекулятивное декодирование для ускорения инференса больших языковых моделей. Ранее вспомогательные модели-черновики (drafters) обучались под конкретную целевую сеть, из-за чего их эффективность резко падала при смене распределения данных. Osprey предлагает использовать готовые предобученные малые языковые модели в качестве независимой универсальной базы.

В рамках подхода готовая малая модель сокращается до компактной основы с низкой задержкой, а ее языковые навыки восстанавливаются универсальным предобучением. Затем модель адаптируется под целевой LLM с помощью выравнивания словаря, расширения QKV с нулевой инициализацией и дистилляции.

Тестирование показало, что единая основа Osprey увеличила среднюю длину принимаемых токенов на 16,1% для Qwen3-8B, на 21,2% для Llama-3.3-70B-Instruct и на 22,7% для MiniMax-M2.5 (229B), обеспечив прирост скорости генерации до 17,5% токенов в секунду. Исходный код разработки авторы открыли на GitHub.