startups-worldЖарияланды: 2026 M09 09 01:07Сенім деңгейі: verified

MacBook Pro-да 4 SSD арқылы 2,8 трлн параметрлі Kimi K3 моделі іске қосылды

MacBook Pro-да 4 SSD арқылы 2,8 трлн параметрлі Kimi K3 моделі іске қосылды

Қысқаша мазмұны

Deltafin әзірлеушілері төрт SSD арқылы салмақтарды тасымалдау арқылы MacBook Pro-да 2,8T параметрлі Kimi K3 моделін секундіне 1 токен жылдамдықпен іске қосты.

Мәтін редакция мен AI көмегімен дайындалды, түпнұсқа сілтемесі көрсетілген

Deltafin ашық жобасы аясында мамандар алып тілдік модельдерді тұтынушылық құрылғыларда іске қосудың тың әдісін көрсетті. Төрт сыртқы SSD дискісін біріктіре отырып, деректерді тікелей оқу арқылы 2,8 триллион параметрлік Kimi K3 моделі MacBook Pro ноутбугінде жұмыс істеді.

Жүйе секундіне шамамен 1 токен генерациялау жылдамдығын қамтамасыз етеді. Бұл тәсіл аса көлемді жасанды интеллект модельдерін қымбат серверлік инфрақұрылымсыз, жергілікті жабдықта салмақтарды ағынды оқу арқылы қолдану мүмкіндігін көрсетеді.

Дереккөз: Hacker News

Түпнұсқаны оқу →

Соңғы жаңалықтар