執行環境與工具 發布日期:
llama.cpp v0.9.0 加入 FP8 量化、支援 Mistral Large 4,多人同時使用的 KV 快取也更有效率

發生什麼事
llama.cpp v0.9.0 於 11 月 4 日發布,新增 OCP FP8 E4M3 量化格式,以及一個新的 flash attention 運算,讓多個對話同時進行時,統一 KV 快取也能有效率地運作。這一版支援 Clover、Limite、Metis-1.6 與 Mistral Large 4 四種新架構,加入 Chatterbox 文字轉語音、可離線轉錄 40 種語言的 Nemotron 3.5 Transcribe,以及 Pocket TTS 的內建聲音。Gemma 4 E2B 與 E4B 的提示處理大幅加速,內附的 ggml v0.29.0 也初步支援透過 NCCL 的多節點 tensor parallel。
對地端使用者的意義:多人共用一台 llama.cpp 伺服器的團隊,KV 快取會更有效率;Mistral Large 4 與 Nemotron 3.5 Transcribe 也能在最常見的本地執行環境上跑了。
三種角度看這則新聞
市場怎麼看
加入 FP8 與初步的多節點 tensor parallel,可能讓 llama.cpp 更往 vLLM、SGLang 的地盤靠近,也就是共用伺服器與超大型模型。對偏好 llama.cpp 單一執行檔、不想架整套推論服務的小團隊來說,這可能最有感。
白話版
llama.cpp 是很多在自己電腦上跑 AI 的軟體背後的免費引擎。這次更新讓它同時服務好幾個人時更順,能跑幾個新模型,也能離線把 40 種語言的會議錄音轉成文字,並用內建的聲音說話。
業內觀點
要改用新的 F8_E4M3 格式前,先用自己的提示和目前的 Q8_0 版本比較,因為發行說明沒有給品質或速度數字。如果你用統一 KV 快取同時服務多個序列,記得重新測吞吐量;TTS 端點現在接受內建聲音名稱,GET /props 也會列出可用聲音。多節點 tensor parallel 官方說是初步支援,先放在測試機上就好。
訂閱小芽週報
每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。
來源
閱讀官方原文:llama.cpp v0.9.0 release notes (GitHub) ↗摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。