地端世界ONPREM WORLD

執行環境與工具 發布日期:

llama.cpp v0.9.0 加入 FP8 量化、支援 Mistral Large 4,多人同時使用的 KV 快取也更有效率

示意圖:llama.cpp v0.9.0 加入 FP8 量化、支援 Mistral Large 4,多人同時使用的 KV 快取也更有效率
示意圖

發生什麼事

llama.cpp v0.9.0 於 11 月 4 日發布,新增 OCP FP8 E4M3 量化格式,以及一個新的 flash attention 運算,讓多個對話同時進行時,統一 KV 快取也能有效率地運作。這一版支援 Clover、Limite、Metis-1.6 與 Mistral Large 4 四種新架構,加入 Chatterbox 文字轉語音、可離線轉錄 40 種語言的 Nemotron 3.5 Transcribe,以及 Pocket TTS 的內建聲音。Gemma 4 E2B 與 E4B 的提示處理大幅加速,內附的 ggml v0.29.0 也初步支援透過 NCCL 的多節點 tensor parallel。

對地端使用者的意義:多人共用一台 llama.cpp 伺服器的團隊,KV 快取會更有效率;Mistral Large 4 與 Nemotron 3.5 Transcribe 也能在最常見的本地執行環境上跑了。

三種角度看這則新聞

市場怎麼看

加入 FP8 與初步的多節點 tensor parallel,可能讓 llama.cpp 更往 vLLM、SGLang 的地盤靠近,也就是共用伺服器與超大型模型。對偏好 llama.cpp 單一執行檔、不想架整套推論服務的小團隊來說,這可能最有感。

白話版

llama.cpp 是很多在自己電腦上跑 AI 的軟體背後的免費引擎。這次更新讓它同時服務好幾個人時更順,能跑幾個新模型,也能離線把 40 種語言的會議錄音轉成文字,並用內建的聲音說話。

業內觀點

要改用新的 F8_E4M3 格式前,先用自己的提示和目前的 Q8_0 版本比較,因為發行說明沒有給品質或速度數字。如果你用統一 KV 快取同時服務多個序列,記得重新測吞吐量;TTS 端點現在接受內建聲音名稱,GET /props 也會列出可用聲音。多節點 tensor parallel 官方說是初步支援,先放在測試機上就好。

小芽洞察

小芽把這則新聞和其他品牌比一比,再看真實應用的走向。會員免費閱讀。

免費登入閱讀 →

訂閱小芽週報

每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。

來源

閱讀官方原文:llama.cpp v0.9.0 release notes (GitHub) ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

本站相關頁面

更多新聞

所有新聞 →