# llama.cpp v0.9.0 加入 FP8 量化、支援 Mistral Large 4，多人同時使用的 KV 快取也更有效率

> 地端世界 · https://onpremworld.com/zh-tw/news/2026-11-llama-cpp-v0-9-0-fp8 · CC BY 4.0

發布日期：2026-11-04 · 執行環境與工具

llama.cpp v0.9.0 於 11 月 4 日發布，新增 OCP FP8 E4M3 量化格式，以及一個新的 flash attention 運算，讓多個對話同時進行時，統一 KV 快取也能有效率地運作。這一版支援 Clover、Limite、Metis-1.6 與 Mistral Large 4 四種新架構，加入 Chatterbox 文字轉語音、可離線轉錄 40 種語言的 Nemotron 3.5 Transcribe，以及 Pocket TTS 的內建聲音。Gemma 4 E2B 與 E4B 的提示處理大幅加速，內附的 ggml v0.29.0 也初步支援透過 NCCL 的多節點 tensor parallel。

## 對地端使用者的意義

多人共用一台 llama.cpp 伺服器的團隊，KV 快取會更有效率；Mistral Large 4 與 Nemotron 3.5 Transcribe 也能在最常見的本地執行環境上跑了。

## 市場怎麼看

加入 FP8 與初步的多節點 tensor parallel，可能讓 llama.cpp 更往 vLLM、SGLang 的地盤靠近，也就是共用伺服器與超大型模型。對偏好 llama.cpp 單一執行檔、不想架整套推論服務的小團隊來說，這可能最有感。

## 白話版

llama.cpp 是很多在自己電腦上跑 AI 的軟體背後的免費引擎。這次更新讓它同時服務好幾個人時更順，能跑幾個新模型，也能離線把 40 種語言的會議錄音轉成文字，並用內建的聲音說話。

## 業內觀點

要改用新的 F8_E4M3 格式前，先用自己的提示和目前的 Q8_0 版本比較，因為發行說明沒有給品質或速度數字。如果你用統一 KV 快取同時服務多個序列，記得重新測吞吐量；TTS 端點現在接受內建聲音名稱，GET /props 也會列出可用聲音。多節點 tensor parallel 官方說是初步支援，先放在測試機上就好。

## 來源

[llama.cpp v0.9.0 release notes (GitHub)](https://github.com/ggml-org/llama.cpp/releases/tag/v0.9.0)

## 本站相關頁面

- 模型：[Gemma 4 E4B IT](https://onpremworld.com/zh-tw/models/gemma-4-e4b.md)

[所有新聞](https://onpremworld.com/zh-tw/news.md)

摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。
