執行環境與工具 發布日期:
llama.cpp 推出 v1.0.0:改用語意化版本,加入 FP8 KV 快取與 MoE 專家快取

發生什麼事
llama.cpp 與底層的 ggml 函式庫在 11 月 13 日雙雙推出 1.0.0 版,之後只要公開 C API 有不相容的改動,就會升主版號。這一版移除 35 個已棄用的函式,新增 FP8(E4M3)格式的 KV 快取,並加入把 MoE 專家放在主機記憶體的快取機制,可以設定要留多少比例給 CPU 計算。新支援 Kimi-K3.1-Pro、Ripple、xing4_0 三種文字模型架構,以及 drama-3 文字轉語音、Kimi-K3.1 與 MageVL-Cowork 的視覺功能。`llama-server` 修補了 CORS、DNS rebinding 與 SSRF 等安全問題,新增相容 OpenAI 的 `/v1/audio/speech` 端點,網頁介面也改版,可以把對話分組。
對地端使用者的意義:許多本機 AI 工具底層用的推論引擎,現在承諾穩定的版本規則;FP8 KV 快取和 MoE 專家快取,目標是讓現有的記憶體放得下更長的上下文和更大的 MoE 模型。
三種角度看這則新聞
市場怎麼看
掛上 1.0 並承諾語意化版本,讓需要可預期升級流程的企業更容易採用 llama.cpp,受惠最多的可能是建立在它之上的各種應用。官方公告也列出 NVIDIA、AMD、Qualcomm、Arm、IBM 與 Intel 提供硬體支援,顯示晶片廠已把它當成值得投入的平台。
白話版
llama.cpp 是很多「在自己電腦上跑 AI」的工具背後用的免費引擎。1.0 版算是正式成年:之後升級比較不會突然壞掉,同一台電腦也能塞進更大的模型。
業內觀點
長上下文可以試試 `-ctk f8_e4m3 -ctv f8_e4m3` 來省下 KV 快取的記憶體;MoE 專家塞不進顯示卡記憶體時,可以用新的 `moe_cache_size`、`moe_cache_cpu_share` 參數,但請先用自己的提示詞量測品質與速度。直接連結 `libllama` 的程式需要改寫:35 個已棄用函式、`llama_set_warmup` 與 `--defrag-thold` 都已移除,`clip.h` 也併入 `mtmd`。如果 `llama-server` 開放在網路上,留意新增的 `--allow-unauthenticated-tools` 與 `--media-allow-private-urls` 兩個需主動開啟的選項。
訂閱小芽週報
每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。
來源
閱讀官方原文:llama.cpp v1.0.0 release notes (GitHub) ↗摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。