地端世界ONPREM WORLD

執行環境與工具 發布日期:

llama.cpp v0.6.0:支援 GLM-5.3-Flash、新增決策模型 API 與更快的 Metal 核心

llama.cpp 在 10 月 5 日發布 v0.6.0,這是每日建置之外的正式編號版本。新版支援 Z.ai 的 320B GLM-5.3-Flash 與 Clef 決策模型,為 Qwen4Exp 架構的模型加入多 token 預測推測解碼(在 DGX Spark 上解碼約快 1.5 倍),並在伺服器新增決策模型用的 /v1/systemone 端點。Apple GPU 方面,新增針對 F16 KV 快取的 flash attention 核心,以及在推測解碼與批次解碼時最多快約 3 倍的矩陣乘法核心。內建網頁介面也改版,圍繞 Hugging Face 模型下載重新設計。

對地端使用者的意義

Qwen3.8-Flash-Next(屬於 Qwen4Exp 架構)與 GLM-5.3-Flash 現在都能以 GGUF 檔執行,內建 llama.cpp 的應用程式更新後也會跟著受惠。

來源

閱讀官方原文:llama.cpp v0.6.0 release notes (GitHub) ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

本站相關頁面

更多新聞

所有新聞 →