執行環境與工具 發布日期：
llama.cpp v0.7.0 為卸載到主記憶體的 MoE 專家加上 GPU 快取，伺服器預設埠改為 9931
發生什麼事
llama.cpp v0.7.0 新增 `--moe-cache-mib`，把放在主記憶體裡、最近常用的 MoE 專家以 LRU 方式快取在 GPU 上；發行說明指出，在專家被卸載的情況下，生成速度最多可快約 2.2 倍，這個快取也能由多張 GPU 共用。這一版還加入 LiliCorr 推測解碼、GLM5-Next 的 MTP，並支援 Nemotron Super 3.5 VL、Nemotron Bolt 74B A9B、MiniCPM-V 4.7 與 EmbeddingGemma-2 等新模型。伺服器的預設埠從 8080 改成 9931，但 Docker 映像檔在容器內仍使用 8080。
對地端使用者的意義：如果 MoE 模型放不進你的顯示卡、必須把專家卸載到系統記憶體，這個快取能加快生成速度；但在 Docker 之外呼叫 8080 埠 llama-server 的程式，都得更新連線位址。
三種角度看這則新聞
市場怎麼看
在單張消費級或工作站顯示卡上，讓大型 MoE 模型溢出到系統記憶體是常見的折衷做法；卸載路徑變快之後，「中階顯示卡加大量記憶體」可能成為比直接買大卡更合理的選項。這也讓 llama.cpp 在面對假設整個模型都塞得進 GPU 記憶體的推論堆疊時，保持競爭力。
白話版
有些 AI 模型是由許多小專家組成的，顯示卡放不下時，多出來的專家就放在電腦的主記憶體裡等著。新版會把最常用到的專家留在顯示卡上，就像把最常用的工具放在桌上，而不是收進抽屜。
業內觀點
用 `--moe-cache-mib`（C API 為 `moe_cache_size`）設定快取大小，並用自己的提示詞實測生成速度，因為 2.2 倍是發行說明給的上限。升級前請先更新假設使用 8080 埠的腳本、反向代理與健康檢查；另外，伺服器的格式化聊天輸出現在是由多個部分組成的陣列，不再是單一字串。
訂閱小芽週報
每週一封：本週重點新聞與小芽洞察摘要。隨時可以取消。
來源
閱讀官方原文：llama.cpp v0.7.0 release notes (GitHub) ↗摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。