# llama.cpp v0.7.0 為卸載到主記憶體的 MoE 專家加上 GPU 快取，伺服器預設埠改為 9931

> 地端世界 · https://onpremworld.com/zh-tw/news/2026-10-llama-cpp-v0-7-0-moe-expert-cache · CC BY 4.0

發布日期：2026-10-15 · 執行環境與工具

llama.cpp v0.7.0 新增 `--moe-cache-mib`，把放在主記憶體裡、最近常用的 MoE 專家以 LRU 方式快取在 GPU 上；發行說明指出，在專家被卸載的情況下，生成速度最多可快約 2.2 倍，這個快取也能由多張 GPU 共用。這一版還加入 LiliCorr 推測解碼、GLM5-Next 的 MTP，並支援 Nemotron Super 3.5 VL、Nemotron Bolt 74B A9B、MiniCPM-V 4.7 與 EmbeddingGemma-2 等新模型。伺服器的預設埠從 8080 改成 9931，但 Docker 映像檔在容器內仍使用 8080。

## 對地端使用者的意義

如果 MoE 模型放不進你的顯示卡、必須把專家卸載到系統記憶體，這個快取能加快生成速度；但在 Docker 之外呼叫 8080 埠 llama-server 的程式，都得更新連線位址。

## 市場怎麼看

在單張消費級或工作站顯示卡上，讓大型 MoE 模型溢出到系統記憶體是常見的折衷做法；卸載路徑變快之後，「中階顯示卡加大量記憶體」可能成為比直接買大卡更合理的選項。這也讓 llama.cpp 在面對假設整個模型都塞得進 GPU 記憶體的推論堆疊時，保持競爭力。

## 白話版

有些 AI 模型是由許多小專家組成的，顯示卡放不下時，多出來的專家就放在電腦的主記憶體裡等著。新版會把最常用到的專家留在顯示卡上，就像把最常用的工具放在桌上，而不是收進抽屜。

## 業內觀點

用 `--moe-cache-mib`（C API 為 `moe_cache_size`）設定快取大小，並用自己的提示詞實測生成速度，因為 2.2 倍是發行說明給的上限。升級前請先更新假設使用 8080 埠的腳本、反向代理與健康檢查；另外，伺服器的格式化聊天輸出現在是由多個部分組成的陣列，不再是單一字串。

## 來源

[llama.cpp v0.7.0 release notes (GitHub)](https://github.com/ggml-org/llama.cpp/releases/tag/v0.7.0)

[所有新聞](https://onpremworld.com/zh-tw/news.md)

摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。