# vLLM v0.34 依實際剩餘記憶體配置 KV 快取、移除 Model Runner V1，並支援 Mistral Large 4

> 地端世界 · https://onpremworld.com/zh-tw/news/2026-11-vllm-v0-34-extensible-kv-cache · CC BY 4.0

發布日期：2026-11-16 · 執行環境與工具

vLLM v0.34.0 共有 412 位貢獻者、1,061 個 commit，這一版預設啟用「可延伸 KV 快取」：快取大小改以暖機後顯示卡實際剩下的記憶體來計算，`gpu_memory_utilization` 預設值也變成 1.0。發布說明舉的例子是 H200 上的 MiniMax-M3，可快取的 token 從 433k 增加到 672k。Model Runner V1 已移除，預設 block size 從 16 改為 64，不再發布 ROCm 7.2 映像檔，並要求 `huggingface_hub` 2.0.0 以上。新支援 10 個模型，包括 Mistral Large 4（總參數 1T、啟用 52B，提供 FP8 與 NVFP4）、MiniMax-M3.1-Flash、30B-A4B 的語音模型 Nemotron-3.5-Transcribe，以及 Ricursive Ripple-65B Preview。

## 對地端使用者的意義

多數部署不用改設定就能得到更大的 KV 快取與更高吞吐量；但這一版同時改了好幾個預設值，依賴 Model Runner V1、block size 16、ROCm 7.2 或 `fp_quant` 權重檔的環境，升級後會直接出問題。

## 市場怎麼看

同一張卡擠出更多快取空間，是降低自架模型「每位使用者成本」的低調方法，對採購方來說可能比任何單一新模型更重要。vLLM 支援 Mistral Large 4 在 NVIDIA Blackwell、Hopper 與 AMD MI350 上跑，也讓 AMD 在超大型開放模型這塊持續有競爭力。

## 白話版

vLLM 是很多公司用自家顯示卡、同時服務許多人的 AI 軟體。這一版會在模型載入後，實際量一下還剩多少記憶體，再全部拿來當模型的短期記憶，而不是先用估的、留下一部分沒用到。就像書都放好之後再看書架剩多少空間，而不是事先猜。

## 業內觀點

升級前請先拿掉 `VLLM_USE_V2_MODEL_RUNNER=0`、決定要不要固定 `--block-size 16`，AMD 主機則改用 ROCm 10.0 的 wheel 或映像檔。若顯示卡還要分給其他程式用，或你最在意每個 token 的延遲，請用 `--gpu-memory-utilization 0.9` 或 `--no-enable-extensible-kv-cache` 測試，因為發布說明提到部分 H200 模型在 128 併發下 TPOT 會增加 6–18%。`fp_quant` 權重檔已無法載入，使用 Marlin W4A8 的人要改用 `--quantization humming`；RDNA3 與 RDNA4 顯示卡的預設 attention 後端則改為 TRITON_ATTN。

## 來源

[vLLM v0.34.0 release notes (GitHub)](https://github.com/vllm-project/vllm/releases/tag/v0.34.0)

## 本站相關頁面

- 硬體：[Radeon RX 7900 XTX](https://onpremworld.com/zh-tw/hardware/amd-rx-7900-xtx.md)

[所有新聞](https://onpremworld.com/zh-tw/news.md)

摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。
