執行環境與工具 發布日期:
vLLM v0.34 依實際剩餘記憶體配置 KV 快取、移除 Model Runner V1,並支援 Mistral Large 4

發生什麼事
vLLM v0.34.0 共有 412 位貢獻者、1,061 個 commit,這一版預設啟用「可延伸 KV 快取」:快取大小改以暖機後顯示卡實際剩下的記憶體來計算,`gpu_memory_utilization` 預設值也變成 1.0。發布說明舉的例子是 H200 上的 MiniMax-M3,可快取的 token 從 433k 增加到 672k。Model Runner V1 已移除,預設 block size 從 16 改為 64,不再發布 ROCm 7.2 映像檔,並要求 `huggingface_hub` 2.0.0 以上。新支援 10 個模型,包括 Mistral Large 4(總參數 1T、啟用 52B,提供 FP8 與 NVFP4)、MiniMax-M3.1-Flash、30B-A4B 的語音模型 Nemotron-3.5-Transcribe,以及 Ricursive Ripple-65B Preview。
對地端使用者的意義:多數部署不用改設定就能得到更大的 KV 快取與更高吞吐量;但這一版同時改了好幾個預設值,依賴 Model Runner V1、block size 16、ROCm 7.2 或 `fp_quant` 權重檔的環境,升級後會直接出問題。
三種角度看這則新聞
市場怎麼看
同一張卡擠出更多快取空間,是降低自架模型「每位使用者成本」的低調方法,對採購方來說可能比任何單一新模型更重要。vLLM 支援 Mistral Large 4 在 NVIDIA Blackwell、Hopper 與 AMD MI350 上跑,也讓 AMD 在超大型開放模型這塊持續有競爭力。
白話版
vLLM 是很多公司用自家顯示卡、同時服務許多人的 AI 軟體。這一版會在模型載入後,實際量一下還剩多少記憶體,再全部拿來當模型的短期記憶,而不是先用估的、留下一部分沒用到。就像書都放好之後再看書架剩多少空間,而不是事先猜。
業內觀點
升級前請先拿掉 `VLLM_USE_V2_MODEL_RUNNER=0`、決定要不要固定 `--block-size 16`,AMD 主機則改用 ROCm 10.0 的 wheel 或映像檔。若顯示卡還要分給其他程式用,或你最在意每個 token 的延遲,請用 `--gpu-memory-utilization 0.9` 或 `--no-enable-extensible-kv-cache` 測試,因為發布說明提到部分 H200 模型在 128 併發下 TPOT 會增加 6–18%。`fp_quant` 權重檔已無法載入,使用 Marlin W4A8 的人要改用 `--quantization humming`;RDNA3 與 RDNA4 顯示卡的預設 attention 後端則改為 TRITON_ATTN。
訂閱小芽週報
每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。
來源
閱讀官方原文:vLLM v0.34.0 release notes (GitHub) ↗摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。