# vLLM v0.32 讓更多 GPU 支援 4-bit KV 快取，CORS 也不再預設開放所有來源

> 地端世界 · https://onpremworld.com/zh-tw/news/2026-10-vllm-v0-32-low-precision-kv-cache · CC BY 4.0

發布日期：2026-10-18 · 執行環境與工具

vLLM v0.32.0 於 10 月 18 日發布，共 363 位貢獻者、814 個 commit。這一版把 NVFP4 KV 快取擴大到 SM8x、SM90 與 SM12x 的 GPU，ROCm 也多了 4-bit 的 `ultraquant_4bit` KV 快取，密度約是 FP8 的兩倍。`vllm download-kernels` 可直接安裝預先編譯好的 FlashInfer 核心，`vllm preload --preload-autotune` 則讓調校結果在重啟後保留，啟動更快；開多個 API 伺服器時，每條連線會分給負載最輕的那一個。新支援的模型包括 EmbeddingGemma 2、MiniCPM-V 4.7 與 Nemotron 3.5 ASR，同時修補三項安全通報、收緊預設 CORS 來源，並停止支援 Python 3.10。

## 對地端使用者的意義

4-bit KV 快取代表同一張顯示卡能放下更長的對話、或同時服務更多人；更嚴格的預設值也讓自架的 vLLM 伺服器一裝好就更安全。

## 市場怎麼看

4-bit KV 快取擴及較舊的 SM8x 顯示卡與 AMD 的 ROCm，代表更多既有設備也能處理長上下文，這可能減緩「為了記憶體而換新 GPU」的壓力。AMD 使用者也拿到接近 NVIDIA 的功能，應該有助於 ROCm 成為實際可用的推論選擇。

## 白話版

AI 模型在對話時，會在顯示卡記憶體裡記下一份對話筆記；這次更新讓 vLLM 在更多種顯示卡上用更精簡的方式寫這份筆記。就像從寫完整句子改成速記，同一頁能塞進更多段對話。

## 業內觀點

啟用 NVFP4 或 `ultraquant_4bit` KV 快取前，先用自己的品質檢查測過，因為發行說明在別處也列出取捨（GLM-5.x 預設 FP8 KV 快取，在該 PR 的測試中 TTFT 增加 7-11%）。升級前請先離開 Python 3.10；若有瀏覽器直接呼叫 API，請明確設定 CORS 來源；接近上下文上限的提示也要重新檢查，因為 `max_tokens` 不再從上下文長度中預留。

## 來源

[vLLM v0.32.0 release notes (GitHub)](https://github.com/vllm-project/vllm/releases/tag/v0.32.0)

[所有新聞](https://onpremworld.com/zh-tw/news.md)

摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。