執行環境與工具 發布日期：
vLLM v0.32 讓更多 GPU 支援 4-bit KV 快取，CORS 也不再預設開放所有來源
發生什麼事
vLLM v0.32.0 於 10 月 18 日發布，共 363 位貢獻者、814 個 commit。這一版把 NVFP4 KV 快取擴大到 SM8x、SM90 與 SM12x 的 GPU，ROCm 也多了 4-bit 的 `ultraquant_4bit` KV 快取，密度約是 FP8 的兩倍。`vllm download-kernels` 可直接安裝預先編譯好的 FlashInfer 核心，`vllm preload --preload-autotune` 則讓調校結果在重啟後保留，啟動更快；開多個 API 伺服器時，每條連線會分給負載最輕的那一個。新支援的模型包括 EmbeddingGemma 2、MiniCPM-V 4.7 與 Nemotron 3.5 ASR，同時修補三項安全通報、收緊預設 CORS 來源，並停止支援 Python 3.10。
對地端使用者的意義：4-bit KV 快取代表同一張顯示卡能放下更長的對話、或同時服務更多人；更嚴格的預設值也讓自架的 vLLM 伺服器一裝好就更安全。
三種角度看這則新聞
市場怎麼看
4-bit KV 快取擴及較舊的 SM8x 顯示卡與 AMD 的 ROCm，代表更多既有設備也能處理長上下文，這可能減緩「為了記憶體而換新 GPU」的壓力。AMD 使用者也拿到接近 NVIDIA 的功能，應該有助於 ROCm 成為實際可用的推論選擇。
白話版
AI 模型在對話時，會在顯示卡記憶體裡記下一份對話筆記；這次更新讓 vLLM 在更多種顯示卡上用更精簡的方式寫這份筆記。就像從寫完整句子改成速記，同一頁能塞進更多段對話。
業內觀點
啟用 NVFP4 或 `ultraquant_4bit` KV 快取前，先用自己的品質檢查測過，因為發行說明在別處也列出取捨（GLM-5.x 預設 FP8 KV 快取，在該 PR 的測試中 TTFT 增加 7-11%）。升級前請先離開 Python 3.10；若有瀏覽器直接呼叫 API，請明確設定 CORS 來源；接近上下文上限的提示也要重新檢查，因為 `max_tokens` 不再從上下文長度中預留。
訂閱小芽週報
每週一封：本週重點新聞與小芽洞察摘要。隨時可以取消。
來源
閱讀官方原文：vLLM v0.32.0 release notes (GitHub) ↗摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。