執行環境與工具 發布日期：
vLLM v0.33 停止提供 CUDA 12.9 版本、預設改用 ROCm 10.0，一台 DGX Spark 也放得下 Qwen3.8-Flash-Next
發生什麼事
vLLM v0.33.0 於 11 月 2 日發布，共 389 位貢獻者、927 個 commit。這一版的 wheel 與映像檔只提供 CUDA 13.0，並升級到 PyTorch 2.14。AMD 方面，預設映像檔與 wheel 改用 ROCm 10.0，ROCm 7.2 仍會繼續發布，新的 3-4 bit `ROCM_OCTAVE` KV 快取在 RX 7900 XTX 上能放下 fp16 的 4.6 倍 KV token；打包過的 NVFP4 嵌入讓 Qwen3.8-Flash-Next-NVFP4 能放進單台 DGX Spark，新支援的模型則有 Reflection Beam-1.0、Muse Spark Open、Recursive Flint 與 Step-5 Preview。Medusa、MLP speculator 與舊版 Ray compiled-graph 執行器都已移除。
對地端使用者的意義：還停在 CUDA 12.9 的環境必須先調整才能升級；AMD 使用者與只有一台 DGX Spark 的團隊，則能用手上的硬體跑更長的上下文或更大的模型。
三種角度看這則新聞
市場怎麼看
ROCm 10.0 成為預設，加上消費級 RX 7900 XTX 也能用的 3-4 bit KV 快取，應該有助於 AMD 在資料中心卡之外也成為實際可用的推論選擇。Qwen3.8-Flash-Next 能放進一台 DGX Spark，也可能讓不想買機櫃的團隊更容易接受小型桌上系統。
白話版
vLLM 是很多公司用來在自家顯示卡上提供 AI 服務的軟體。這次更新停止支援一套較舊的驅動工具，在 AMD 顯示卡上把模型的工作筆記收得更緊，也讓一個大模型能放進 NVIDIA 的小型桌上主機。就像重新整理行李箱，同一個箱子能裝更多東西。
業內觀點
先改用 CUDA 13.0 的版本，因為 `-cu129` 的 wheel 與映像檔已不再發布；有用 NIXL connector 的話，請確認版本在 1.5 以上。若依賴 Medusa、MLP speculator 或 Ray compiled-graph 執行器，要先找替代方案，也要處理生成暫停時請求會收到 HTTP 503 的情況。啟用 `ROCM_OCTAVE` 前先用自己的品質檢查測過；DeepSeek-V4.1-Flash 搭配 DSpark 在 GB300 上從 1373 提升到 3390 output tok/s 這類數字，只是單一 PR 的測試結果。
訂閱小芽週報
每週一封：本週重點新聞與小芽洞察摘要。隨時可以取消。
來源
閱讀官方原文：vLLM v0.33.0 release notes (GitHub) ↗摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。