# vLLM v0.33 停止提供 CUDA 12.9 版本、預設改用 ROCm 10.0，一台 DGX Spark 也放得下 Qwen3.8-Flash-Next

> 地端世界 · https://onpremworld.com/zh-tw/news/2026-11-vllm-v0-33-cuda-12-9-dropped · CC BY 4.0

發布日期：2026-11-02 · 執行環境與工具

vLLM v0.33.0 於 11 月 2 日發布，共 389 位貢獻者、927 個 commit。這一版的 wheel 與映像檔只提供 CUDA 13.0，並升級到 PyTorch 2.14。AMD 方面，預設映像檔與 wheel 改用 ROCm 10.0，ROCm 7.2 仍會繼續發布，新的 3-4 bit `ROCM_OCTAVE` KV 快取在 RX 7900 XTX 上能放下 fp16 的 4.6 倍 KV token；打包過的 NVFP4 嵌入讓 Qwen3.8-Flash-Next-NVFP4 能放進單台 DGX Spark，新支援的模型則有 Reflection Beam-1.0、Muse Spark Open、Recursive Flint 與 Step-5 Preview。Medusa、MLP speculator 與舊版 Ray compiled-graph 執行器都已移除。

## 對地端使用者的意義

還停在 CUDA 12.9 的環境必須先調整才能升級；AMD 使用者與只有一台 DGX Spark 的團隊，則能用手上的硬體跑更長的上下文或更大的模型。

## 市場怎麼看

ROCm 10.0 成為預設，加上消費級 RX 7900 XTX 也能用的 3-4 bit KV 快取，應該有助於 AMD 在資料中心卡之外也成為實際可用的推論選擇。Qwen3.8-Flash-Next 能放進一台 DGX Spark，也可能讓不想買機櫃的團隊更容易接受小型桌上系統。

## 白話版

vLLM 是很多公司用來在自家顯示卡上提供 AI 服務的軟體。這次更新停止支援一套較舊的驅動工具，在 AMD 顯示卡上把模型的工作筆記收得更緊，也讓一個大模型能放進 NVIDIA 的小型桌上主機。就像重新整理行李箱，同一個箱子能裝更多東西。

## 業內觀點

先改用 CUDA 13.0 的版本，因為 `-cu129` 的 wheel 與映像檔已不再發布；有用 NIXL connector 的話，請確認版本在 1.5 以上。若依賴 Medusa、MLP speculator 或 Ray compiled-graph 執行器，要先找替代方案，也要處理生成暫停時請求會收到 HTTP 503 的情況。啟用 `ROCM_OCTAVE` 前先用自己的品質檢查測過；DeepSeek-V4.1-Flash 搭配 DSpark 在 GB300 上從 1373 提升到 3390 output tok/s 這類數字，只是單一 PR 的測試結果。

## 來源

[vLLM v0.33.0 release notes (GitHub)](https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3)

## 本站相關頁面

- 模型：[Qwen3.8-Flash-Next](https://onpremworld.com/zh-tw/models/qwen3.8-flash-next.md)
- 硬體：[DGX Spark](https://onpremworld.com/zh-tw/hardware/nvidia-dgx-spark.md)
- 硬體：[Radeon RX 7900 XTX](https://onpremworld.com/zh-tw/hardware/amd-rx-7900-xtx.md)

[所有新聞](https://onpremworld.com/zh-tw/news.md)

摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。