執行環境與工具 發布日期:
vLLM v0.31 新增 `vllm preload` 快速重啟,並限制逐次請求的多模態參數
vLLM v0.31.0 新增 `vllm preload` 指令,啟動一個常駐程式把量化後的權重留在 GPU 記憶體中,重新啟動引擎時直接對應使用,不必再從磁碟載入。這一版也讓 Model Runner V2 支援草稿模型推測解碼,並繼續加速 DeepSeek-V4.1-Flash。基於安全考量,除非伺服器以 `--trust-request-mm-kwargs` 啟動,否則會拒絕逐次請求帶入的 `mm_processor_kwargs` 與 `media_io_kwargs`。
對地端使用者的意義
為了改設定而重啟本機的 vLLM 伺服器,不必再等權重重新載入;但會在請求中帶多模態參數的用戶端,在你明確開啟之前會收到錯誤。
來源
閱讀官方原文:vLLM v0.31.0 release notes (GitHub) ↗摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。