地端世界ONPREM WORLD

執行環境與工具 發布日期:

Ollama 0.32.15 快取模型中繼資料,首個 token 等待時間約減半

Ollama v0.32.15 會在請求之間快取已解析的模型中繼資料,在 Ollama 的測試中,首個 token 的等待時間從約 995 毫秒降到約 524 毫秒。它也修正聊天與生成請求在串流途中遇到解析錯誤後可能卡住的問題,並一致處理出現在對話中段的 Qwen 3.8 系統訊息。首次使用桌面版的使用者會看到新的導覽流程。

對地端使用者的意義

會送出大量短請求的程式代理與編輯器外掛最有感,每次省下半秒,長時間工作累積起來相當可觀。

來源

閱讀官方原文:Ollama v0.32.15 release notes (GitHub) ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

更多新聞

所有新聞 →