地端世界ONPREM WORLD

執行環境與工具 發布日期:

Ollama 0.34.1:MLX safetensors 匯入轉正,GGUF 轉換改用 llama.cpp 工具

Ollama v0.34.1 讓 `ollama create` 匯入 MLX safetensors 從實驗功能變成正式支援,並改善 Apple Silicon 上 MLX 的記憶體管理。同一版不再於 Ollama 內把 safetensors 轉成 GGUF,轉換與量化必須先用 llama.cpp 自己的工具完成。在大型模型庫上呼叫 /api/tags 也快了許多,Ollama 測試從 3.1 秒降到 294 毫秒。

對地端使用者的意義

如果你的腳本用 `ollama create` 把 safetensors 量化成 GGUF,現在得先加一道 llama.cpp 轉換步驟;Mac 使用者則可以直接匯入 MLX safetensors。

來源

閱讀官方原文:Ollama v0.34.1 release notes (GitHub) ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

更多新聞

所有新聞 →