執行環境與工具 發布日期:
Ollama 0.40.9:Apple Silicon 可在本機文字轉語音,新增 d3 判斷模型,Flint 也能在 Linux 與 Windows 上跑

發生什麼事
10 月 22 日推出的 Ollama v0.40.9 可以在 Apple Silicon 上用 Phonon 模型產生語音:`ollama run` 會一邊生成一邊把文字或聊天模型的回答念出來,應用程式也能透過相容 OpenAI 的 `/v1/audio/speech` 端點串流音訊。預設的 Phonon 使用 Gradium 的 31M 參數英文模型,每次請求最多 4,096 個字元,輸出 24 kHz 單聲道的 WAV 或 PCM。這一版也加入 d3:來自 vLLM Semantic Router、以 Apache 2.0 授權的判斷模型,有 2B、4B、9B、27B 四種大小,可以根據文字、結構化狀態或一張靜態圖片做分類、回答是或否,或替選項打出機率分數。在 0.40.8 只支援 macOS 的 Recursive Flint 程式碼模型,現在也能在 Linux 與 Windows 上執行。
對地端使用者的意義:語音輸出和「是或否」的分流判斷,過去多半得呼叫雲端 API;現在兩者都能在你本來就拿來聊天的本機伺服器上完成。
三種角度看這則新聞
市場怎麼看
語音走的是相容 OpenAI 的端點,原本為雲端文字轉語音寫的應用程式,可能只要改個網址就能改用桌上那台 Mac,這很可能讓 Ollama 從「跑聊天模型的工具」變成更全面的本機 AI 伺服器。d3 這類小型判斷模型也透露出一個趨勢:把每個請求分派給能處理它的最便宜模型。
白話版
Ollama 是在自己電腦上跑 AI 的免費工具,現在在 Apple Silicon 的 Mac 上可以直接把回答念出來,文字完全不用傳到外面。它也多了一系列小模型,專門回答像「這是不是帳單客訴?」這種只需要是、否或分數的問題。
業內觀點
Phonon 預設模型只支援英文,輸出格式只有 24 kHz 的 `wav` 或 `pcm`;其他格式、語速或 `instructions` 參數會回傳 400 錯誤,換掉雲端語音前先確認你的客戶端。Ollama 建議 d3 的 2B、4B、9B、27B 分別搭配 8、16、32、64 GB 的系統記憶體,套件使用 4,096 個 token 的上下文;要拿它當大模型前面的分流器之前,先用自己標註好的資料測一測。
訂閱小芽週報
每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。
來源
閱讀官方原文:Ollama v0.40.9 release notes (GitHub) ↗摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。