執行環境與工具發布日期：2026 年 10 月 28 日

llama.cpp v0.8.0 伺服器加入即時語音與文字轉語音端點，並支援 LFM3

發生什麼事

llama.cpp v0.8.0 於 10 月 28 日釋出，新增依照 OpenAI realtime 協定實作的 `/v1/realtime` 端點，可做即時對話與語音轉文字，另有給文字轉語音模型用的 `POST /tts` 端點，以及實驗性的串流音訊 API。這一版支援 Liquid AI 的 LFM3 系列，其中 LFM3-Audio-2B 與 LFM3-Omni-2B 用單一模型就能做語音辨識、語音輸出和語音對話；另外也支援 DeepSeek V4.1 Flash、Muse Spark Open、Flint 等新架構。放在主記憶體裡的 MoE 專家改用 50/50 的 SLRU 快取，取代單純的 LRU；內建網頁介面也能直接瀏覽、下載 Hugging Face 上的模型，並搜尋、壓縮對話紀錄。

對地端使用者的意義：能聽也能回話的本機語音助理，現在用一套開源伺服器、搭配 OpenAI 風格的 realtime API 就能跑起來，音訊不必送上雲端。

三種角度看這則新聞

市場怎麼看

即時語音過去大多是雲端 API 才有的功能；llama.cpp 提供相容 OpenAI 的 realtime 端點後，應用開發者在雲端與本機後端之間切換可能會更容易。這也可能拉高其他尚未支援語音輸入輸出的本機推論工具所面對的門檻。

白話版

最多人使用的免費本機 AI 程式之一，現在可以用說的跟它對話：你講話、它聽，然後直接用聲音回答。整個過程都在自己的電腦上完成，就像一台不會把資料傳回總部的智慧音箱。

業內觀點

可以把現有的 OpenAI realtime 用戶端指向 `/v1/realtime`，在自己的硬體上用 LFM3-Audio-2B 或 LFM3-Omni-2B 測試延遲與輪流說話的表現；串流音訊 API 目前標示為實驗性質。升級前請留意：命令列工具現在必須指定 `--model` 或 `-hf`，`stepfun` 與 `laguna` 模型的張量平行也擴充到 4 至 10 張 GPU。