地端 AI 新聞
開源模型、執行環境更新與硬體新品，凡是跟「在自己的機器上跑 AI」有關的消息都在這裡。每則都是我們自己寫的短摘要，說明對地端使用者的意義，並附上官方來源連結。
最新一則：2026 年 10 月 13 日 · RSS · JSON · Markdown
· 硬體
NVIDIA RTX Spark 筆電 10 月 16 日上市，統一記憶體最高 128 GB
NVIDIA 在 10 月 13 日宣布，首批 RTX Spark 筆電將於 10 月 16 日上市。RTX Spark 是為 Windows 11 電腦打造的單一超級晶片，結合最多 20 核的 Grace CPU 與 Blackwell RTX GPU，統一記憶體最高 128 GB，FP4 AI 運算效能最高 1 petaflop。NVIDIA 表示它能執行 1,200 億參數、上下文長達 100 萬 tokens 的模型，筆電品牌包括 ASUS、Dell、HP、Lenovo、Microsoft 與 MSI。同一篇公告也推出 Nemotron 3.5 Bolt，這是 74B 參數、啟用 9B 的 MoE 模型，以 2-bit 量化壓進 24 GB。
來源：NVIDIA Blog
· 硬體
AMD 新一代 Ryzen AI Halo：Ryzen AI Max+ PRO 495，統一記憶體最高 192 GB
AMD 在 10 月 12 日推出新一代 Ryzen AI Halo 開發者平台，採用 Ryzen AI Max+ PRO 495，具備 16 核 Zen 5 CPU、40 組 RDNA 3.5 GPU 運算單元，以及最高 192 GB 的 LPDDR5x 統一記憶體。其中最多 160 GB 可以分配給 GPU 當顯示記憶體，AMD 表示足以用 4-bit 量化執行 3,000 億參數以上的模型。整機附經過驗證的 ROCm 軟體環境，透過 Micro Center 販售，Windows 版本則標示為即將推出。
來源：AMD blog
· 執行環境與工具
Open WebUI 0.12：雙重驗證登入、可共同回覆的分享對話與即時語音
Open WebUI v0.12.0 讓管理員可以要求所有使用者綁定驗證器 App，並提供備援碼，裝置遺失時也能用命令列重設。分享的對話與資料夾現在可以開放回覆，多人能在同一段對話裡發言，並即時看到彼此的訊息。新的 Realtime 通話模式透過 OpenAI Realtime 語音模型對話，遇到正式問題再交給對話中選定的模型處理。這一版也修正了多個 Ollama 相關問題，例如透過 API 傳入的 `max_tokens` 現在會確實限制回覆長度。
· 執行環境與工具
Ollama 0.40.2 在背景升級舊模型，並暫時保留備份
Ollama v0.40.2 會在你第一次執行用舊版下載的模型時，於背景將它升級，讓模型在 llama.cpp 引擎上效能與相容性更好。為了讓降版仍然安全，原始檔案目前會留在磁碟上當備份，版本說明附有只刪除這些備份的指令。Ollama 表示之後的版本會自動清除備份。
· 模型
EmbeddingGemma 2：740M 多模態嵌入模型，適合地端搜尋與 RAG
Google DeepMind 在 10 月 6 日推出 EmbeddingGemma 2，這是採 Apache 2.0 授權的嵌入模型，能把文字、程式碼、圖片、音訊與影片放進同一個 768 維向量空間。只處理文字時只需載入 270M 參數的文字部分，視覺與音訊編碼器需要時才載入，全部合計 740M 參數。向量可以截短成 512、256 或 128 維以節省儲存空間，上下文長度為 8K tokens。Google 列出的支援環境包括 Ollama、LM Studio、llama.cpp、MLX 與 vLLM。
· 執行環境與工具
llama.cpp v0.6.0：支援 GLM-5.3-Flash、新增決策模型 API 與更快的 Metal 核心
llama.cpp 在 10 月 5 日發布 v0.6.0，這是每日建置之外的正式編號版本。新版支援 Z.ai 的 320B GLM-5.3-Flash 與 Clef 決策模型，為 Qwen4Exp 架構的模型加入多 token 預測推測解碼（在 DGX Spark 上解碼約快 1.5 倍），並在伺服器新增決策模型用的 /v1/systemone 端點。Apple GPU 方面，新增針對 F16 KV 快取的 flash attention 核心，以及在推測解碼與批次解碼時最多快約 3 倍的矩陣乘法核心。內建網頁介面也改版，圍繞 Hugging Face 模型下載重新設計。
· 執行環境與工具
vLLM v0.31 新增 `vllm preload` 快速重啟，並限制逐次請求的多模態參數
vLLM v0.31.0 新增 `vllm preload` 指令，啟動一個常駐程式把量化後的權重留在 GPU 記憶體中，重新啟動引擎時直接對應使用，不必再從磁碟載入。這一版也讓 Model Runner V2 支援草稿模型推測解碼，並繼續加速 DeepSeek-V4.1-Flash。基於安全考量，除非伺服器以 `--trust-request-mm-kwargs` 啟動，否則會拒絕逐次請求帶入的 `mm_processor_kwargs` 與 `media_io_kwargs`。
· 執行環境與工具
Ollama 0.35 新增決策模型：不寫文字，直接回傳選項與機率
Ollama v0.35.0 新增 /v1/systemone 端點，支援以 TypeSafe Jev API 為基礎的決策模型。這類模型不產生文章，而是從幾個選項中挑一個、判斷某個條件成立的機率，或依評分標準打分數，並附上每個答案的機率。首批模型是 Bespoke Labs 的 Nimble 與 Together AI 的 Tev1，適合工單分類、模型路由與內容分類等工作。
· 執行環境與工具
Ollama 0.40 起，Apple Silicon 上支援的模型預設改用 MLX 執行
從 v0.40.0 開始，只要是 MLX 引擎支援的模型架構，Ollama 在 Apple Silicon Mac 上都會自動改用 MLX 執行，`ollama run` 指令不必改。版本說明列出的模型包括 Qwen3.8、Gemma 4、Qwen3.6 與 Qwen3.5，並新增決策模型與 EmbeddingGemma 2 嵌入模型的 MLX 版本。Ollama 表示會持續測試並開放更多模型。
· 硬體
M6 Mac mini 與 M5 Ultra Mac Studio 開賣，起價 899 美元與 5,499 美元
Apple 新款 Mac mini 與 Mac Studio 在 9 月 22 日開賣。Mac mini 搭載 M6 的版本起價 899 美元（記憶體最高可選 32 GB），搭載 M5 Pro 的版本起價 1,699 美元（最高 64 GB）；Mac Studio 搭載 M5 Max 起價 2,499 美元（最高 128 GB），搭載 M5 Ultra 起價 5,499 美元。Apple 表示 512 GB 記憶體的 Mac Studio 要到 10 月下旬才推出。
· 執行環境與工具
Open WebUI 0.11.4：slim 映像檔瘦身到約 175 MB
Open WebUI v0.11.4 把 slim 容器映像檔縮小到約 175 MB，比前一版小了約 89%，做法是拿掉內建的地端模型與相關函式庫；標準映像檔也減少約 170 MB。slim 版沒有內建嵌入與重排序模型，知識庫需要改用 Ollama、OpenAI 或 Azure OpenAI 提供的嵌入。它也只能透過 PostgreSQL 搭配 pgvector 搜尋，沒有設定外部文件擷取服務時無法讀取 PDF 或 Office 檔案。
· 執行環境與工具
Ollama 0.34.1：MLX safetensors 匯入轉正，GGUF 轉換改用 llama.cpp 工具
Ollama v0.34.1 讓 `ollama create` 匯入 MLX safetensors 從實驗功能變成正式支援，並改善 Apple Silicon 上 MLX 的記憶體管理。同一版不再於 Ollama 內把 safetensors 轉成 GGUF，轉換與量化必須先用 llama.cpp 自己的工具完成。在大型模型庫上呼叫 /api/tags 也快了許多，Ollama 測試從 3.1 秒降到 294 毫秒。
· 模型
DeepSeek-V4.1-Flash：552B 多模態 MoE，KV 快取縮小到四分之一
DeepSeek 在 9 月 10 日推出 V4.1-Flash，權重以 MIT 授權公開在 Hugging Face。這是 552B 參數的混合專家（MoE）模型，原生支援圖片理解，讀取提示時每個 token 約啟用 8B 參數，生成時約 16B。新的因果編碼器－解碼器架構加上第二代壓縮稀疏注意力，讓每個 token 的 KV 快取只剩 V4-Flash 的四分之一左右，上下文最長可達一百萬 tokens。
· 執行環境與工具
vLLM v0.29 預設改用 Model Runner V2，V1 進入淘汰期
vLLM v0.29.0 讓所有模型預設改用 Model Runner V2，完成從 pooling 模型開始的逐步切換。專案已將 V1 視為棄用，預計在 v0.32 移除。這一版也把 `python -m vllm.entrypoints.openai.api_server` 的啟動方式標為棄用、改推 `vllm serve`，移除十種已棄用的模型架構，並新增 Qwen3.8-Flash-Next（BF16、FP8 與 NVFP4 權重）。
· 模型
Z.ai 開源 GLM-5.3-Flash：320B 多模態 MoE，每 token 啟用 18B，MIT 授權
Z.ai 在 8 月 26 日推出 GLM-5.3-Flash，是 GLM-5 系列第一款原生多模態模型，權重以 MIT 授權公開在 Hugging Face。總參數 320B，每個 token 啟用 18B，也是 GLM 首度混合稀疏注意力與線性注意力，以降低長上下文的運算成本。模型卡列出的執行方式包括 vLLM、SGLang、KTransformers 與 Unsloth。更大的 GLM-5.3 沿用 GLM-5.2 的基礎模型、靠後訓練提升能力，同樣公開權重，但採用另外的 GLM-5.3 授權。
· 模型
Qwen3.8-Flash-Next 搶先展示 Qwen4 架構：125B MoE，每 token 只啟用 6B
Qwen 團隊在 8 月 26 日推出 Qwen3.8-Flash-Next，定位是未來 Qwen4 架構的實驗性預覽版。語言模型本體為 125B 參數的混合專家（MoE）架構，每個 token 只啟用 6B，另外加上 51B 的 n-gram 嵌入表與 4B 的多 token 預測層，整個檢查點約 180B 參數。注意力層由 Gated DeltaNet 線性注意力與新的 Qwen 稀疏注意力（QSA）組成，後者以小區塊而非單一 token 為單位挑選上下文，原生上下文長度為 262,144 tokens。權重採用 Qwen Community License，可商用但附帶條件。
· 硬體
Apple 發表 M6 與 M5 Ultra：統一記憶體最高 512 GB、頻寬 1.2 TB/s
Apple 在 8 月 25 日發表兩款晶片：搭載於新款 Mac mini 的 M6，以及搭載於新款 Mac Studio 的 M5 Ultra。M5 Ultra 把兩顆雙晶粒的 M5 Max 接成 Apple 首款四晶粒設計，GPU 最多 80 核，統一記憶體最高 512 GB，記憶體頻寬最高 1.2 TB/s，比 M3 Ultra 高出 50%。M6 是 Apple 第一款 2 奈米晶片，記憶體最高 32 GB、頻寬最高 170 GB/s。Apple 表示 M5 Ultra 可以完全在本機執行數千億參數的語言模型。
· 執行環境與工具
Open WebUI 0.11.1：工具呼叫可以先經你核准再執行
Open WebUI v0.11.1 讓你把對話從「工具自由執行」切換成「先詢問」，模型想用工具時會停下來，等你逐一允許或拒絕。這項功能需要管理員開啟，你的選擇會記在該段對話中。這一版也新增內建工具，讓模型在繼續之前用最多三道選擇題向你確認，並重寫串流機制，每次更新只傳送新增的文字，而不是整段訊息。
· 執行環境與工具
Ollama 0.32.15 快取模型中繼資料，首個 token 等待時間約減半
Ollama v0.32.15 會在請求之間快取已解析的模型中繼資料，在 Ollama 的測試中，首個 token 的等待時間從約 995 毫秒降到約 524 毫秒。它也修正聊天與生成請求在串流途中遇到解析錯誤後可能卡住的問題，並一致處理出現在對話中段的 Qwen 3.8 系統訊息。首次使用桌面版的使用者會看到新的導覽流程。
· 模型
Qwen3.8-27B 開源：能看圖看影片的 27B 密集模型，Apache 2.0 授權
阿里巴巴 Qwen 團隊在 8 月 14 日釋出 Qwen3.8-27B，距離 2.4 兆參數的 Qwen3.8 旗艦模型只隔兩天，是這一代體積精簡的密集（dense）版本。它能理解文字、圖片與影片，預設開啟思考模式，也能逐次調整推理深度。64 層中只有 16 層是標準注意力，其餘都是 Gated DeltaNet 線性注意力，原生上下文長度為 262,144 tokens。Ollama 當天就以 qwen3.8:27b 上架。
摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。