# 地端 AI 新聞

> 地端世界 · https://onpremworld.com/zh-tw/news · 最新一則：2026-10-13 · CC BY 4.0

開源模型、執行環境更新與硬體新品，凡是跟「在自己的機器上跑 AI」有關的消息都在這裡。每則都是我們自己寫的短摘要，說明對地端使用者的意義，並附上官方來源連結。

RSS: https://onpremworld.com/zh-tw/feed.xml · JSON: https://onpremworld.com/api/v1/news

## [NVIDIA RTX Spark 筆電 10 月 16 日上市，統一記憶體最高 128 GB](https://onpremworld.com/zh-tw/news/2026-10-nvidia-rtx-spark-laptops.md)

2026-10-13 · 硬體

NVIDIA 在 10 月 13 日宣布，首批 RTX Spark 筆電將於 10 月 16 日上市。RTX Spark 是為 Windows 11 電腦打造的單一超級晶片，結合最多 20 核的 Grace CPU 與 Blackwell RTX GPU，統一記憶體最高 128 GB，FP4 AI 運算效能最高 1 petaflop。NVIDIA 表示它能執行 1,200 億參數、上下文長達 100 萬 tokens 的模型，筆電品牌包括 ASUS、Dell、HP、Lenovo、Microsoft 與 MSI。同一篇公告也推出 Nemotron 3.5 Bolt，這是 74B 參數、啟用 9B 的 MoE 模型，以 2-bit 量化壓進 24 GB。

**對地端使用者的意義：** 這等於把 DGX Spark 等級的記憶體容量放進筆電，但 NVIDIA 移植指南列出的頻寬約 300 GB/s，生成速度會接近 DGX Spark 與 Ryzen AI Max 系統，而不是桌上型 RTX 顯示卡。

來源：[NVIDIA Blog](https://blogs.nvidia.com/blog/local-ai-rtx-spark-laptops-software-updates/)

## [AMD 新一代 Ryzen AI Halo：Ryzen AI Max+ PRO 495，統一記憶體最高 192 GB](https://onpremworld.com/zh-tw/news/2026-10-amd-ryzen-ai-halo-max-plus-pro-495.md)

2026-10-12 · 硬體

AMD 在 10 月 12 日推出新一代 Ryzen AI Halo 開發者平台，採用 Ryzen AI Max+ PRO 495，具備 16 核 Zen 5 CPU、40 組 RDNA 3.5 GPU 運算單元，以及最高 192 GB 的 LPDDR5x 統一記憶體。其中最多 160 GB 可以分配給 GPU 當顯示記憶體，AMD 表示足以用 4-bit 量化執行 3,000 億參數以上的模型。整機附經過驗證的 ROCm 軟體環境，透過 Micro Center 販售，Windows 版本則標示為即將推出。

**對地端使用者的意義：** 比上一代 Ryzen AI Max+ 395 的 128 GB 上限多出 64 GB，但記憶體頻寬約 273 GB/s，大型密集模型生成速度會偏慢；啟用參數少的 MoE 模型最能發揮它的優勢。

來源：[AMD blog](https://www.amd.com/en/blogs/2026/meet-the-next-amd-ryzen-ai-halo.html)

## [Open WebUI 0.12：雙重驗證登入、可共同回覆的分享對話與即時語音](https://onpremworld.com/zh-tw/news/2026-10-open-webui-0-12-two-factor-realtime-voice.md)

2026-10-10 · 執行環境與工具

Open WebUI v0.12.0 讓管理員可以要求所有使用者綁定驗證器 App，並提供備援碼，裝置遺失時也能用命令列重設。分享的對話與資料夾現在可以開放回覆，多人能在同一段對話裡發言，並即時看到彼此的訊息。新的 Realtime 通話模式透過 OpenAI Realtime 語音模型對話，遇到正式問題再交給對話中選定的模型處理。這一版也修正了多個 Ollama 相關問題，例如透過 API 傳入的 `max_tokens` 現在會確實限制回覆長度。

**對地端使用者的意義：** 如果你的 Open WebUI 可以從本機以外連線，雙重驗證登入就很重要；請注意 Realtime 語音通話走的是 OpenAI 雲端，而不是地端模型。

來源：[Open WebUI v0.12.0 release notes (GitHub)](https://github.com/open-webui/open-webui/releases/tag/v0.12.0)

## [Ollama 0.40.2 在背景升級舊模型，並暫時保留備份](https://onpremworld.com/zh-tw/news/2026-10-ollama-0-40-2-background-model-upgrades.md)

2026-10-08 · 執行環境與工具

Ollama v0.40.2 會在你第一次執行用舊版下載的模型時，於背景將它升級，讓模型在 llama.cpp 引擎上效能與相容性更好。為了讓降版仍然安全，原始檔案目前會留在磁碟上當備份，版本說明附有只刪除這些備份的指令。Ollama 表示之後的版本會自動清除備份。

**對地端使用者的意義：** 升級後的模型暫時會佔用兩份磁碟空間，模型庫一大就很可觀；如果刪掉備份後又降回 0.40 以前的版本，就得重新下載那些模型。

來源：[Ollama v0.40.2 release notes (GitHub)](https://github.com/ollama/ollama/releases/tag/v0.40.2)

## [EmbeddingGemma 2：740M 多模態嵌入模型，適合地端搜尋與 RAG](https://onpremworld.com/zh-tw/news/2026-10-embeddinggemma-2.md)

2026-10-06 · 模型

Google DeepMind 在 10 月 6 日推出 EmbeddingGemma 2，這是採 Apache 2.0 授權的嵌入模型，能把文字、程式碼、圖片、音訊與影片放進同一個 768 維向量空間。只處理文字時只需載入 270M 參數的文字部分，視覺與音訊編碼器需要時才載入，全部合計 740M 參數。向量可以截短成 512、256 或 128 維以節省儲存空間，上下文長度為 8K tokens。Google 列出的支援環境包括 Ollama、LM Studio、llama.cpp、MLX 與 vLLM。

**對地端使用者的意義：** 模型小到幾乎任何電腦都能和聊天模型一起跑，完全地端的 RAG 也能用同一個模型搜尋照片、錄音與文件，不必把資料送到雲端嵌入 API。

來源：[Google blog: EmbeddingGemma 2](https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2)

## [llama.cpp v0.6.0：支援 GLM-5.3-Flash、新增決策模型 API 與更快的 Metal 核心](https://onpremworld.com/zh-tw/news/2026-10-llama-cpp-v0-6-0.md)

2026-10-05 · 執行環境與工具

llama.cpp 在 10 月 5 日發布 v0.6.0，這是每日建置之外的正式編號版本。新版支援 Z.ai 的 320B GLM-5.3-Flash 與 Clef 決策模型，為 Qwen4Exp 架構的模型加入多 token 預測推測解碼（在 DGX Spark 上解碼約快 1.5 倍），並在伺服器新增決策模型用的 /v1/systemone 端點。Apple GPU 方面，新增針對 F16 KV 快取的 flash attention 核心，以及在推測解碼與批次解碼時最多快約 3 倍的矩陣乘法核心。內建網頁介面也改版，圍繞 Hugging Face 模型下載重新設計。

**對地端使用者的意義：** Qwen3.8-Flash-Next（屬於 Qwen4Exp 架構）與 GLM-5.3-Flash 現在都能以 GGUF 檔執行，內建 llama.cpp 的應用程式更新後也會跟著受惠。

來源：[llama.cpp v0.6.0 release notes (GitHub)](https://github.com/ggml-org/llama.cpp/releases/tag/v0.6.0)

## [vLLM v0.31 新增 `vllm preload` 快速重啟，並限制逐次請求的多模態參數](https://onpremworld.com/zh-tw/news/2026-10-vllm-v0-31-preload.md)

2026-10-05 · 執行環境與工具

vLLM v0.31.0 新增 `vllm preload` 指令，啟動一個常駐程式把量化後的權重留在 GPU 記憶體中，重新啟動引擎時直接對應使用，不必再從磁碟載入。這一版也讓 Model Runner V2 支援草稿模型推測解碼，並繼續加速 DeepSeek-V4.1-Flash。基於安全考量，除非伺服器以 `--trust-request-mm-kwargs` 啟動，否則會拒絕逐次請求帶入的 `mm_processor_kwargs` 與 `media_io_kwargs`。

**對地端使用者的意義：** 為了改設定而重啟本機的 vLLM 伺服器，不必再等權重重新載入；但會在請求中帶多模態參數的用戶端，在你明確開啟之前會收到錯誤。

來源：[vLLM v0.31.0 release notes (GitHub)](https://github.com/vllm-project/vllm/releases/tag/v0.31.0)

## [Ollama 0.35 新增決策模型：不寫文字，直接回傳選項與機率](https://onpremworld.com/zh-tw/news/2026-09-ollama-0-35-decision-models.md)

2026-09-28 · 執行環境與工具

Ollama v0.35.0 新增 /v1/systemone 端點，支援以 TypeSafe Jev API 為基礎的決策模型。這類模型不產生文章，而是從幾個選項中挑一個、判斷某個條件成立的機率，或依評分標準打分數，並附上每個答案的機率。首批模型是 Bespoke Labs 的 Nimble 與 Together AI 的 Tev1，適合工單分類、模型路由與內容分類等工作。

**對地端使用者的意義：** 過去要靠聊天模型加上脆弱的輸出解析才能做的分類與路由工作，現在可以交給小型的地端模型，直接拿到結構化的標籤與機率。

來源：[Ollama v0.35.0 release notes (GitHub)](https://github.com/ollama/ollama/releases/tag/v0.35.0)

## [Ollama 0.40 起，Apple Silicon 上支援的模型預設改用 MLX 執行](https://onpremworld.com/zh-tw/news/2026-09-ollama-0-40-mlx-default-apple-silicon.md)

2026-09-25 · 執行環境與工具

從 v0.40.0 開始，只要是 MLX 引擎支援的模型架構，Ollama 在 Apple Silicon Mac 上都會自動改用 MLX 執行，`ollama run` 指令不必改。版本說明列出的模型包括 Qwen3.8、Gemma 4、Qwen3.6 與 Qwen3.5，並新增決策模型與 EmbeddingGemma 2 嵌入模型的 MLX 版本。Ollama 表示會持續測試並開放更多模型。

**對地端使用者的意義：** Mac 使用者不必換指令，就能用上 Apple 自家的機器學習框架；不在 MLX 清單上的模型照舊執行。更新後若模型表現不同，可以先從這個切換查起。

來源：[Ollama v0.40.0 release notes (GitHub)](https://github.com/ollama/ollama/releases/tag/v0.40.0)

## [M6 Mac mini 與 M5 Ultra Mac Studio 開賣，起價 899 美元與 5,499 美元](https://onpremworld.com/zh-tw/news/2026-09-mac-mini-m6-mac-studio-m5-ultra-on-sale.md)

2026-09-22 · 硬體

Apple 新款 Mac mini 與 Mac Studio 在 9 月 22 日開賣。Mac mini 搭載 M6 的版本起價 899 美元（記憶體最高可選 32 GB），搭載 M5 Pro 的版本起價 1,699 美元（最高 64 GB）；Mac Studio 搭載 M5 Max 起價 2,499 美元（最高 128 GB），搭載 M5 Ultra 起價 5,499 美元。Apple 表示 512 GB 記憶體的 Mac Studio 要到 10 月下旬才推出。

**對地端使用者的意義：** 起價買到的是最小記憶體版本，而記憶體決定放得下哪些模型，購買前請以想跑的模型所需容量來估價；各記憶體版本能跑什麼，可以看硬體頁。

來源：[Apple Newsroom](https://www.apple.com/newsroom/2026/09/the-new-mac-mini-and-mac-studio-are-available-today/)

## [Open WebUI 0.11.4：slim 映像檔瘦身到約 175 MB](https://onpremworld.com/zh-tw/news/2026-09-open-webui-0-11-4-slim-image.md)

2026-09-21 · 執行環境與工具

Open WebUI v0.11.4 把 slim 容器映像檔縮小到約 175 MB，比前一版小了約 89%，做法是拿掉內建的地端模型與相關函式庫；標準映像檔也減少約 170 MB。slim 版沒有內建嵌入與重排序模型，知識庫需要改用 Ollama、OpenAI 或 Azure OpenAI 提供的嵌入。它也只能透過 PostgreSQL 搭配 pgvector 搜尋，沒有設定外部文件擷取服務時無法讀取 PDF 或 Office 檔案。

**對地端使用者的意義：** 如果你本來就有跑 Ollama，slim 映像檔搭配 Ollama 嵌入是更輕量的 Open WebUI 架設方式；若依賴內建的文件與搜尋功能，請繼續使用標準映像檔。

來源：[Open WebUI v0.11.4 release notes (GitHub)](https://github.com/open-webui/open-webui/releases/tag/v0.11.4)

## [Ollama 0.34.1：MLX safetensors 匯入轉正，GGUF 轉換改用 llama.cpp 工具](https://onpremworld.com/zh-tw/news/2026-09-ollama-0-34-1-mlx-import-gguf-change.md)

2026-09-14 · 執行環境與工具

Ollama v0.34.1 讓 `ollama create` 匯入 MLX safetensors 從實驗功能變成正式支援，並改善 Apple Silicon 上 MLX 的記憶體管理。同一版不再於 Ollama 內把 safetensors 轉成 GGUF，轉換與量化必須先用 llama.cpp 自己的工具完成。在大型模型庫上呼叫 /api/tags 也快了許多，Ollama 測試從 3.1 秒降到 294 毫秒。

**對地端使用者的意義：** 如果你的腳本用 `ollama create` 把 safetensors 量化成 GGUF，現在得先加一道 llama.cpp 轉換步驟；Mac 使用者則可以直接匯入 MLX safetensors。

來源：[Ollama v0.34.1 release notes (GitHub)](https://github.com/ollama/ollama/releases/tag/v0.34.1)

## [DeepSeek-V4.1-Flash：552B 多模態 MoE，KV 快取縮小到四分之一](https://onpremworld.com/zh-tw/news/2026-09-deepseek-v4-1-flash.md)

2026-09-10 · 模型

DeepSeek 在 9 月 10 日推出 V4.1-Flash，權重以 MIT 授權公開在 Hugging Face。這是 552B 參數的混合專家（MoE）模型，原生支援圖片理解，讀取提示時每個 token 約啟用 8B 參數，生成時約 16B。新的因果編碼器－解碼器架構加上第二代壓縮稀疏注意力，讓每個 token 的 KV 快取只剩 V4-Flash 的四分之一左右，上下文最長可達一百萬 tokens。

**對地端使用者的意義：** 長上下文變得便宜，但光是 552B 的主幹在 4 bits 下就超過 256 GB，地端執行得靠 512 GB 的 Mac Studio 或多卡伺服器；vLLM 在 9 月 22 日的 v0.30.0 加入支援。

來源：[DeepSeek-V4.1-Flash model card (Hugging Face)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)

## [vLLM v0.29 預設改用 Model Runner V2，V1 進入淘汰期](https://onpremworld.com/zh-tw/news/2026-09-vllm-v0-29-model-runner-v2-default.md)

2026-09-09 · 執行環境與工具

vLLM v0.29.0 讓所有模型預設改用 Model Runner V2，完成從 pooling 模型開始的逐步切換。專案已將 V1 視為棄用，預計在 v0.32 移除。這一版也把 `python -m vllm.entrypoints.openai.api_server` 的啟動方式標為棄用、改推 `vllm serve`，移除十種已棄用的模型架構，並新增 Qwen3.8-Flash-Next（BF16、FP8 與 NVFP4 權重）。

**對地端使用者的意義：** 如果你家裡的伺服器還用舊的 api_server 模組啟動 vLLM，或依賴只有 V1 才有的功能，請在 v0.32 移除舊版之前改用 `vllm serve` 並在 V2 上測試。

來源：[vLLM v0.29.0 release notes (GitHub)](https://github.com/vllm-project/vllm/releases/tag/v0.29.0)

## [Z.ai 開源 GLM-5.3-Flash：320B 多模態 MoE，每 token 啟用 18B，MIT 授權](https://onpremworld.com/zh-tw/news/2026-08-glm-5-3-flash-open-weights.md)

2026-08-26 · 模型

Z.ai 在 8 月 26 日推出 GLM-5.3-Flash，是 GLM-5 系列第一款原生多模態模型，權重以 MIT 授權公開在 Hugging Face。總參數 320B，每個 token 啟用 18B，也是 GLM 首度混合稀疏注意力與線性注意力，以降低長上下文的運算成本。模型卡列出的執行方式包括 vLLM、SGLang、KTransformers 與 Unsloth。更大的 GLM-5.3 沿用 GLM-5.2 的基礎模型、靠後訓練提升能力，同樣公開權重，但採用另外的 GLM-5.3 授權。

**對地端使用者的意義：** 就算每個參數只用 4 bits，光是權重就超過 160 GB，適合 256 GB 等級的 Mac 或多卡伺服器；llama.cpp 在 10 月 5 日的 v0.6.0 加入支援。

來源：[GLM-5.3-Flash model card (Hugging Face)](https://huggingface.co/zai-org/GLM-5.3-Flash)

## [Qwen3.8-Flash-Next 搶先展示 Qwen4 架構：125B MoE，每 token 只啟用 6B](https://onpremworld.com/zh-tw/news/2026-08-qwen3-8-flash-next-qwen4-preview.md)

2026-08-26 · 模型

Qwen 團隊在 8 月 26 日推出 Qwen3.8-Flash-Next，定位是未來 Qwen4 架構的實驗性預覽版。語言模型本體為 125B 參數的混合專家（MoE）架構，每個 token 只啟用 6B，另外加上 51B 的 n-gram 嵌入表與 4B 的多 token 預測層，整個檢查點約 180B 參數。注意力層由 Gated DeltaNet 線性注意力與新的 Qwen 稀疏注意力（QSA）組成，後者以小區塊而非單一 token 為單位挑選上下文，原生上下文長度為 262,144 tokens。權重採用 Qwen Community License，可商用但附帶條件。

**對地端使用者的意義：** 每個 token 只啟用 6B 參數，生成速度可以很快，但約 180B 的權重仍得全部放進記憶體，遠超過單張消費級顯示卡的容量；執行環境方面，Ollama 0.33.1（MLX 引擎）與 llama.cpp v0.6.0 起才支援。

來源：[Qwen3.8-Flash-Next model card (Hugging Face)](https://huggingface.co/Qwen/Qwen3.8-Flash-Next)

## [Apple 發表 M6 與 M5 Ultra：統一記憶體最高 512 GB、頻寬 1.2 TB/s](https://onpremworld.com/zh-tw/news/2026-08-apple-m6-m5-ultra-announced.md)

2026-08-25 · 硬體

Apple 在 8 月 25 日發表兩款晶片：搭載於新款 Mac mini 的 M6，以及搭載於新款 Mac Studio 的 M5 Ultra。M5 Ultra 把兩顆雙晶粒的 M5 Max 接成 Apple 首款四晶粒設計，GPU 最多 80 核，統一記憶體最高 512 GB，記憶體頻寬最高 1.2 TB/s，比 M3 Ultra 高出 50%。M6 是 Apple 第一款 2 奈米晶片，記憶體最高 32 GB、頻寬最高 170 GB/s。Apple 表示 M5 Ultra 可以完全在本機執行數千億參數的語言模型。

**對地端使用者的意義：** Mac 上的生成速度主要取決於記憶體頻寬，M5 Ultra 維持 M3 Ultra 的 512 GB 上限，依我們以頻寬推算的估計，同一個模型可以快將近 50%。

來源：[Apple Newsroom](https://www.apple.com/newsroom/2026/08/apple-introduces-m6-and-m5-ultra-for-a-big-leap-in-performance-and-ai-compute/)

## [Open WebUI 0.11.1：工具呼叫可以先經你核准再執行](https://onpremworld.com/zh-tw/news/2026-08-open-webui-0-11-1-tool-approval.md)

2026-08-25 · 執行環境與工具

Open WebUI v0.11.1 讓你把對話從「工具自由執行」切換成「先詢問」，模型想用工具時會停下來，等你逐一允許或拒絕。這項功能需要管理員開啟，你的選擇會記在該段對話中。這一版也新增內建工具，讓模型在繼續之前用最多三道選擇題向你確認，並重寫串流機制，每次更新只傳送新增的文字，而不是整段訊息。

**對地端使用者的意義：** 當地端模型能執行終端機指令或修改檔案時，逐一核准工具呼叫可以讓你保有掌控權，又不必完全關掉工具。

來源：[Open WebUI v0.11.1 release notes (GitHub)](https://github.com/open-webui/open-webui/releases/tag/v0.11.1)

## [Ollama 0.32.15 快取模型中繼資料，首個 token 等待時間約減半](https://onpremworld.com/zh-tw/news/2026-08-ollama-0-32-15-faster-first-token.md)

2026-08-19 · 執行環境與工具

Ollama v0.32.15 會在請求之間快取已解析的模型中繼資料，在 Ollama 的測試中，首個 token 的等待時間從約 995 毫秒降到約 524 毫秒。它也修正聊天與生成請求在串流途中遇到解析錯誤後可能卡住的問題，並一致處理出現在對話中段的 Qwen 3.8 系統訊息。首次使用桌面版的使用者會看到新的導覽流程。

**對地端使用者的意義：** 會送出大量短請求的程式代理與編輯器外掛最有感，每次省下半秒，長時間工作累積起來相當可觀。

來源：[Ollama v0.32.15 release notes (GitHub)](https://github.com/ollama/ollama/releases/tag/v0.32.15)

## [Qwen3.8-27B 開源：能看圖看影片的 27B 密集模型，Apache 2.0 授權](https://onpremworld.com/zh-tw/news/2026-08-qwen3-8-27b-released.md)

2026-08-14 · 模型

阿里巴巴 Qwen 團隊在 8 月 14 日釋出 Qwen3.8-27B，距離 2.4 兆參數的 Qwen3.8 旗艦模型只隔兩天，是這一代體積精簡的密集（dense）版本。它能理解文字、圖片與影片，預設開啟思考模式，也能逐次調整推理深度。64 層中只有 16 層是標準注意力，其餘都是 Gated DeltaNet 線性注意力，原生上下文長度為 262,144 tokens。Ollama 當天就以 qwen3.8:27b 上架。

**對地端使用者的意義：** 只有四分之一的層會隨上下文累積 KV 快取，長對話所需的記憶體遠少於舊款 27B 模型；各種量化版本需要多少記憶體，可以到模型頁查看。

來源：[Qwen3.8-27B model card (Hugging Face)](https://huggingface.co/Qwen/Qwen3.8-27B)

摘要由地端世界依官方來源撰寫，附上原文連結，不轉載原文。