地端世界ONPREM WORLD

模型 發布日期:

NVIDIA 小型模型 Nemotron 3.5 Bolt E4B 登上 Ollama 0.40.10,附 DFlash 草稿模型加速回應

示意圖:NVIDIA 小型模型 Nemotron 3.5 Bolt E4B 登上 Ollama 0.40.10,附 DFlash 草稿模型加速回應
示意圖

發生什麼事

10 月 23 日推出的 Ollama v0.40.10 加入 Nemotron 3.5 Bolt E4B,也就是 NVIDIA Nemotron 3.5 系列中最小的一款,用 `ollama run nemotron-3.5-bolt:e4b` 就能執行。它是 NVIDIA 以 Google 的 Gemma 4 E4B 為基礎再訓練而成:總參數 8B、等效 4B,主打本機的快速對話、遵循指令與多輪工具呼叫,適合語音助理和裝置上的助理。Ollama 的版本支援圖片輸入,上下文長度為 128K tokens,模型也附帶推測解碼用的 DFlash 草稿模型。NVIDIA 以 OpenMDW 1.1 授權釋出,並表示可用於商業用途。

對地端使用者的意義:Nemotron 3.5 系列終於有一款小到入門顯示卡和許多筆電都放得下的模型,不再只有 24 GB 顯示卡和工作站才跑得動。

三種角度看這則新聞

市場怎麼看

等效 4B 左右的小模型競爭激烈,NVIDIA 選擇以 Gemma 4 E4B 為底再加強,而不是從頭訓練,看起來是想快速在本機語音與裝置助理市場站穩腳步。推出當天就能在 Ollama 上使用,影響力可能不亞於模型本身。

白話版

NVIDIA 推出一款小型 AI 模型,專門用來快速聊天和處理簡單任務,現在在 Ollama(一款在自己電腦上跑 AI 的免費工具)裡一行指令就能下載。它小到很多日常使用的電腦都跑得動,搭配一個「小幫手」模型還能讓回答來得更快。

業內觀點

Ollama 列出的 `e4b` 版本大小為 7.2 到 7.9 GB,而 NVIDIA 自己的 4 GB Q4_K_M GGUF 版本說明寫的是只接受文字輸入、上下文最長 64K tokens,比較結果前先確認自己跑的是哪個版本。DFlash 草稿模型能不能在你的硬體上真正加速,請用自己的提示詞實測;也可以和原版 Gemma 4 E4B 比較工具呼叫的穩定度。

小芽洞察

小芽把這則新聞和其他品牌比一比,再看真實應用的走向。會員免費閱讀。

免費登入閱讀 →

訂閱小芽週報

每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。

來源

閱讀官方原文:Ollama v0.40.10 release notes (GitHub) ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

本站相關頁面

更多新聞

所有新聞 →