地端世界ONPREM WORLD

模型 發布日期:

Ollama 0.40.5 加入 NVIDIA Nemotron 3.5 Super 與可放進 24 GB 的 Nemotron 3.5 Bolt

示意圖:Ollama 0.40.5 加入 NVIDIA Nemotron 3.5 Super 與可放進 24 GB 的 Nemotron 3.5 Bolt
示意圖

發生什麼事

Ollama 0.40.5 把 NVIDIA Nemotron 3.5 Super 加入模型庫,這是一款用於寫程式、推理、工具呼叫與文件理解的視覺語言模型。它採用 Mamba-2 與 Transformer 混合的 MoE 架構,總參數 120B、每個 token 啟用 12B,支援工具呼叫、可開關的思考模式,上下文最長 1M tokens。較小的 Nemotron 3.5 Bolt 總參數 74B、啟用 9B,經過調整可放進 24 GB 的 NVIDIA 顯示卡,並內建推測解碼用的草稿模型。

對地端使用者的意義:兩款模型現在只要一行 `ollama run` 就能執行,而 Bolt 正是瞄準許多人手上已有的 24 GB 顯示卡。

三種角度看這則新聞

市場怎麼看

NVIDIA 把自家開放模型送進最熱門的本機推論工具,這可能有助於它和 Qwen、Gemma 爭奪家用或辦公室顯示卡上的「預設模型」位置。一款為 24 GB 量身打造的 74B 模型,也可能讓現有的 24 GB 顯示卡更有用,而不是逼買家換更大的卡。

白話版

Ollama 是在自己電腦上跑 AI 的免費工具,現在可以下載兩款 NVIDIA 的新模型,除了文字也能讀圖片和文件。比較小的 Bolt 設計成一張 24 GB 記憶體的高階顯示卡就放得下。

業內觀點

Bolt 經過調整可放進 24 GB 的 NVIDIA 顯示卡,請用自己的工作實測,跟目前在用的模型比較,並確認放下權重之後還剩多少空間給上下文。至於 120B 的 Super,下載前先比對 Ollama 模型庫列出的檔案大小和你的顯示卡或統一記憶體容量;這一版也同步更新了內建的 llama.cpp 與 MLX。

小芽洞察

小芽把這則新聞和其他品牌比一比,再看真實應用的走向。會員免費閱讀。

免費登入閱讀 →

訂閱小芽週報

每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。

來源

閱讀官方原文:Ollama v0.40.5 release notes (GitHub) ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

本站相關頁面

更多新聞

所有新聞 →