地端世界ONPREM WORLD

其他 發布日期:

NVIDIA 與微軟把 Nemotron 3.5 與 RTX PRO 6000 Blackwell 支援帶進 Azure Local

示意圖:NVIDIA 與微軟把 Nemotron 3.5 與 RTX PRO 6000 Blackwell 支援帶進 Azure Local
示意圖

發生什麼事

NVIDIA 與微軟 11 月 19 日在 Microsoft Ignite 宣布,Foundry Local 將在 Azure Local 環境中擴大支援 NVIDIA 的 Nemotron 3.5 開放模型,包含檢索模型。Azure Local 將支援硬體合作夥伴提供的 NVIDIA RTX PRO 6000 Blackwell GPU,並擴展到 Jetson Thor 與 Jetson Orin 邊緣平台。雲端方面,Nemotron 3.5 Super 與 Lightning 已可在 Foundry Managed Compute 上使用,Bolt 與 Transcribe 列為即將推出。NVIDIA 也引用 EY 的案例:EY 調整 Nemotron 模型來分類企業採購紀錄,表示在其評估資料集上準確度提升 55%,成本比專有的前沿模型低 15 倍。

對地端使用者的意義:已經用微軟工具管理自家伺服器的公司,現在有一條官方支援的路,可以在雲端之外用 NVIDIA 工作站 GPU 跑開放模型。

三種角度看這則新聞

市場怎麼看

這看起來是微軟與 NVIDIA 把地端 AI 當成標準企業產品,而不是自己動手拼湊的專案,可能會讓保守的 IT 部門更願意在本地部署。EY 的數字是客戶在自己資料上的結果,應視為單一案例,而不是通用的效能評比。

白話版

微軟那套讓公司在自己機房管理伺服器的系統,將可以用 NVIDIA 的專業顯示卡跑 NVIDIA 的開放 AI 模型。對企業來說,就是 AI 能處理內部文件,而文件不必離開公司。

業內觀點

我們資料中 RTX PRO 6000 Blackwell 每張卡有 96 GB 記憶體,應該足以在一張 GPU 上同時放聊天模型、embedding 與 rerank 模型,檢索架構很可能可以集中在單一節點。NVIDIA 沒有說明 Azure Local 的時程與支援的伺服器清單,規劃導入前請先確認硬體合作夥伴的供貨情況,以及 Foundry Local 實際提供哪些 Nemotron 3.5 版本。

小芽洞察

小芽把這則新聞和其他品牌比一比,再看真實應用的走向。會員免費閱讀。

免費登入閱讀 →

訂閱小芽週報

每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。

來源

閱讀官方原文:NVIDIA Blog: NVIDIA and Microsoft Expand Accelerated Computing From Azure to Windows PCs ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

本站相關頁面

更多新聞

所有新聞 →