地端世界ONPREM WORLD

模型 發布日期:

Mistral 釋出 Large 4 權重:1 兆參數模型,2-bit 量化版檔案就有 298 GB

示意圖:Mistral 釋出 Large 4 權重:1 兆參數模型,2-bit 量化版檔案就有 298 GB
示意圖

發生什麼事

Mistral 在 10 月 29 日釋出 Mistral Large 4 權重,此前 10 月 6 日已開放雲端預覽。這是一個多模態的 Mixture-of-Experts 模型,總參數 1 兆,有 128 個路由專家、每個 token 啟用 4 個,活躍參數約 520 億,上下文長度 100 萬 token。授權採 Mistral Ecosystem Open-Weight License,是修改過的 MIT 授權,可以商用,但經營模型即服務(MaaS)的公司要另外取得商業授權。官方建議用 vLLM,也支援 SGLang、transformers 與 llama.cpp,另提供給 Blackwell 顯示卡用的 NVFP4 版本;ggml-org 的 GGUF 檔案從 298 GB(IQ2_XXS)到 2.10 TB(BF16)不等。

對地端使用者的意義:這是 Mistral 最大的模型,而且可以自己架設,但 Hugging Face 表示,只有 2-bit 量化版能在單台機器上跑,也就是 512 GB 統一記憶體的 Apple Silicon Ultra;其他版本都需要分散式推論。

三種角度看這則新聞

市場怎麼看

Mistral 公布的數字是:Artificial Analysis Coding Agent Index 48%,與 GLM-5.3 幾乎打平,且每項任務少用 47% 的 token;Intelligence Index v5 得 26 分,是西方開放權重模型最高,但官方也承認中國的開放模型總分更高。MaaS 條款看起來是想讓企業自由採用,同時把代管業者留在付費授權裡。

白話版

法國 AI 公司 Mistral 把它最大的模型開放下載了。可以想成一位很厲害、但要占掉一整層辦公室的員工:連最小的版本都需要遠超一般電腦的記憶體,所以多數公司還是會透過網路使用它。

業內觀點

2-bit 的 GGUF(IQ2_XXS、Q2_K)要 298 到 381 GB,Q4_K_M 要 635 GB,Q8_0 要 1.12 TB;ggml-org 表示 2-bit 檔案放得進 512 GB 統一記憶體。NVIDIA 硬體可用 NVFP4 版本,權重約 610 GB,針對 B200、B300、GB200、GB300,vLLM 要加 --kv-cache-dtype fp8_ds_mla,官方範例指令用 8 張顯示卡。GGUF 版的推理模式無法關閉,延遲敏感的場景請測 low 等級;如果要對外轉售服務,先請法務看過授權。

小芽洞察

小芽把這則新聞和其他品牌比一比,再看真實應用的走向。會員免費閱讀。

免費登入閱讀 →

訂閱小芽週報

每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。

來源

閱讀官方原文:Le Chonk: Built for Coders, Trusted by Defenders (Mistral AI) ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

本站相關頁面

更多新聞

所有新聞 →