地端世界ONPREM WORLD

模型 發布日期:

月之暗面釋出 Kimi K3.1 Pro 權重:2.8 兆參數、上下文長達 100 萬 token

示意圖:月之暗面釋出 Kimi K3.1 Pro 權重:2.8 兆參數、上下文長達 100 萬 token
示意圖

發生什麼事

月之暗面(Moonshot AI)在 11 月 2 日把 Kimi K3.1 Pro 的權重放上 Hugging Face。這是原生多模態(文字與圖片)的 Mixture-of-Experts 模型,總參數 2.8 兆、活躍參數 1040 億,共 896 個專家、每個 token 選 16 個,上下文長度 1,048,576 token。權重採 MXFP4、運算時用 MXFP8,並以量化感知訓練完成;官方建議用 vLLM、SGLang 或 TokenSpeed 執行。授權為 Kimi K3.1 Pro License,大致寬鬆,但對大型模型即服務(MaaS)業者與超大型消費產品另有條件,純內部使用則不受這些條件限制。

對地端使用者的意義:這是目前任何人都能下載自架的最大模型之一,企業內部使用也不受額外授權條件限制;但光是檔案就約 1.56 TB,屬於多張顯示卡的伺服器等級,而不是桌上型電腦能跑的模型。

三種角度看這則新聞

市場怎麼看

根據月之暗面自己公布的表格,K3.1 Pro 在 Terminal-Bench 4.0 拿到 65.7,高於 GPT-6 Astra 的 58.2,僅略低於 Claude Opus 5.5 的 66.4;至少就廠商數字來看,開放權重模型和頂尖封閉模型的差距持續縮小。授權裡針對 12 個月營收超過 2,000 萬美元的 MaaS 業者的條款,看起來和 Mistral 的做法類似:歡迎企業自由採用,但大型代管業者要另外談。

白話版

一家中國 AI 公司把它最強的模型開放下載了。不過它大到需要整櫃的伺服器,而不是一般辦公室電腦,所以多數小公司會先透過 Kimi 的網站或 API 試用。

業內觀點

權重檔案約 1.56 TB;vLLM 的部署範例要求 vLLM 0.34.0 以上,以及 8 張顯示卡的 tensor-parallel 群組,例如一台 B300 節點、兩個 GB300 tray 或一台 MI355X 節點,並使用 kimi_k3 的工具呼叫與推理解析器。多輪對話與工具呼叫時,要把完整的助理訊息(包含 reasoning_content 和 tool_calls)原樣傳回,這是模型說明頁的要求。推理強度可設 low、high、max,預設是 max;對延遲敏感的內部工具,建議先測 low。

小芽洞察

小芽把這則新聞和其他品牌比一比,再看真實應用的走向。會員免費閱讀。

免費登入閱讀 →

訂閱小芽週報

每週一封:本週重點新聞與小芽洞察摘要。隨時可以取消。

來源

閱讀官方原文:moonshotai/Kimi-K3.1-Pro model card (Hugging Face) ↗

摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。

更多新聞

所有新聞 →