模型 發布日期:
Qwen3.8-Flash-Next 搶先展示 Qwen4 架構:125B MoE,每 token 只啟用 6B
Qwen 團隊在 8 月 26 日推出 Qwen3.8-Flash-Next,定位是未來 Qwen4 架構的實驗性預覽版。語言模型本體為 125B 參數的混合專家(MoE)架構,每個 token 只啟用 6B,另外加上 51B 的 n-gram 嵌入表與 4B 的多 token 預測層,整個檢查點約 180B 參數。注意力層由 Gated DeltaNet 線性注意力與新的 Qwen 稀疏注意力(QSA)組成,後者以小區塊而非單一 token 為單位挑選上下文,原生上下文長度為 262,144 tokens。權重採用 Qwen Community License,可商用但附帶條件。
對地端使用者的意義
每個 token 只啟用 6B 參數,生成速度可以很快,但約 180B 的權重仍得全部放進記憶體,遠超過單張消費級顯示卡的容量;執行環境方面,Ollama 0.33.1(MLX 引擎)與 llama.cpp v0.6.0 起才支援。
來源
閱讀官方原文:Qwen3.8-Flash-Next model card (Hugging Face) ↗摘要由地端世界依官方來源撰寫,附上原文連結,不轉載原文。