地端世界ONPREM WORLD

Gemma 4 26B A4B IT

Google DeepMind 的 Gemma 4 26B A4B IT(25.2B 參數,MoE 每 token 啟用 3.8B)。以 Q4_K_M 量化、8K 上下文估算約需 15.7 GiB 記憶體。 總參數 25.2B、只啟用 3.8B 的 MoE 模型:4-bit 量化放得進 16 GB 顯示卡,以它的規模來說生成速度很快。

最後更新: 2026-10-13

模型資訊

開發者Google DeepMind
參數量25.2B (3.8B 啟用, MoE)[src]
原生上下文長度262,144 tokens[src]
授權Apache-2.0[src]
可商用可以
KV 快取5 層全域+25 層滑動視窗(1024 tokens)[src]
發布2026-03

適合用途: 快速對話 · 寫程式 · 推理 · AI 代理 · 圖片理解

執行方式

ollama run gemma4:26b

所需記憶體

模型權重+KV 快取+執行環境開銷,單位 GiB。量化越低越省記憶體,品質略降。

量化4K 上下文8K 上下文32K 上下文
Q4_K_M15.7 GiB15.7 GiB15.9 GiB
Q5_K_M18.3 GiB18.3 GiB18.5 GiB
Q6_K21.0 GiB21.1 GiB21.3 GiB
Q8_026.9 GiB27.0 GiB27.2 GiB
FP1650.0 GiB50.1 GiB50.3 GiB

哪些硬體跑得動

在 8K 上下文長度下,各硬體放得下的最佳量化版本。 此為估算值,並非實測。請參考估算方法說明。

常見問題

Gemma 4 26B A4B IT 需要多少 VRAM/記憶體?

以 8K 上下文估算:Q4_K_M 量化約需 15.7 GiB,Q8_0 約需 27.0 GiB(含模型權重、KV 快取與執行環境開銷)。上下文越長,KV 快取越大。

GeForce RTX 4090 跑得動 Gemma 4 26B A4B IT 嗎?

可以。Gemma 4 26B A4B IT 在 GeForce RTX 4090(24 GB)上以 Q6_K 量化、8K 上下文約需 21.1 GiB,預估生成速度約每秒 225 個 token。

Mac 可以跑 Gemma 4 26B A4B IT 嗎?

可以。Gemma 4 26B A4B IT 在 M3 Ultra(96 GB)上以 FP16 量化、8K 上下文約需 50.1 GiB,預估生成速度約每秒 70 個 token。

Gemma 4 26B A4B IT 可以商用嗎?

Gemma 4 26B A4B IT 採用 Apache-2.0 授權。授權允許商業使用(請仍詳閱條款中的限制)。

資料來源