地端世界ONPREM WORLD

Qwen3-30B-A3B (2507)

Alibaba Qwen 的 Qwen3-30B-A3B (2507)(30.5B 參數,MoE 每 token 啟用 3.3B)。以 Q4_K_M 量化、8K 上下文估算約需 19.3 GiB 記憶體。 總參數 30.5B、每個 token 只啟用 3.3B 的 MoE 模型,中階硬體也跑得快;4-bit 量化放得進 20 GB 顯示卡。

最後更新: 2026-10-13

模型資訊

開發者Alibaba Qwen
參數量30.5B (3.3B 啟用, MoE)[src]
原生上下文長度262,144 tokens[src]
授權Apache-2.0[src]
可商用可以
KV 快取全部 48 層(標準注意力)[src]
發布2025-07

適合用途: 中階顯示卡也能快速對話 · 推理 · 多語言 · 中文 · 工具呼叫

執行方式

ollama run qwen3:30b-instruct

所需記憶體

模型權重+KV 快取+執行環境開銷,單位 GiB。量化越低越省記憶體,品質略降。

量化4K 上下文8K 上下文32K 上下文
Q4_K_M19.0 GiB19.3 GiB21.6 GiB
Q5_K_M22.1 GiB22.5 GiB24.7 GiB
Q6_K25.4 GiB25.8 GiB28.1 GiB
Q8_032.6 GiB32.9 GiB35.2 GiB
FP1660.5 GiB60.9 GiB63.2 GiB

哪些硬體跑得動

在 8K 上下文長度下,各硬體放得下的最佳量化版本。 此為估算值,並非實測。請參考估算方法說明。

硬體記憶體最佳量化tok/s(預估)
GeForce RTX 509032 GBQ6_K461
GeForce RTX 409024 GBQ5_K_M301
Radeon RX 7900 XTX24 GBQ5_K_M286
Radeon RX 7900 XT20 GBQ4_K_M280
GeForce RTX 309024 GBQ5_K_M279
RTX 6000 Ada Generation48 GBQ8_0192
RTX PRO 6000 Blackwell Workstation Edition96 GBFP16190
Radeon AI PRO R970032 GBQ6_K165
Arc Pro B7032 GBQ6_K157
RTX A600048 GBQ8_0153
RTX PRO 5000 72GB Blackwell72 GBFP16143
Arc Pro B6024 GBQ5_K_M136
M5 Ultra512 GBFP16118
M5 Max (18-core CPU / 32-core GPU)36 GBQ6_K110
M4 Max (14-core CPU / 32-core GPU)36 GBQ6_K98
M3 Ultra512 GBFP1681
M5 Max (18-core CPU / 40-core GPU)128 GBFP1660
M5 Pro64 GBQ8_057
M4 Max (16-core CPU / 40-core GPU)128 GBFP1654
M4 Pro64 GBQ8_051
M6 (24GB/32GB configurations, 170 GB/s)32 GBQ5_K_M47
M532 GBQ5_K_M42
RTX Spark (N1X) laptops & compact desktops128 GBFP1627
DGX Spark128 GBFP1625
Ryzen AI Max+ PRO 495 (Gorgon Halo) systems192 GBFP1625
Ryzen AI Max+ 395 (Strix Halo) systems128 GBFP1623
GeForce RTX 3060 (12 GB)12 GB放不下–
GeForce RTX 4060 Ti 16GB16 GB放不下–
GeForce RTX 4080 SUPER16 GB放不下–
GeForce RTX 5060 Ti 16GB16 GB放不下–
GeForce RTX 507012 GB放不下–
GeForce RTX 5070 Ti16 GB放不下–
GeForce RTX 508016 GB放不下–
Radeon RX 9060 XT 16GB16 GB放不下–
Radeon RX 9070 XT16 GB放不下–
Arc B58012 GB放不下–
M6 (16GB configuration, 153 GB/s)16 GB放不下–

常見問題

Qwen3-30B-A3B (2507) 需要多少 VRAM/記憶體?

以 8K 上下文估算:Q4_K_M 量化約需 19.3 GiB,Q8_0 約需 32.9 GiB(含模型權重、KV 快取與執行環境開銷)。上下文越長,KV 快取越大。

GeForce RTX 4090 跑得動 Qwen3-30B-A3B (2507) 嗎?

可以。Qwen3-30B-A3B (2507) 在 GeForce RTX 4090(24 GB)上以 Q5_K_M 量化、8K 上下文約需 22.5 GiB,預估生成速度約每秒 301 個 token。

Mac 可以跑 Qwen3-30B-A3B (2507) 嗎?

可以。Qwen3-30B-A3B (2507) 在 M3 Ultra(96 GB)上以 FP16 量化、8K 上下文約需 60.9 GiB,預估生成速度約每秒 81 個 token。

Qwen3-30B-A3B (2507) 可以商用嗎?

Qwen3-30B-A3B (2507) 採用 Apache-2.0 授權。授權允許商業使用(請仍詳閱條款中的限制)。

資料來源