地端世界ONPREM WORLD

Llama 4 Scout 17B-16E Instruct

Meta 的 Llama 4 Scout 17B-16E Instruct(109B 參數,MoE 每 token 啟用 17B)。以 Q4_K_M 量化、8K 上下文估算約需 66.6 GiB 記憶體。 總參數 109B、每個 token 只啟用 17B 的 MoE 模型,也能看圖。4-bit 量化需要 72 GB 的顯示卡或 96 GB 統一記憶體的電腦。

最後更新: 2026-10-13

模型資訊

開發者Meta
參數量109B (17B 啟用, MoE)[src]
原生上下文長度10,485,760 tokens[src]
授權Llama 4 Community License[src]
可商用可以
KV 快取12 層全域+36 層分塊(8192 tokens)[src]
發布2025-04

適合用途: 對話 · 超長上下文 · 圖片理解 · 多語言(12 種語言)

執行方式

ollama run llama4:16x17b

所需記憶體

模型權重+KV 快取+執行環境開銷,單位 GiB。量化越低越省記憶體,品質略降。

量化4K 上下文8K 上下文32K 上下文
Q4_K_M65.9 GiB66.6 GiB67.7 GiB
Q5_K_M77.1 GiB77.8 GiB78.9 GiB
Q6_K89.1 GiB89.8 GiB90.9 GiB
Q8_0114.5 GiB115.3 GiB116.4 GiB
FP16214.4 GiB215.2 GiB216.3 GiB

哪些硬體跑得動

在 8K 上下文長度下,各硬體放得下的最佳量化版本。 此為估算值,並非實測。請參考估算方法說明。

硬體記憶體最佳量化tok/s(預估)
RTX PRO 5000 72GB Blackwell72 GBQ4_K_M91
RTX PRO 6000 Blackwell Workstation Edition96 GBQ6_K90
M5 Max (18-core CPU / 40-core GPU)128 GBQ6_K28
M4 Max (16-core CPU / 40-core GPU)128 GBQ6_K25
M5 Ultra512 GBFP1623
M3 Ultra512 GBFP1616
RTX Spark (N1X) laptops & compact desktops128 GBQ6_K13
DGX Spark128 GBQ6_K12
Ryzen AI Max+ 395 (Strix Halo) systems128 GBQ6_K11
Ryzen AI Max+ PRO 495 (Gorgon Halo) systems192 GBQ8_09.1
GeForce RTX 3060 (12 GB)12 GB放不下–
GeForce RTX 309024 GB放不下–
GeForce RTX 4060 Ti 16GB16 GB放不下–
GeForce RTX 4080 SUPER16 GB放不下–
GeForce RTX 409024 GB放不下–
GeForce RTX 5060 Ti 16GB16 GB放不下–
GeForce RTX 507012 GB放不下–
GeForce RTX 5070 Ti16 GB放不下–
GeForce RTX 508016 GB放不下–
GeForce RTX 509032 GB放不下–
Radeon RX 7900 XT20 GB放不下–
Radeon RX 7900 XTX24 GB放不下–
Radeon RX 9060 XT 16GB16 GB放不下–
Radeon RX 9070 XT16 GB放不下–
Arc B58012 GB放不下–
RTX A600048 GB放不下–
RTX 6000 Ada Generation48 GB放不下–
Radeon AI PRO R970032 GB放不下–
Arc Pro B6024 GB放不下–
Arc Pro B7032 GB放不下–
M4 Pro64 GB放不下–
M4 Max (14-core CPU / 32-core GPU)36 GB放不下–
M532 GB放不下–
M5 Pro64 GB放不下–
M5 Max (18-core CPU / 32-core GPU)36 GB放不下–
M6 (16GB configuration, 153 GB/s)16 GB放不下–
M6 (24GB/32GB configurations, 170 GB/s)32 GB放不下–

常見問題

Llama 4 Scout 17B-16E Instruct 需要多少 VRAM/記憶體?

以 8K 上下文估算:Q4_K_M 量化約需 66.6 GiB,Q8_0 約需 115.3 GiB(含模型權重、KV 快取與執行環境開銷)。上下文越長,KV 快取越大。

GeForce RTX 4090 跑得動 Llama 4 Scout 17B-16E Instruct 嗎?

Llama 4 Scout 17B-16E Instruct 在 GeForce RTX 4090(24 GB)上,即使用 Q4_K_M 量化、8K 上下文也放不下。

Mac 可以跑 Llama 4 Scout 17B-16E Instruct 嗎?

可以。Llama 4 Scout 17B-16E Instruct 在 M3 Ultra(96 GB)上以 Q4_K_M 量化、8K 上下文約需 66.6 GiB,預估生成速度約每秒 52 個 token。

Llama 4 Scout 17B-16E Instruct 可以商用嗎?

Llama 4 Scout 17B-16E Instruct 採用 Llama 4 Community License 授權。授權允許商業使用(請仍詳閱條款中的限制)。

資料來源