地端世界ONPREM WORLD

Gemma 3 27B IT

Google DeepMind 的 Gemma 3 27B IT(27B 參數)。以 Q4_K_M 量化、8K 上下文估算約需 17.5 GiB 記憶體。 Google 的 27B 模型,能看圖;62 層中有 52 層使用 1,024 token 的滑動視窗,KV 快取因此很小。4-bit 量化放得進 20–24 GB 顯示卡。

最後更新: 2026-10-13

模型資訊

開發者Google DeepMind
參數量27B[src]
原生上下文長度131,072 tokens[src]
授權Gemma Terms of Use[src]
可商用可以
KV 快取10 層全域+52 層滑動視窗(1024 tokens)[src]
發布2025-03

適合用途: 對話 · 多語言(140 多種語言) · 圖片理解 · 24 GB 顯示卡

執行方式

ollama run gemma3:27b

所需記憶體

模型權重+KV 快取+執行環境開銷,單位 GiB。量化越低越省記憶體,品質略降。

量化4K 上下文8K 上下文32K 上下文
Q4_K_M17.2 GiB17.5 GiB19.4 GiB
Q5_K_M20.0 GiB20.3 GiB22.2 GiB
Q6_K23.0 GiB23.3 GiB25.2 GiB
Q8_029.3 GiB29.6 GiB31.5 GiB
FP1654.0 GiB54.3 GiB56.2 GiB

哪些硬體跑得動

在 8K 上下文長度下,各硬體放得下的最佳量化版本。 此為估算值,並非實測。請參考估算方法說明。

硬體記憶體最佳量化tok/s(預估)
DGX Station (GB300)252 GBFP1678
GeForce RTX 509032 GBQ8_040
Radeon RX 7900 XT20 GBQ4_K_M32
RTX PRO 5000 48GB Blackwell48 GBQ8_031
GeForce RTX 409024 GBQ6_K30
Radeon RX 7900 XTX24 GBQ6_K28
GeForce RTX 309024 GBQ6_K28
RTX 6000 Ada Generation48 GBQ8_022
RTX PRO 6000 Blackwell Workstation Edition96 GBFP1622
RTX PRO 6000 Blackwell Max-Q Workstation Edition96 GBFP1622
RTX PRO 4500 Blackwell32 GBQ8_021
RTX PRO 4000 Blackwell24 GBQ6_K20
RTX A600048 GBQ8_018
RTX PRO 5000 72GB Blackwell72 GBFP1617
Radeon AI PRO R970032 GBQ8_015
Arc Pro B7032 GBQ8_014
M5 Ultra512 GBFP1614
Arc Pro B6024 GBQ6_K14
M5 Max (18-core CPU / 32-core GPU)36 GBQ6_K13
M4 Max (14-core CPU / 32-core GPU)36 GBQ6_K12
M3 Ultra512 GBFP169.7
M5 Max (18-core CPU / 40-core GPU)128 GBFP167.3
M5 Pro64 GBQ8_06.9
M4 Max (16-core CPU / 40-core GPU)128 GBFP166.5
M4 Pro64 GBQ8_06.1
M6 (24GB/32GB configurations, 170 GB/s)32 GBQ6_K4.9
M532 GBQ6_K4.4
RTX Spark (N1X) laptops & compact desktops128 GBFP163.3
DGX Spark128 GBFP163.0
Ryzen AI Max+ PRO 495 (Gorgon Halo) systems192 GBFP163.0
Ryzen AI Max+ 395 (Strix Halo) systems128 GBFP162.8
GeForce RTX 3060 (12 GB)12 GB放不下–
GeForce RTX 4060 Ti 16GB16 GB放不下–
GeForce RTX 4080 SUPER16 GB放不下–
GeForce RTX 5060 Ti 16GB16 GB放不下–
GeForce RTX 507012 GB放不下–
GeForce RTX 5070 Ti16 GB放不下–
GeForce RTX 508016 GB放不下–
Radeon RX 9060 XT 16GB16 GB放不下–
Radeon RX 9070 XT16 GB放不下–
Arc B58012 GB放不下–
M6 (16GB configuration, 153 GB/s)16 GB放不下–

常見問題

Gemma 3 27B IT 需要多少 VRAM/記憶體?

以 8K 上下文估算:Q4_K_M 量化約需 17.5 GiB,Q8_0 約需 29.6 GiB(含模型權重、KV 快取與執行環境開銷)。上下文越長,KV 快取越大。

GeForce RTX 4090 跑得動 Gemma 3 27B IT 嗎?

可以。Gemma 3 27B IT 在 GeForce RTX 4090(24 GB)上以 Q6_K 量化、8K 上下文約需 23.3 GiB,預估生成速度約每秒 30 個 token。

Mac 可以跑 Gemma 3 27B IT 嗎?

可以。Gemma 3 27B IT 在 M3 Ultra(96 GB)上以 FP16 量化、8K 上下文約需 54.3 GiB,預估生成速度約每秒 9.7 個 token。

Gemma 3 27B IT 可以商用嗎?

Gemma 3 27B IT 採用 Gemma Terms of Use 授權。授權允許商業使用(請仍詳閱條款中的限制)。

資料來源