# 本地跑 LLM 要買什麼顯示卡？VRAM 與記憶體頻寬怎麼選

> 地端世界 · https://onpremworld.com/zh-tw/guides/choosing-a-gpu · 更新日期: 2026-10-16 · CC BY 4.0

**先買 VRAM，再看頻寬。** 顯示卡上的 VRAM（顯示記憶體）決定你能不能把模型載入：放不下的模型不是直接失敗，就是溢出到系統記憶體、慢到幾乎不能用。模型放得下之後，記憶體頻寬決定它回答得多快，因為每生成一個新 token，都要把模型啟用中的權重從記憶體完整讀一遍。換成買卡的建議就是：新卡以 16 GB 為起點；想跑現在最熱門的 24B 到 32B 模型，選 24 到 32 GB；想跑 70B 等級的模型，要 48 GB 以上，或改用大容量的統一記憶體機器。下面的表格都來自本站的[硬體資料](https://onpremworld.com/zh-tw/hardware.md)、[模型資料](https://onpremworld.com/zh-tw/models.md)和公開的[估算方法](https://onpremworld.com/zh-tw/methodology.md)，其他組合可以直接到[「跑得動嗎？」試算](https://onpremworld.com/zh-tw/can-i-run.md)查。

## 一個模型到底要吃多少記憶體

模型載入後，記憶體大致分成三塊：

- **權重**：參數量 × 每個權重用幾個位元存。量化就是在降低每權重的位元數，細節請看[量化教學](https://onpremworld.com/zh-tw/guides/quantization-explained.md)。
- **KV 快取**：對話中每個 token 在注意力層留下的 Key 與 Value，上下文設得越長就越大。
- **執行環境開銷**：CUDA 或 Metal 的執行環境、暫存緩衝區和中間運算結果。

以熱門的密集模型 [Qwen3-32B](https://onpremworld.com/zh-tw/models/qwen3-32b.md) 為例，它有 32.8B 參數，用 Q4_K_M 量化光是權重就約 18.5 GiB；加上 KV 快取和開銷，8K 上下文下估計需要 21.9 GiB：

| 量化 | 每權重位元數 | 所需記憶體 @ 4K | 所需記憶體 @ 8K | 所需記憶體 @ 32K |
|---|---:|---:|---:|---:|
| Q4_K_M | 4.85 | 20.9 GiB | 21.9 GiB | 27.9 GiB |
| Q5_K_M | 5.69 | 24.3 GiB | 25.3 GiB | 31.3 GiB |
| Q6_K | 6.59 | 27.9 GiB | 28.9 GiB | 34.9 GiB |
| Q8_0 | 8.5 | 35.6 GiB | 36.6 GiB | 42.6 GiB |
| FP16 | 16 | 65.6 GiB | 66.6 GiB | 72.6 GiB |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

這張表有兩個重點。第一，同一個模型從 Q4_K_M 換成 FP16，記憶體大約變成三倍，這就是為什麼在自己電腦上跑模型的人幾乎都用量化版。第二，上下文不是免費的：光是 KV 快取，就從 8K 時的 2.0 GiB 長到 32K 時的 8.0 GiB。比較新的模型，例如 [Qwen3.5-27B](https://onpremworld.com/zh-tw/models/qwen3.5-27b.md) 或 [Gemma 3 27B IT](https://onpremworld.com/zh-tw/models/gemma-3-27b.md)，採用混合式注意力，只有部分層需要完整的 KV 快取，所以上下文拉長時記憶體成長慢很多。每個模型頁面都有列出它的 KV 快取結構。

另外，記得留餘裕。桌面環境、瀏覽器和其他程式也會吃 VRAM，剛好塞滿的模型常常載入失敗，或被退回 CPU 執行。模型要 15 GB 的話，16 GB 的卡會很緊，20 或 24 GB 才算從容。

## 12、16、24、32 GB 各能跑什麼

以下表格列出在 8K 上下文下，每張卡放得下的最高品質量化（上限設在 Q8_0），以及估算的生成速度。這些是估算值、不是實測，並假設整個模型都放在 VRAM 裡。

### 12 GB：[GeForce RTX 3060 (12 GB)](https://onpremworld.com/zh-tw/hardware/rtx-3060-12gb.md)

| 模型 | 參數量 | 放得下的最佳量化 | 所需記憶體 | tok/s（估） |
|---|---:|---|---:|---:|
| [Llama 3.1 8B Instruct](https://onpremworld.com/zh-tw/models/llama-3.1-8b.md) | 8B | Q8_0 | 9.8 GiB | 28 |
| [Qwen3-8B](https://onpremworld.com/zh-tw/models/qwen3-8b.md) | 8.2B | Q8_0 | 10.1 GiB | 27 |
| [Gemma 3 12B IT](https://onpremworld.com/zh-tw/models/gemma-3-12b.md) | 12B | Q6_K | 11.0 GiB | 24 |
| [Phi-4 (14B)](https://onpremworld.com/zh-tw/models/phi-4.md) | 14B | Q5_K_M | 11.8 GiB | 24 |
| [gpt-oss-20b](https://onpremworld.com/zh-tw/models/gpt-oss-20b.md) | 21B (3.6B 啟用) | 放不下 | 13.1 GiB | – |
| [Mistral Small 3.2 24B Instruct (2506)](https://onpremworld.com/zh-tw/models/mistral-small-3.2-24b.md) | 24B | 放不下 | 16.0 GiB | – |
| [Qwen3-32B](https://onpremworld.com/zh-tw/models/qwen3-32b.md) | 32.8B | 放不下 | 21.9 GiB | – |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

12 GB 跑 7B 到 14B 的模型很輕鬆，很多還能用接近原始品質的 Q8_0。但一到 20B 以上就放不下了。

### 16 GB：[GeForce RTX 5060 Ti 16GB](https://onpremworld.com/zh-tw/hardware/rtx-5060-ti-16gb.md)

| 模型 | 參數量 | 放得下的最佳量化 | 所需記憶體 | tok/s（估） |
|---|---:|---|---:|---:|
| [Qwen3-8B](https://onpremworld.com/zh-tw/models/qwen3-8b.md) | 8.2B | Q8_0 | 10.1 GiB | 34 |
| [Gemma 3 12B IT](https://onpremworld.com/zh-tw/models/gemma-3-12b.md) | 12B | Q8_0 | 13.8 GiB | 23 |
| [Phi-4 (14B)](https://onpremworld.com/zh-tw/models/phi-4.md) | 14B | Q6_K | 13.3 GiB | 26 |
| [gpt-oss-20b](https://onpremworld.com/zh-tw/models/gpt-oss-20b.md) | 21B (3.6B 啟用) | Q5_K_M | 15.3 GiB | 98 |
| [Gemma 4 26B A4B IT](https://onpremworld.com/zh-tw/models/gemma-4-26b-a4b.md) | 25.2B (3.8B 啟用) | Q4_K_M | 15.7 GiB | 107 |
| [Mistral Small 3.2 24B Instruct (2506)](https://onpremworld.com/zh-tw/models/mistral-small-3.2-24b.md) | 24B | Q4_K_M | 16.0 GiB | 21 |
| [Gemma 3 27B IT](https://onpremworld.com/zh-tw/models/gemma-3-27b.md) | 27B | 放不下 | 17.5 GiB | – |
| [Qwen3-32B](https://onpremworld.com/zh-tw/models/qwen3-32b.md) | 32.8B | 放不下 | 21.9 GiB | – |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

到了 16 GB，[gpt-oss-20b](https://onpremworld.com/zh-tw/models/gpt-oss-20b.md) 這類 MoE（混合專家）模型開始放得下，24B 的密集模型也能用 Q4_K_M 勉強塞進去，只是幾乎沒有餘裕。

### 24 GB：[GeForce RTX 4090](https://onpremworld.com/zh-tw/hardware/rtx-4090.md)

| 模型 | 參數量 | 放得下的最佳量化 | 所需記憶體 | tok/s（估） |
|---|---:|---|---:|---:|
| [Qwen3-8B](https://onpremworld.com/zh-tw/models/qwen3-8b.md) | 8.2B | Q8_0 | 10.1 GiB | 70 |
| [Gemma 3 27B IT](https://onpremworld.com/zh-tw/models/gemma-3-27b.md) | 27B | Q6_K | 23.3 GiB | 30 |
| [Mistral Small 3.2 24B Instruct (2506)](https://onpremworld.com/zh-tw/models/mistral-small-3.2-24b.md) | 24B | Q6_K | 21.1 GiB | 33 |
| [Qwen3.5-27B](https://onpremworld.com/zh-tw/models/qwen3.5-27b.md) | 27B | Q6_K | 22.7 GiB | 30 |
| [Qwen3-32B](https://onpremworld.com/zh-tw/models/qwen3-32b.md) | 32.8B | Q4_K_M | 21.9 GiB | 33 |
| [Qwen3-30B-A3B (2507)](https://onpremworld.com/zh-tw/models/qwen3-30b-a3b.md) | 30.5B (3.3B 啟用) | Q5_K_M | 22.5 GiB | 188 |
| [gpt-oss-20b](https://onpremworld.com/zh-tw/models/gpt-oss-20b.md) | 21B (3.6B 啟用) | Q8_0 | 22.5 GiB | 135 |
| [Llama 3.3 70B Instruct](https://onpremworld.com/zh-tw/models/llama-3.3-70b.md) | 70B | 放不下 | 44.5 GiB | – |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

24 GB 是 2026 年單張顯示卡跑本地 AI 的甜蜜點：熱門的 24B 到 32B 模型都能用 Q4_K_M 以上的品質放進去。Llama 3.3 70B 則不行，就算 Q4_K_M 也要約 44.5 GiB。

### 32 GB：[GeForce RTX 5090](https://onpremworld.com/zh-tw/hardware/rtx-5090.md)

| 模型 | 參數量 | 放得下的最佳量化 | 所需記憶體 | tok/s（估） |
|---|---:|---|---:|---:|
| [Gemma 3 27B IT](https://onpremworld.com/zh-tw/models/gemma-3-27b.md) | 27B | Q8_0 | 29.6 GiB | 40 |
| [Qwen3.5-27B](https://onpremworld.com/zh-tw/models/qwen3.5-27b.md) | 27B | Q8_0 | 29.1 GiB | 40 |
| [Qwen3-32B](https://onpremworld.com/zh-tw/models/qwen3-32b.md) | 32.8B | Q6_K | 28.9 GiB | 42 |
| [Qwen3-30B-A3B (2507)](https://onpremworld.com/zh-tw/models/qwen3-30b-a3b.md) | 30.5B (3.3B 啟用) | Q6_K | 25.8 GiB | 240 |
| [Gemma 4 31B IT](https://onpremworld.com/zh-tw/models/gemma-4-31b.md) | 30.7B | Q6_K | 26.3 GiB | 45 |
| [gpt-oss-20b](https://onpremworld.com/zh-tw/models/gpt-oss-20b.md) | 21B (3.6B 啟用) | Q8_0 | 22.5 GiB | 198 |
| [Llama 3.3 70B Instruct](https://onpremworld.com/zh-tw/models/llama-3.3-70b.md) | 70B | 放不下 | 44.5 GiB | – |
| [gpt-oss-120b](https://onpremworld.com/zh-tw/models/gpt-oss-120b.md) | 117B (5.1B 啟用) | 放不下 | 70.1 GiB | – |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

比 24 GB 多出的 8 GB，換到的是同一批 27B 到 32B 模型可以用更高品質的量化、開更長的上下文，而不是能跑更大一級的模型。70B 密集模型和大型 MoE 模型還是需要更多記憶體。

## 為什麼頻寬決定速度

模型回答時是一個 token 一個 token 生出來的，每生成一個 token，都要把所有啟用中的權重從記憶體讀一次。GPU 的運算單元大部分時間其實在等資料，所以速度上限取決於記憶體頻寬：

```text
每個 token 的時間 ≈ 每個 token 要讀取的啟用權重大小 ÷（記憶體頻寬 × 效率）＋ 固定約 2 毫秒
```

本站的[估算方法](https://onpremworld.com/zh-tw/methodology.md)假設獨立顯示卡能發揮峰值頻寬的 70%，並為讀權重以外的工作（核心啟動、注意力計算、取樣）每個 token 另加約 2 毫秒。小模型跑在高速顯示卡上時，這段固定成本的影響最大。下面用同一個小模型 [Qwen3-8B](https://onpremworld.com/zh-tw/models/qwen3-8b.md)（Q4_K_M）比較幾張都放得下它的卡：

| 硬體 | 頻寬 | 放得下？ (6.5 GiB) | tok/s（估） |
|---|---:|---|---:|
| [Arc B580](https://onpremworld.com/zh-tw/hardware/intel-arc-b580.md) | 456 GB/s | 可以 | 57 |
| [GeForce RTX 3060 (12 GB)](https://onpremworld.com/zh-tw/hardware/rtx-3060-12gb.md) | 360 GB/s | 可以 | 46 |
| [GeForce RTX 4060 Ti 16GB](https://onpremworld.com/zh-tw/hardware/rtx-4060-ti-16gb.md) | 288 GB/s | 可以 | 38 |
| [GeForce RTX 5060 Ti 16GB](https://onpremworld.com/zh-tw/hardware/rtx-5060-ti-16gb.md) | 448 GB/s | 可以 | 56 |
| [Radeon RX 9060 XT 16GB](https://onpremworld.com/zh-tw/hardware/amd-rx-9060-xt-16gb.md) | 320 GB/s | 可以 | 41 |
| [Radeon RX 9070 XT](https://onpremworld.com/zh-tw/hardware/amd-rx-9070-xt.md) | 640 GB/s | 可以 | 76 |
| [GeForce RTX 5070](https://onpremworld.com/zh-tw/hardware/rtx-5070.md) | 672 GB/s | 可以 | 80 |
| [GeForce RTX 5070 Ti](https://onpremworld.com/zh-tw/hardware/rtx-5070-ti.md) | 896 GB/s | 可以 | 101 |
| [GeForce RTX 5080](https://onpremworld.com/zh-tw/hardware/rtx-5080.md) | 960 GB/s | 可以 | 106 |
| [GeForce RTX 3090](https://onpremworld.com/zh-tw/hardware/rtx-3090.md) | 936 GB/s | 可以 | 104 |
| [Radeon RX 7900 XTX](https://onpremworld.com/zh-tw/hardware/amd-rx-7900-xtx.md) | 960 GB/s | 可以 | 106 |
| [GeForce RTX 4090](https://onpremworld.com/zh-tw/hardware/rtx-4090.md) | 1,008 GB/s | 可以 | 111 |
| [GeForce RTX 5090](https://onpremworld.com/zh-tw/hardware/rtx-5090.md) | 1,792 GB/s | 可以 | 168 |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

排名幾乎完全跟著頻寬走，跟顯示卡是哪一代、打遊戲強不強關係不大。最明顯的例子是 [GeForce RTX 4060 Ti 16GB](https://onpremworld.com/zh-tw/hardware/rtx-4060-ti-16gb.md)：VRAM 比 RTX 3060 12GB 多，頻寬卻比較低（288 GB/s 對上 360 GB/s），所以兩張卡都放得下的模型，估算上反而是舊卡比較快。

有兩點要注意。第一，這個公式只算「生成」階段。讀取你的提示詞（prefill，預填）主要受算力限制，所以算力較強的新卡，在頻寬差不多時處理長文件還是比較快。第二，實際速度會受執行環境、驅動程式、量化運算核心和提示詞長度影響；請把表格當成排名和數量級參考，而不是保證值。

## MoE 模型：記憶體看總參數，速度看啟用參數

MoE（混合專家）模型改變了這個取捨。所有專家都得放進記憶體，所以記憶體需求跟著**總參數量**走；但每個 token 只會經過少數幾個專家，所以速度跟著小得多的**啟用參數量**走。例如 [gpt-oss-20b](https://onpremworld.com/zh-tw/models/gpt-oss-20b.md) 是 21B (3.6B 啟用)，[Qwen3-30B-A3B (2507)](https://onpremworld.com/zh-tw/models/qwen3-30b-a3b.md) 是 30.5B (3.3B 啟用)。

這也是為什麼上面表格裡 MoE 模型的估算速度特別高。請把這些數字當成上限看待：在專家之間路由的額外工作，頻寬公式並沒有算進去。即使如此，放得進記憶體的 MoE 模型通常還是比同樣總大小的密集模型快得多，因此對「記憶體大、頻寬較低」的機器來說，MoE 是最划算的選擇。

## 放不下怎麼辦：卸載到系統記憶體

llama.cpp 和 Ollama 可以把一部分層留在 GPU，其餘放在系統記憶體由 CPU 執行。llama.cpp 用 `-ngl`（`--n-gpu-layers`）參數控制；在 Ollama 裡，`ollama ps` 指令的 PROCESSOR 欄位會顯示分配比例，例如 `48%/52% CPU/GPU`。這招可行，拿來試跑「稍微大了一點」的模型也很合理。但系統記憶體的頻寬只有現代顯示卡的一小部分，每多搬一層出去，整個模型的速度就往 CPU 的水準拉低一些。如果你發現自己老是在卸載，代表這個模型對你的卡來說太大了。

## 各顯示卡規格比較

以下是本站資料庫中的上市規格。最後一欄是首發建議售價除以 VRAM 容量，可以快速看出上市時每 GB 的價格；實際市價隨時在變，台灣通路價也常和美國建議售價有落差。

| 硬體 | 記憶體 | 頻寬 | 首發建議售價 | 每 GB 美元 |
|---|---:|---:|---:|---:|
| [Arc B580](https://onpremworld.com/zh-tw/hardware/intel-arc-b580.md) | 12 GB | 456 GB/s | US$249 | US$21 |
| [GeForce RTX 3060 (12 GB)](https://onpremworld.com/zh-tw/hardware/rtx-3060-12gb.md) | 12 GB | 360 GB/s | US$329 | US$27 |
| [GeForce RTX 5070](https://onpremworld.com/zh-tw/hardware/rtx-5070.md) | 12 GB | 672 GB/s | US$549 | US$46 |
| [Radeon RX 9060 XT 16GB](https://onpremworld.com/zh-tw/hardware/amd-rx-9060-xt-16gb.md) | 16 GB | 320 GB/s | US$349 | US$22 |
| [GeForce RTX 4060 Ti 16GB](https://onpremworld.com/zh-tw/hardware/rtx-4060-ti-16gb.md) | 16 GB | 288 GB/s | US$499 | US$31 |
| [GeForce RTX 5060 Ti 16GB](https://onpremworld.com/zh-tw/hardware/rtx-5060-ti-16gb.md) | 16 GB | 448 GB/s | US$429 | US$27 |
| [Radeon RX 9070 XT](https://onpremworld.com/zh-tw/hardware/amd-rx-9070-xt.md) | 16 GB | 640 GB/s | US$599 | US$37 |
| [GeForce RTX 5070 Ti](https://onpremworld.com/zh-tw/hardware/rtx-5070-ti.md) | 16 GB | 896 GB/s | US$749 | US$47 |
| [GeForce RTX 4080 SUPER](https://onpremworld.com/zh-tw/hardware/rtx-4080-super.md) | 16 GB | 736 GB/s | US$999 | US$62 |
| [GeForce RTX 5080](https://onpremworld.com/zh-tw/hardware/rtx-5080.md) | 16 GB | 960 GB/s | US$999 | US$62 |
| [Radeon RX 7900 XT](https://onpremworld.com/zh-tw/hardware/amd-rx-7900-xt.md) | 20 GB | 800 GB/s | US$899 | US$45 |
| [GeForce RTX 3090](https://onpremworld.com/zh-tw/hardware/rtx-3090.md) | 24 GB | 936 GB/s | US$1,499 | US$62 |
| [Radeon RX 7900 XTX](https://onpremworld.com/zh-tw/hardware/amd-rx-7900-xtx.md) | 24 GB | 960 GB/s | US$999 | US$42 |
| [GeForce RTX 4090](https://onpremworld.com/zh-tw/hardware/rtx-4090.md) | 24 GB | 1,008 GB/s | US$1,599 | US$67 |
| [GeForce RTX 5090](https://onpremworld.com/zh-tw/hardware/rtx-5090.md) | 32 GB | 1,792 GB/s | US$1,999 | US$62 |

工作站卡則是用價格換容量：

| 硬體 | 記憶體 | 頻寬 | 首發建議售價 | 每 GB 美元 |
|---|---:|---:|---:|---:|
| [Arc Pro B60](https://onpremworld.com/zh-tw/hardware/intel-arc-pro-b60.md) | 24 GB | 456 GB/s | – | – |
| [Arc Pro B70](https://onpremworld.com/zh-tw/hardware/intel-arc-pro-b70.md) | 32 GB | 608 GB/s | US$949 | US$30 |
| [Radeon AI PRO R9700](https://onpremworld.com/zh-tw/hardware/amd-radeon-ai-pro-r9700.md) | 32 GB | 640 GB/s | US$1,299 | US$41 |
| [RTX A6000](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-a6000.md) | 48 GB | 768 GB/s | US$4,650 | US$97 |
| [RTX 6000 Ada Generation](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-6000-ada.md) | 48 GB | 960 GB/s | US$6,800 | US$142 |
| [RTX PRO 5000 72GB Blackwell](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-5000-blackwell-72gb.md) | 72 GB | 1,344 GB/s | – | – |
| [RTX PRO 6000 Blackwell Workstation Edition](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-6000-blackwell.md) | 96 GB | 1,792 GB/s | US$8,565 | US$89 |

從表上可以看出幾個規律：

- **二手 24 GB 卡。** [GeForce RTX 3090](https://onpremworld.com/zh-tw/hardware/rtx-3090.md) 有 24 GB、頻寬 936 GB/s，生成速度接近 RTX 4090，二手市場上也很常見。買之前先確認卡況，以及你的電源供應器撐不撐得住。
- **功耗。** 高階卡很耗電：RTX 5090 標示 575 W，RTX 4090 是 450 W。電源供應器請依顯示卡廠商的建議瓦數挑選。
- **單卡大容量。** [RTX PRO 6000 Blackwell Workstation Edition](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-6000-blackwell.md)（96 GB）這類工作站卡，單張就能跑 70B 密集模型和大型 MoE 模型，當然價格也是工作站等級。

## NVIDIA、AMD 還是 Intel？

記憶體與頻寬的規則對每家廠商都一樣，但軟體支援程度不同：

- **NVIDIA（CUDA）**：Ollama、llama.cpp、LM Studio、vLLM 這些主流工具全部支援，是最不容易踩雷的選擇。
- **AMD（ROCm 或 Vulkan）**：Ollama 和 llama.cpp 都能用，但各工具支援的型號和作業系統不同。以 Ollama 為例，它需要 ROCm v7 驅動程式，並公布了支援的 Radeon 型號清單；清單外的卡則可改走 Vulkan 後端（Windows 與 Linux 版預設開啟）。買之前先查你要用的工具的 GPU 支援清單。
- **Intel Arc（SYCL 或 Vulkan）**：可透過 llama.cpp 的 SYCL 與 Vulkan 後端執行，Ollama 則透過 Vulkan 支援 Intel GPU；其他工具的支援範圍較窄，請先確認你想用的工具有列出你的卡。

本站每張顯示卡的頁面都有標示軟體堆疊，最新的支援狀況則以下方資料來源中各工具的官方文件為準。

## 多張顯示卡，或乾脆不用顯示卡

兩張卡增加的是容量，不是速度。llama.cpp 和 Ollama 會把模型的層分到不同 GPU 上，兩張 24 GB 的卡就能放下需要約 40 GB 的模型；但每個 token 還是要先經過第一張卡的層、再經過第二張，所以單人使用的速度大致和一張卡差不多。vLLM 這類服務引擎可以把每一層拆到多張卡上（張量平行），在多人同時發送請求時能提升吞吐量，那是[公司內部伺服器](https://onpremworld.com/zh-tw/guides/private-chatgpt-open-webui.md)的情境，不是一般桌機。

另一條路是換一種機器。Apple Silicon 的 Mac，以及 [DGX Spark](https://onpremworld.com/zh-tw/hardware/nvidia-dgx-spark.md)、[Ryzen AI Max+ 395 (Strix Halo) systems](https://onpremworld.com/zh-tw/hardware/amd-ryzen-ai-max-plus-395.md) 這類統一記憶體迷你電腦，GPU 能用的記憶體可以到 128 GB 甚至更多，但頻寬低很多（分別是 273 GB/s 和 256 GB/s）。它們能載入任何消費級顯示卡都放不下的模型，跑大型 MoE 模型表現不錯，但跑 70B 密集模型會很慢。這個取捨在[用 Mac 跑本地 LLM](https://onpremworld.com/zh-tw/guides/mac-local-llm.md) 那篇有詳細說明。

## 五分鐘選卡檢查表

1. **列出你想跑的模型**和需要的上下文長度。寫程式的 AI 代理、文件問答需要的上下文，比隨口聊天長很多。
2. **查出所需記憶體**：看各[模型頁面](https://onpremworld.com/zh-tw/models.md)，或在[「跑得動嗎？」試算](https://onpremworld.com/zh-tw/can-i-run.md)選你的卡。
3. **挑 VRAM 夠用又有餘裕的卡中最便宜的那張**，目標是模型估算值再加 10% 到 20%。
4. **VRAM 都夠的情況下，優先選頻寬高的。** 頻寬是預測生成速度最好的單一指標。
5. **確認軟體支援**：你要用的工具和作業系統支不支援這張卡，AMD 和 Intel 的卡尤其要先查。

## 常見問題

### 跑本地 LLM，VRAM 跟記憶體頻寬哪個重要？

先看 VRAM。模型放不進顯示記憶體，不是載入失敗，就是被迫把一部分丟到系統記憶體、速度大幅下降。模型放得下之後，才輪到記憶體頻寬決定每秒能生成多少 token，因為每生成一個 token 都要把模型啟用中的權重整個讀過一遍。

### 跑 32B 模型需要多少 VRAM？

依本站估算，Qwen3-32B 用 Q4_K_M 量化、8K 上下文約需 21.9 GiB，所以 24 GB 的卡（RTX 4090、RTX 3090、RX 7900 XTX）放得下，16 GB 或 20 GB 的卡放不下。上下文拉到 32K 則約需 27.9 GiB。

### 12 GB 顯示卡夠跑本地 LLM 嗎？

跑 7B 到 12B 的模型夠用：依估算，Llama 3.1 8B 用 Q8_0 約需 9.8 GiB，Gemma 3 12B 用 Q4_K_M 約需 8.4 GiB。但熱門的 24B 到 32B 模型就放不下了，除非把部分層卸載到系統記憶體，代價是速度明顯變慢。

### 為什麼 RTX 4060 Ti 16GB 跑同一個模型會比 RTX 3060 慢？

因為生成速度跟著記憶體頻寬走。RTX 4060 Ti 16GB 的頻寬是 288 GB/s，RTX 3060 12GB 則是 360 GB/s。多出來的 4 GB 讓你能載入更大的模型，但兩張卡都放得下的模型，估算上反而是 RTX 3060 比較快。

### 插兩張顯示卡，速度會變兩倍嗎？

單人使用通常不會。llama.cpp 和 Ollama 會把模型的層分配到兩張卡上，等於把記憶體容量加起來、讓更大的模型放得下，但每個 token 還是要依序經過兩張卡上的層。vLLM 這類服務引擎可以用張量平行提升吞吐量，主要在多人同時發送請求時才有明顯效益。

### 該買顯示卡，還是買大記憶體的 Mac？

顯示卡每 GB 的頻寬高很多，放得進 VRAM 的模型跑起來比較快；Mac 或統一記憶體迷你電腦每塊錢買到的記憶體多很多，能載入大得多的模型，尤其適合 MoE 模型，只是速度較慢。看你最大想跑多大的模型來決定。

## 資料來源

- https://github.com/ggml-org/llama.cpp
- https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
- https://docs.ollama.com/gpu
- https://docs.ollama.com/faq
- https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html