# 跑 70B 模型要多少 VRAM？本地部署 70B 的記憶體與硬體需求

> 地端世界 · https://onpremworld.com/zh-tw/guides/vram-for-70b-models · 更新日期: 2026-10-17 · CC BY 4.0

**在 8K 上下文下，跑 70B 模型的 4 位元量化版約需 44.5 GiB 的 GPU 記憶體，8 位元版約需 75.7 GiB。** 這是本站對 [Llama 3.3 70B Instruct](https://onpremworld.com/zh-tw/models/llama-3.3-70b.md) 用 Q4_K_M 與 Q8_0 的估算；上下文拉到 32K，會分別增加到 52.0 GiB 和 83.2 GiB。單張消費級顯示卡都放不下：就連 [GeForce RTX 5090](https://onpremworld.com/zh-tw/hardware/rtx-5090.md) 也只有 32 GB，跑 4 位元都不夠。4 位元、8K 上下文的版本放得進 48 GB 的工作站顯示卡，例如 [RTX 6000 Ada Generation](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-6000-ada.md)，預估每秒約 15 個 token；也放得進 64 GB 的 Mac（M5 Max 預估每秒約 9.2 個 token）。要跑 8 位元，就得用 96 GB 等級的硬體：[RTX PRO 6000 Blackwell Workstation Edition](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-6000-blackwell.md)（96 GB）以 Q8_0、32K 上下文預估每秒約 16 個 token，搭載 [M5 Ultra](https://onpremworld.com/zh-tw/hardware/apple-m5-ultra.md)、256 GB 的 Mac Studio 約 10 個；128 GB 的 [DGX Spark](https://onpremworld.com/zh-tw/hardware/nvidia-dgx-spark.md) 也放得下，但每秒只有約 2.2 個。這裡的數字全部來自本站[硬體資料](https://onpremworld.com/zh-tw/hardware.md)、[模型資料](https://onpremworld.com/zh-tw/models.md)與公開的[估算方法](https://onpremworld.com/zh-tw/methodology.md)，是估算值而不是實測；其他組合可以到[「跑得動嗎？」試算](https://onpremworld.com/zh-tw/can-i-run.md)查。

## 70B 模型到底要吃多少記憶體

[Llama 3.3 70B Instruct](https://onpremworld.com/zh-tw/models/llama-3.3-70b.md) 是密集模型：70B 個參數，每個 token 都會全部用到。它占用的記憶體分成三塊：

- **權重**：Q4_K_M（每個權重 4.85 位元）約 39.5 GiB，Q8_0（8.5 位元）約 69.3 GiB。各種量化格式的意思，請看[量化教學](https://onpremworld.com/zh-tw/guides/quantization-explained.md)。
- **KV 快取**：上下文中每個 token 的注意力鍵值。Llama 3.3 70B 的每一層都保留完整快取，所以快取大小和上下文長度成正比：以預設的 16 位元格式計算，8K 約 2.5 GiB，32K 約 10.0 GiB，用滿 131,072 個 token 的完整上下文則約 40.0 GiB。
- **執行環境開銷**：CUDA 或 Metal 的緩衝區與運算暫存，本站的方法以權重的一定比例估算。

| 量化 | 每權重位元數 | 所需記憶體 @ 8K | 所需記憶體 @ 32K | 所需記憶體 @ 128K |
|---|---:|---:|---:|---:|
| Q4_K_M | 4.85 | 44.5 GiB | 52.0 GiB | 82.0 GiB |
| Q5_K_M | 5.69 | 51.7 GiB | 59.2 GiB | 89.2 GiB |
| Q6_K | 6.59 | 59.4 GiB | 66.9 GiB | 96.9 GiB |
| Q8_0 | 8.5 | 75.7 GiB | 83.2 GiB | 113.2 GiB |
| FP16 | 16 | 139.9 GiB | 147.4 GiB | 177.4 GiB |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

從表格可以看出兩件事。第一，FP16 對 70B 模型來說不是實際的本地選項，幾乎所有人都跑量化版本。第二，上下文是執行時你能自己調的部分：同一份權重，開 8K 和開 128K 需要的硬體完全不同。

## 哪些硬體跑得動 70B 模型

下面兩張表列出每台裝置的 GPU 可用記憶體，以及各種設定下的預估生成速度；放不下的標示「放不下」。先看顯示卡，最後一列是 NVIDIA 的 DGX Station：

| 硬體 | GPU 可用記憶體 | Q4_K_M · 8K (44.5 GiB) | Q4_K_M · 32K (52.0 GiB) | Q8_0 · 8K (75.7 GiB) | Q8_0 · 32K (83.2 GiB) |
|---|---:|---:|---:|---:|---:|
| [GeForce RTX 4090](https://onpremworld.com/zh-tw/hardware/rtx-4090.md) (24 GB) | 24 GB | 放不下 | 放不下 | 放不下 | 放不下 |
| [GeForce RTX 5090](https://onpremworld.com/zh-tw/hardware/rtx-5090.md) (32 GB) | 32 GB | 放不下 | 放不下 | 放不下 | 放不下 |
| [RTX A6000](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-a6000.md) (48 GB) | 48 GB | 12 tok/s | 放不下 | 放不下 | 放不下 |
| [RTX 6000 Ada Generation](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-6000-ada.md) (48 GB) | 48 GB | 15 tok/s | 放不下 | 放不下 | 放不下 |
| [RTX PRO 5000 48GB Blackwell](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-5000-blackwell-48gb.md) (48 GB) | 48 GB | 21 tok/s | 放不下 | 放不下 | 放不下 |
| [RTX PRO 5000 72GB Blackwell](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-5000-blackwell-72gb.md) (72 GB) | 72 GB | 21 tok/s | 21 tok/s | 放不下 | 放不下 |
| [RTX PRO 6000 Blackwell Workstation Edition](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-6000-blackwell.md) (96 GB) | 96 GB | 28 tok/s | 28 tok/s | 16 tok/s | 16 tok/s |
| [DGX Station (GB300)](https://onpremworld.com/zh-tw/hardware/nvidia-dgx-station-gb300.md) (252 GB) | 252 GB | 95 tok/s | 95 tok/s | 59 tok/s | 59 tok/s |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

再看 Mac 和統一記憶體迷你電腦，這類機器的 GPU 和系統共用記憶體：

| 硬體 | GPU 可用記憶體 | Q4_K_M · 8K (44.5 GiB) | Q4_K_M · 32K (52.0 GiB) | Q8_0 · 8K (75.7 GiB) | Q8_0 · 32K (83.2 GiB) |
|---|---:|---:|---:|---:|---:|
| [M5 Pro](https://onpremworld.com/zh-tw/hardware/apple-m5-pro.md) (64 GB) | 48 GB | 4.7 tok/s | 放不下 | 放不下 | 放不下 |
| [M5 Max (18-core CPU / 40-core GPU)](https://onpremworld.com/zh-tw/hardware/apple-m5-max-40c-gpu.md) (64 GB) | 48 GB | 9.2 tok/s | 放不下 | 放不下 | 放不下 |
| [M5 Max (18-core CPU / 40-core GPU)](https://onpremworld.com/zh-tw/hardware/apple-m5-max-40c-gpu.md) (128 GB) | 96 GB | 9.2 tok/s | 9.2 tok/s | 5.3 tok/s | 5.3 tok/s |
| [M5 Ultra](https://onpremworld.com/zh-tw/hardware/apple-m5-ultra.md) (96 GB) | 72 GB | 18 tok/s | 18 tok/s | 放不下 | 放不下 |
| [M5 Ultra](https://onpremworld.com/zh-tw/hardware/apple-m5-ultra.md) (256 GB) | 192 GB | 18 tok/s | 18 tok/s | 10 tok/s | 10 tok/s |
| [DGX Spark](https://onpremworld.com/zh-tw/hardware/nvidia-dgx-spark.md) (128 GB) | 96 GB | 3.8 tok/s | 3.8 tok/s | 2.2 tok/s | 2.2 tok/s |
| [Ryzen AI Max+ 395 (Strix Halo) systems](https://onpremworld.com/zh-tw/hardware/amd-ryzen-ai-max-plus-395.md) (128 GB) | 96 GB | 3.6 tok/s | 3.6 tok/s | 2.1 tok/s | 2.1 tok/s |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

這兩張表怎麼看：

- **Q4_K_M、8K 上下文（44.5 GiB）是入門門檻。** 48 GB 的卡放得下，但餘裕很小：[RTX PRO 5000 48GB Blackwell](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-5000-blackwell-48gb.md) 預估每秒約 21 個 token，較舊的 [RTX A6000](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-a6000.md) 約 12 個。64 GB 的 Mac 和迷你電腦也放得下。
- **Q4_K_M、32K 上下文（52.0 GiB）** 需要更多記憶體：[RTX PRO 5000 72GB Blackwell](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-5000-blackwell-72gb.md)（每秒約 21 個 token）、搭載 M5 Ultra 的 96 GB Mac Studio（約 18 個），或是 128 GB 的機器。
- **Q8_0（8K 約 75.7 GiB）** 要 96 GB 的顯示卡，或 128 GB 以上的統一記憶體。96 GB 的 Mac 不夠：它的 GPU 預設只能用約 72 GB。
- **統一記憶體不等於全部都是 GPU 記憶體。** macOS 和迷你電腦的作業系統預設只讓 GPU 使用其中一部分（本站估算假設 Mac 是 75%，各裝置的數字見表中「GPU 可用記憶體」欄），所以 64 GB 的機器能給模型用的約是 48 GB。Mac 可以[調高這個上限](https://onpremworld.com/zh-tw/guides/mac-local-llm#調高上限)。
- **速度看頻寬，不看記憶體大小。** 同樣的 Q4_K_M 模型，DGX Spark（273 GB/s）預估每秒約 3.8 個 token，M5 Ultra（1,200 GB/s）約 18 個，RTX PRO 6000（1,792 GB/s）約 28 個。原因請看[顯示卡教學](https://onpremworld.com/zh-tw/guides/choosing-a-gpu#為什麼頻寬決定速度)。

## 用兩張消費級顯示卡代替一張大卡

在消費級硬體上跑 70B，最常見的做法是插兩張 24 GB 的卡，例如兩張二手的 [GeForce RTX 3090](https://onpremworld.com/zh-tw/hardware/rtx-3090.md)。模型放不進單一 GPU 時，Ollama 會把它分散到找得到的所有 GPU 上，llama.cpp 也是如此。兩張 24 GB 合計 48 GB，帳面上夠跑 Q4_K_M、8K 上下文。有三件事要注意：

- **很緊。** 每張卡都要保留自己的執行環境緩衝區，實際能用的總量會略低於 48 GB。上下文開短一點，或把 KV 快取量化（見下一節）。
- **增加的是容量，不是速度。** 模型的層分到兩張卡之後，每個 token 要先經過第一張卡上的層，再經過第二張，所以單人使用時的速度，大約等於一張放得下整個模型的卡。vLLM 這類服務引擎可以把每一層拆到多張卡上（張量平行），主要在多人同時發送請求時才能提高吞吐量。[顯示卡教學](https://onpremworld.com/zh-tw/guides/choosing-a-gpu#多張顯示卡-或乾脆不用顯示卡)有更詳細的說明。
- **電源與空間。** 每張 RTX 3090 的額定功耗是 350 W，兩張就需要大瓦數電源、兩個插槽間距夠寬的主機板，以及良好的機殼風流。

本站的估算一次只算一台裝置，所以上面的表格沒有多卡組合。

## 讓 70B 模型用更少的記憶體

- **上下文只開需要的長度。** 依 Ollama 官方文件，預設上下文是 4,096 個 token。要開更長，可以在啟動伺服器時設定 `OLLAMA_CONTEXT_LENGTH`，或在 `ollama run` 裡輸入 `/set parameter num_ctx`。記得上下文每多一個 token，就多占一點記憶體。

```bash
OLLAMA_CONTEXT_LENGTH=32768 ollama serve
ollama run llama3.3:70b
```

- **把 KV 快取量化。** 開啟 Flash Attention 後，設定 `OLLAMA_KV_CACHE_TYPE=q8_0`，KV 快取只占預設 f16 約一半的記憶體；Ollama 文件說精度損失非常小。以 Llama 3.3 70B 開 32K 上下文為例，10.0 GiB 的快取大約可以省下一半。
- **非不得已，不要低於 4 位元。** Q3_K 和 2 到 3 位元的 IQ 量化能讓權重更小，但低於 4 位元後品質會掉得很快。本站估算從 Q4_K_M 起算；取捨請看[量化教學](https://onpremworld.com/zh-tw/guides/quantization-explained#該選哪個等級)，其中的[實際算一次](https://onpremworld.com/zh-tw/guides/quantization-explained#實際算一次-70b-模型放得進-64-gb-的-mac-嗎)說明了為什麼 64 GB 的 Mac 最高只放得下 Q4_K_M。
- **最後手段：卸載到系統記憶體。** llama.cpp 和 Ollama 可以把放不下的層交給 CPU 跑，`ollama ps` 會顯示 CPU 與 GPU 的分配比例。跑得動，但系統記憶體比 GPU 記憶體慢得多，整個模型都會被拖慢。原因請看[顯示卡教學](https://onpremworld.com/zh-tw/guides/choosing-a-gpu#放不下怎麼辦-卸載到系統記憶體)。

## 密集模型還是 MoE？

不是每個大模型的執行成本都一樣。混合專家（MoE）模型要有足夠的記憶體放下全部參數，但每個 token 只讀啟用中的那一部分。[Qwen3-Coder-Next (80B-A3B)](https://onpremworld.com/zh-tw/models/qwen3-coder-next.md) 的參數量是 80B (3B 啟用)，用 Q4_K_M、8K 上下文約需 48.1 GiB，和 Llama 3.3 70B 相近，但在同樣的硬體上，預估速度快了好幾倍：

| 硬體 | 頻寬 | 放得下？ (48.1 GiB) | tok/s（估） |
|---|---:|---|---:|
| [M5 Max (18-core CPU / 40-core GPU)](https://onpremworld.com/zh-tw/hardware/apple-m5-max-40c-gpu.md) (128 GB) | 614 GB/s | 可以 | 153 |
| [M5 Ultra](https://onpremworld.com/zh-tw/hardware/apple-m5-ultra.md) (96 GB) | 1,200 GB/s | 可以 | 231 |
| [DGX Spark](https://onpremworld.com/zh-tw/hardware/nvidia-dgx-spark.md) (128 GB) | 273 GB/s | 可以 | 76 |
| [Ryzen AI Max+ 395 (Strix Halo) systems](https://onpremworld.com/zh-tw/hardware/amd-ryzen-ai-max-plus-395.md) (128 GB) | 256 GB/s | 可以 | 72 |
| [RTX PRO 5000 72GB Blackwell](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-5000-blackwell-72gb.md) | 1,344 GB/s | 可以 | 254 |
| [RTX PRO 6000 Blackwell Workstation Edition](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-6000-blackwell.md) | 1,792 GB/s | 可以 | 290 |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

MoE 的速度估算請當成上限：專家之間的路由會增加額外運算，本站的頻寬公式沒有算進去。即使如此，這也說明了大記憶體、低頻寬的機器為什麼比較適合跑 MoE 模型，而不是密集的 70B。

## 想跑 70B，該買哪種機器

- **花費最低、比較費工：** 桌機插兩張 24 GB 的卡，跑 Q4_K_M、短上下文。先確認電源、機殼和散熱。
- **單卡、速度最快：** [RTX PRO 6000 Blackwell Workstation Edition](https://onpremworld.com/zh-tw/hardware/nvidia-rtx-pro-6000-blackwell.md)（96 GB）在表格中的每種設定都放得下，價格是工作站等級。72 GB 的 RTX PRO 5000 可以跑 4 位元、開到 32K 上下文，48 GB 的版本則只夠跑 4 位元、短上下文。
- **一台安靜、記憶體大的主機：** Mac Studio。搭載 [M5 Ultra](https://onpremworld.com/zh-tw/hardware/apple-m5-ultra.md) 的 96 GB 版本，4 位元可以開到 32K 上下文。要跑 8 位元，需要 128 GB 的 M5 Max（每秒約 5.3 個 token）或 256 GB 的 M5 Ultra（約 10 個）。記憶體要在下單時選好，之後無法加裝。
- **小機身、NVIDIA 軟體生態：** 128 GB 的 [DGX Spark](https://onpremworld.com/zh-tw/hardware/nvidia-dgx-spark.md) 連 Q8_0 都放得下，但跑密集的 70B 模型很慢，比較適合 MoE 模型。

價格與性價比的並列比較，請看[Mac Studio 還是 NVIDIA 顯示卡](https://onpremworld.com/zh-tw/guides/mac-studio-vs-nvidia-gpu.md)，以及本站的[價格追蹤](https://onpremworld.com/zh-tw/prices.md)。

*地端世界以報價方式銷售表格中的部分硬體，包括 NVIDIA 工作站顯示卡、DGX Spark 與 DGX Station。不論我們是否銷售，每台裝置都用同一套資料與方法估算；詳見[獨立性政策](https://onpremworld.com/zh-tw/about#independence)。*

## 常見問題

### 跑 70B 模型需要多少 VRAM？

依本站估算，Llama 3.3 70B 用 Q4_K_M、8K 上下文約需 44.5 GiB，32K 約需 52.0 GiB；用 Q8_0 則是 8K 約 75.7 GiB、32K 約 83.2 GiB。換成硬體來說：4 位元搭配短上下文，要 48 GB 的 GPU 記憶體；8 位元則要 96 GB 的顯示卡，或 128 GB 的統一記憶體。

### RTX 4090 或 RTX 5090 跑得動 70B 模型嗎？

單張不行。就算用 Q4_K_M、8K 上下文，模型也要約 44.5 GiB，超過 RTX 5090 的 32 GB，也超過 RTX 4090 的 24 GB。可以把放不下的層卸載到系統記憶體，跑得動但慢很多；或是再加一張卡。

### 兩張 RTX 3090 能跑 Llama 3.3 70B 嗎？

兩張 24 GB 的卡合計 48 GB，帳面上放得下 Q4_K_M、8K 上下文的版本（依本站估算約 44.5 GiB），但餘裕很小，因為每張卡都要保留自己的執行環境緩衝區。Ollama 和 llama.cpp 會自動把模型的層分到兩張卡上。這樣增加的是容量，不是速度：每個 token 仍要依序經過兩張卡。本站的估算只針對單一裝置，所以不提供雙卡的速度數字。

### 64 GB 的 Mac 夠跑 70B 模型嗎？

4 位元搭配短上下文可以，長上下文就不行。macOS 預設只讓 GPU 使用 64 GB Mac 中約 48 GB 的記憶體。Llama 3.3 70B 用 Q4_K_M、8K 上下文約需 44.5 GiB，放得下（M5 Max 預估每秒約 9.2 個 token）；32K 則約需 52.0 GiB，就放不下了。搭載 M5 Ultra 的 96 GB Mac Studio 可以跑 32K，預估每秒約 18 個 token；Q8_0 則要 128 GB 以上。

### 70B 模型在本地硬體上跑多快？

生成速度跟著記憶體頻寬走，因為密集模型每生成一個 token，都要把全部權重讀過一遍。以 Q4_K_M、8K 上下文估算，從 DGX Spark 的每秒約 3.8 個 token、Ryzen AI Max+ 395 主機的約 3.6 個，到 M5 Ultra Mac Studio 的約 18 個、RTX PRO 6000 的約 28 個都有。以上都是估算值，不是實測。

### 70B 到 80B 級的 MoE 模型，比密集的 70B 好跑嗎？

記憶體需求差不多，但快很多。Qwen3-Coder-Next 的參數量是 80B (3B 啟用)，用 Q4_K_M、8K 上下文約需 48.1 GiB，和 Llama 3.3 70B 相近，但每個 token 只需要讀啟用中的參數。在 128 GB 的 DGX Spark 上，本站估算每秒約 76 個 token，Llama 3.3 70B 則約 3.8 個。MoE 的估算值請當成上限看。

## 資料來源

- https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/MODEL_CARD.md
- https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct
- https://ollama.com/library/llama3.3/tags
- https://huggingface.co/Qwen/Qwen3-Coder-Next
- https://docs.ollama.com/faq
- https://docs.ollama.com/gpu
- https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
- https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html
- https://github.com/ggml-org/llama.cpp/discussions/15396
- https://www.apple.com/tw/mac-studio/specs/