跑 70B 模型要多少 VRAM？本地部署 70B 的記憶體與硬體需求

在 8K 上下文下，跑 70B 模型的 4 位元量化版約需 44.5 GiB 的 GPU 記憶體，8 位元版約需 75.7 GiB。 這是本站對 Llama 3.3 70B Instruct 用 Q4_K_M 與 Q8_0 的估算；上下文拉到 32K，會分別增加到 52.0 GiB 和 83.2 GiB。單張消費級顯示卡都放不下：就連 GeForce RTX 5090 也只有 32 GB，跑 4 位元都不夠。4 位元、8K 上下文的版本放得進 48 GB 的工作站顯示卡，例如 RTX 6000 Ada Generation，預估每秒約 15 個 token；也放得進 64 GB 的 Mac（M5 Max 預估每秒約 9.2 個 token）。要跑 8 位元，就得用 96 GB 等級的硬體：RTX PRO 6000 Blackwell Workstation Edition（96 GB）以 Q8_0、32K 上下文預估每秒約 16 個 token，搭載 M5 Ultra、256 GB 的 Mac Studio 約 10 個；128 GB 的 DGX Spark 也放得下，但每秒只有約 2.2 個。這裡的數字全部來自本站硬體資料、模型資料與公開的估算方法，是估算值而不是實測；其他組合可以到「跑得動嗎？」試算查。

70B 模型到底要吃多少記憶體

Llama 3.3 70B Instruct 是密集模型：70B 個參數，每個 token 都會全部用到。它占用的記憶體分成三塊：

• 權重：Q4_K_M（每個權重 4.85 位元）約 39.5 GiB，Q8_0（8.5 位元）約 69.3 GiB。各種量化格式的意思，請看量化教學。
• KV 快取：上下文中每個 token 的注意力鍵值。Llama 3.3 70B 的每一層都保留完整快取，所以快取大小和上下文長度成正比：以預設的 16 位元格式計算，8K 約 2.5 GiB，32K 約 10.0 GiB，用滿 131,072 個 token 的完整上下文則約 40.0 GiB。
• 執行環境開銷：CUDA 或 Metal 的緩衝區與運算暫存，本站的方法以權重的一定比例估算。

以上為依本站估算方法算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。

從表格可以看出兩件事。第一，FP16 對 70B 模型來說不是實際的本地選項，幾乎所有人都跑量化版本。第二，上下文是執行時你能自己調的部分：同一份權重，開 8K 和開 128K 需要的硬體完全不同。

哪些硬體跑得動 70B 模型

下面兩張表列出每台裝置的 GPU 可用記憶體，以及各種設定下的預估生成速度；放不下的標示「放不下」。先看顯示卡，最後一列是 NVIDIA 的 DGX Station：

以上為依本站估算方法算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。

再看 Mac 和統一記憶體迷你電腦，這類機器的 GPU 和系統共用記憶體：

以上為依本站估算方法算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。

這兩張表怎麼看：

• Q4_K_M、8K 上下文（44.5 GiB）是入門門檻。 48 GB 的卡放得下，但餘裕很小：RTX PRO 5000 48GB Blackwell 預估每秒約 21 個 token，較舊的 RTX A6000 約 12 個。64 GB 的 Mac 和迷你電腦也放得下。
• Q4_K_M、32K 上下文（52.0 GiB） 需要更多記憶體：RTX PRO 5000 72GB Blackwell（每秒約 21 個 token）、搭載 M5 Ultra 的 96 GB Mac Studio（約 18 個），或是 128 GB 的機器。
• Q8_0（8K 約 75.7 GiB） 要 96 GB 的顯示卡，或 128 GB 以上的統一記憶體。96 GB 的 Mac 不夠：它的 GPU 預設只能用約 72 GB。
• 統一記憶體不等於全部都是 GPU 記憶體。 macOS 和迷你電腦的作業系統預設只讓 GPU 使用其中一部分（本站估算假設 Mac 是 75%，各裝置的數字見表中「GPU 可用記憶體」欄），所以 64 GB 的機器能給模型用的約是 48 GB。Mac 可以調高這個上限。
• 速度看頻寬，不看記憶體大小。 同樣的 Q4_K_M 模型，DGX Spark（273 GB/s）預估每秒約 3.8 個 token，M5 Ultra（1,200 GB/s）約 18 個，RTX PRO 6000（1,792 GB/s）約 28 個。原因請看顯示卡教學。

用兩張消費級顯示卡代替一張大卡

在消費級硬體上跑 70B，最常見的做法是插兩張 24 GB 的卡，例如兩張二手的 GeForce RTX 3090。模型放不進單一 GPU 時，Ollama 會把它分散到找得到的所有 GPU 上，llama.cpp 也是如此。兩張 24 GB 合計 48 GB，帳面上夠跑 Q4_K_M、8K 上下文。有三件事要注意：

• 很緊。 每張卡都要保留自己的執行環境緩衝區，實際能用的總量會略低於 48 GB。上下文開短一點，或把 KV 快取量化（見下一節）。
• 增加的是容量，不是速度。 模型的層分到兩張卡之後，每個 token 要先經過第一張卡上的層，再經過第二張，所以單人使用時的速度，大約等於一張放得下整個模型的卡。vLLM 這類服務引擎可以把每一層拆到多張卡上（張量平行），主要在多人同時發送請求時才能提高吞吐量。顯示卡教學有更詳細的說明。
• 電源與空間。 每張 RTX 3090 的額定功耗是 350 W，兩張就需要大瓦數電源、兩個插槽間距夠寬的主機板，以及良好的機殼風流。

本站的估算一次只算一台裝置，所以上面的表格沒有多卡組合。

讓 70B 模型用更少的記憶體

• 上下文只開需要的長度。 依 Ollama 官方文件，預設上下文是 4,096 個 token。要開更長，可以在啟動伺服器時設定 OLLAMA_CONTEXT_LENGTH，或在 ollama run 裡輸入 /set parameter num_ctx。記得上下文每多一個 token，就多占一點記憶體。

OLLAMA_CONTEXT_LENGTH=32768 ollama serve
ollama run llama3.3:70b

• 把 KV 快取量化。 開啟 Flash Attention 後，設定 OLLAMA_KV_CACHE_TYPE=q8_0，KV 快取只占預設 f16 約一半的記憶體；Ollama 文件說精度損失非常小。以 Llama 3.3 70B 開 32K 上下文為例，10.0 GiB 的快取大約可以省下一半。
• 非不得已，不要低於 4 位元。 Q3_K 和 2 到 3 位元的 IQ 量化能讓權重更小，但低於 4 位元後品質會掉得很快。本站估算從 Q4_K_M 起算；取捨請看量化教學，其中的實際算一次說明了為什麼 64 GB 的 Mac 最高只放得下 Q4_K_M。
• 最後手段：卸載到系統記憶體。 llama.cpp 和 Ollama 可以把放不下的層交給 CPU 跑，ollama ps 會顯示 CPU 與 GPU 的分配比例。跑得動，但系統記憶體比 GPU 記憶體慢得多，整個模型都會被拖慢。原因請看顯示卡教學。

密集模型還是 MoE？

不是每個大模型的執行成本都一樣。混合專家（MoE）模型要有足夠的記憶體放下全部參數，但每個 token 只讀啟用中的那一部分。Qwen3-Coder-Next (80B-A3B) 的參數量是 80B (3B 啟用)，用 Q4_K_M、8K 上下文約需 48.1 GiB，和 Llama 3.3 70B 相近，但在同樣的硬體上，預估速度快了好幾倍：

以上為依本站估算方法算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。

MoE 的速度估算請當成上限：專家之間的路由會增加額外運算，本站的頻寬公式沒有算進去。即使如此，這也說明了大記憶體、低頻寬的機器為什麼比較適合跑 MoE 模型，而不是密集的 70B。

想跑 70B，該買哪種機器

• 花費最低、比較費工： 桌機插兩張 24 GB 的卡，跑 Q4_K_M、短上下文。先確認電源、機殼和散熱。
• 單卡、速度最快： RTX PRO 6000 Blackwell Workstation Edition（96 GB）在表格中的每種設定都放得下，價格是工作站等級。72 GB 的 RTX PRO 5000 可以跑 4 位元、開到 32K 上下文，48 GB 的版本則只夠跑 4 位元、短上下文。
• 一台安靜、記憶體大的主機： Mac Studio。搭載 M5 Ultra 的 96 GB 版本，4 位元可以開到 32K 上下文。要跑 8 位元，需要 128 GB 的 M5 Max（每秒約 5.3 個 token）或 256 GB 的 M5 Ultra（約 10 個）。記憶體要在下單時選好，之後無法加裝。
• 小機身、NVIDIA 軟體生態： 128 GB 的 DGX Spark 連 Q8_0 都放得下，但跑密集的 70B 模型很慢，比較適合 MoE 模型。

價格與性價比的並列比較，請看Mac Studio 還是 NVIDIA 顯示卡，以及本站的價格追蹤。

地端世界以報價方式銷售表格中的部分硬體，包括 NVIDIA 工作站顯示卡、DGX Spark 與 DGX Station。不論我們是否銷售，每台裝置都用同一套資料與方法估算；詳見獨立性政策。