本地跑 LLM 要買什麼顯示卡？VRAM 與記憶體頻寬怎麼選

先買 VRAM，再看頻寬。 顯示卡上的 VRAM（顯示記憶體）決定你能不能把模型載入：放不下的模型不是直接失敗，就是溢出到系統記憶體、慢到幾乎不能用。模型放得下之後，記憶體頻寬決定它回答得多快，因為每生成一個新 token，都要把模型啟用中的權重從記憶體完整讀一遍。換成買卡的建議就是：新卡以 16 GB 為起點；想跑現在最熱門的 24B 到 32B 模型，選 24 到 32 GB；想跑 70B 等級的模型，要 48 GB 以上，或改用大容量的統一記憶體機器。下面的表格都來自本站的硬體資料、模型資料和公開的估算方法，其他組合可以直接到「跑得動嗎？」試算查。

一個模型到底要吃多少記憶體

模型載入後，記憶體大致分成三塊：

• 權重：參數量 × 每個權重用幾個位元存。量化就是在降低每權重的位元數，細節請看量化教學。
• KV 快取：對話中每個 token 在注意力層留下的 Key 與 Value，上下文設得越長就越大。
• 執行環境開銷：CUDA 或 Metal 的執行環境、暫存緩衝區和中間運算結果。

以熱門的密集模型 Qwen3-32B 為例，它有 32.8B 參數，用 Q4_K_M 量化光是權重就約 18.5 GiB；加上 KV 快取和開銷，8K 上下文下估計需要 21.9 GiB：

以上為依本站估算方法算出的估計值，資料日期 2026-10-14。實際速度會因執行環境、驅動程式與提示詞長度而不同。

這張表有兩個重點。第一，同一個模型從 Q4_K_M 換成 FP16，記憶體大約變成三倍，這就是為什麼在自己電腦上跑模型的人幾乎都用量化版。第二，上下文不是免費的：光是 KV 快取，就從 8K 時的 2.0 GiB 長到 32K 時的 8.0 GiB。比較新的模型，例如 Qwen3.5-27B 或 Gemma 3 27B IT，採用混合式注意力，只有部分層需要完整的 KV 快取，所以上下文拉長時記憶體成長慢很多。每個模型頁面都有列出它的 KV 快取結構。

另外，記得留餘裕。桌面環境、瀏覽器和其他程式也會吃 VRAM，剛好塞滿的模型常常載入失敗，或被退回 CPU 執行。模型要 15 GB 的話，16 GB 的卡會很緊，20 或 24 GB 才算從容。

12、16、24、32 GB 各能跑什麼

以下表格列出在 8K 上下文下，每張卡放得下的最高品質量化（上限設在 Q8_0），以及估算的生成速度。這些是估算值、不是實測，並假設整個模型都放在 VRAM 裡。

12 GB：GeForce RTX 3060 (12 GB)

以上為依本站估算方法算出的估計值，資料日期 2026-10-14。實際速度會因執行環境、驅動程式與提示詞長度而不同。

12 GB 跑 7B 到 14B 的模型很輕鬆，很多還能用接近原始品質的 Q8_0。但一到 20B 以上就放不下了。

16 GB：GeForce RTX 5060 Ti 16GB

以上為依本站估算方法算出的估計值，資料日期 2026-10-14。實際速度會因執行環境、驅動程式與提示詞長度而不同。

到了 16 GB，gpt-oss-20b 這類 MoE（混合專家）模型開始放得下，24B 的密集模型也能用 Q4_K_M 勉強塞進去，只是幾乎沒有餘裕。

24 GB：GeForce RTX 4090

以上為依本站估算方法算出的估計值，資料日期 2026-10-14。實際速度會因執行環境、驅動程式與提示詞長度而不同。

24 GB 是 2026 年單張顯示卡跑本地 AI 的甜蜜點：熱門的 24B 到 32B 模型都能用 Q4_K_M 以上的品質放進去。Llama 3.3 70B 則不行，就算 Q4_K_M 也要約 44.5 GiB。

32 GB：GeForce RTX 5090

以上為依本站估算方法算出的估計值，資料日期 2026-10-14。實際速度會因執行環境、驅動程式與提示詞長度而不同。

比 24 GB 多出的 8 GB，換到的是同一批 27B 到 32B 模型可以用更高品質的量化、開更長的上下文，而不是能跑更大一級的模型。70B 密集模型和大型 MoE 模型還是需要更多記憶體。

為什麼頻寬決定速度

模型回答時是一個 token 一個 token 生出來的，每生成一個 token，都要把所有啟用中的權重從記憶體讀一次。GPU 的運算單元大部分時間其實在等資料，所以速度上限取決於記憶體頻寬：

每秒 token 數 ≈ 記憶體頻寬 × 效率 ÷ 每個 token 要讀取的啟用權重大小

本站的估算方法假設獨立顯示卡能發揮峰值頻寬的 70%。下面用同一個小模型 Qwen3-8B（Q4_K_M）比較幾張都放得下它的卡：

以上為依本站估算方法算出的估計值，資料日期 2026-10-14。實際速度會因執行環境、驅動程式與提示詞長度而不同。

排名幾乎完全跟著頻寬走，跟顯示卡是哪一代、打遊戲強不強關係不大。最明顯的例子是 GeForce RTX 4060 Ti 16GB：VRAM 比 RTX 3060 12GB 多，頻寬卻比較低（288 GB/s 對上 360 GB/s），所以兩張卡都放得下的模型，估算上反而是舊卡比較快。

有兩點要注意。第一，這個公式只算「生成」階段。讀取你的提示詞（prefill，預填）主要受算力限制，所以算力較強的新卡，在頻寬差不多時處理長文件還是比較快。第二，實際速度會受執行環境、驅動程式、量化運算核心和提示詞長度影響；請把表格當成排名和數量級參考，而不是保證值。

MoE 模型：記憶體看總參數，速度看啟用參數

MoE（混合專家）模型改變了這個取捨。所有專家都得放進記憶體，所以記憶體需求跟著總參數量走；但每個 token 只會經過少數幾個專家，所以速度跟著小得多的啟用參數量走。例如 gpt-oss-20b 是 21B (3.6B 啟用)，Qwen3-30B-A3B (2507) 是 30.5B (3.3B 啟用)。

這也是為什麼上面表格裡 MoE 模型的估算速度特別高。請把這些數字當成上限看待：在專家之間路由的額外工作，頻寬公式並沒有算進去。即使如此，放得進記憶體的 MoE 模型通常還是比同樣總大小的密集模型快得多，因此對「記憶體大、頻寬較低」的機器來說，MoE 是最划算的選擇。

放不下怎麼辦：卸載到系統記憶體

llama.cpp 和 Ollama 可以把一部分層留在 GPU，其餘放在系統記憶體由 CPU 執行。llama.cpp 用 -ngl（--n-gpu-layers）參數控制；在 Ollama 裡，ollama ps 指令的 PROCESSOR 欄位會顯示分配比例，例如 48%/52% CPU/GPU。這招可行，拿來試跑「稍微大了一點」的模型也很合理。但系統記憶體的頻寬只有現代顯示卡的一小部分，每多搬一層出去，整個模型的速度就往 CPU 的水準拉低一些。如果你發現自己老是在卸載，代表這個模型對你的卡來說太大了。

各顯示卡規格比較

以下是本站資料庫中的上市規格。最後一欄是首發建議售價除以 VRAM 容量，可以快速看出上市時每 GB 的價格；實際市價隨時在變，台灣通路價也常和美國建議售價有落差。

工作站卡則是用價格換容量：

從表上可以看出幾個規律：

• 二手 24 GB 卡。 GeForce RTX 3090 有 24 GB、頻寬 936 GB/s，生成速度接近 RTX 4090，二手市場上也很常見。買之前先確認卡況，以及你的電源供應器撐不撐得住。
• 功耗。 高階卡很耗電：RTX 5090 標示 575 W，RTX 4090 是 450 W。電源供應器請依顯示卡廠商的建議瓦數挑選。
• 單卡大容量。 RTX PRO 6000 Blackwell Workstation Edition（96 GB）這類工作站卡，單張就能跑 70B 密集模型和大型 MoE 模型，當然價格也是工作站等級。

NVIDIA、AMD 還是 Intel？

記憶體與頻寬的規則對每家廠商都一樣，但軟體支援程度不同：

• NVIDIA（CUDA）：Ollama、llama.cpp、LM Studio、vLLM 這些主流工具全部支援，是最不容易踩雷的選擇。
• AMD（ROCm 或 Vulkan）：Ollama 和 llama.cpp 都能用，但各工具支援的型號和作業系統不同。以 Ollama 為例，它需要 ROCm v7 驅動程式，並公布了支援的 Radeon 型號清單；清單外的卡則可改走 Vulkan 後端（Windows 與 Linux 版預設開啟）。買之前先查你要用的工具的 GPU 支援清單。
• Intel Arc（SYCL 或 Vulkan）：可透過 llama.cpp 的 SYCL 與 Vulkan 後端執行，Ollama 則透過 Vulkan 支援 Intel GPU；其他工具的支援範圍較窄，請先確認你想用的工具有列出你的卡。

本站每張顯示卡的頁面都有標示軟體堆疊，最新的支援狀況則以下方資料來源中各工具的官方文件為準。

多張顯示卡，或乾脆不用顯示卡

兩張卡增加的是容量，不是速度。llama.cpp 和 Ollama 會把模型的層分到不同 GPU 上，兩張 24 GB 的卡就能放下需要約 40 GB 的模型；但每個 token 還是要先經過第一張卡的層、再經過第二張，所以單人使用的速度大致和一張卡差不多。vLLM 這類服務引擎可以把每一層拆到多張卡上（張量平行），在多人同時發送請求時能提升吞吐量，那是公司內部伺服器的情境，不是一般桌機。

另一條路是換一種機器。Apple Silicon 的 Mac，以及 DGX Spark、Ryzen AI Max+ 395 (Strix Halo) systems 這類統一記憶體迷你電腦，GPU 能用的記憶體可以到 128 GB 甚至更多，但頻寬低很多（分別是 273 GB/s 和 256 GB/s）。它們能載入任何消費級顯示卡都放不下的模型，跑大型 MoE 模型表現不錯，但跑 70B 密集模型會很慢。這個取捨在用 Mac 跑本地 LLM 那篇有詳細說明。

五分鐘選卡檢查表

1. 列出你想跑的模型和需要的上下文長度。寫程式的 AI 代理、文件問答需要的上下文，比隨口聊天長很多。
2. 查出所需記憶體：看各模型頁面，或在「跑得動嗎？」試算選你的卡。
3. 挑 VRAM 夠用又有餘裕的卡中最便宜的那張，目標是模型估算值再加 10% 到 20%。
4. VRAM 都夠的情況下，優先選頻寬高的。 頻寬是預測生成速度最好的單一指標。
5. 確認軟體支援：你要用的工具和作業系統支不支援這張卡，AMD 和 Intel 的卡尤其要先查。