GeForce RTX 5090
NVIDIA GeForce RTX 5090:32 GB 記憶體、1792 GB/s 頻寬。以 32 GB、8K 上下文估算,下表列出它能跑的開源模型。 32 GB VRAM、1,792 GB/s,是本站 GeForce 顯示卡中容量與頻寬最高的:32B 模型可用 6-bit 量化載入,用 4-bit 則能開更長的上下文。
最後更新: 2026-10-14
規格
能跑哪些模型
在 8K 上下文長度下,放得下的最高品質量化版本與預估生成速度。 此為估算值,並非實測。請參考估算方法說明。
| 模型 | 參數量 | 最佳量化 | 所需記憶體 | tok/s(預估) |
|---|---|---|---|---|
| Qwen3.5-35B-A3B | 35B (3B) | Q6_K | 28.9 GiB | 508 |
| Qwen3.6-35B-A3B | 35B (3B) | Q6_K | 28.9 GiB | 508 |
| Qwen3-32B | 32.8B | Q6_K | 28.9 GiB | 46 |
| DeepSeek-R1-Distill-Qwen-32B | 32.76B | Q6_K | 28.9 GiB | 46 |
| Gemma 4 31B IT | 30.7B | Q6_K | 26.3 GiB | 50 |
| Qwen3-30B-A3B (2507) | 30.5B (3.3B) | Q6_K | 25.8 GiB | 461 |
| Qwen3-Coder-30B-A3B-Instruct | 30.5B (3.3B) | Q6_K | 25.8 GiB | 461 |
| GLM-4.7-Flash (30B-A3B) | 30B (3B) | Q6_K | 25.1 GiB | 508 |
| Qwen3.5-27B | 27B | Q8_0 | 29.1 GiB | 44 |
| Qwen3.6-27B | 27B | Q8_0 | 29.1 GiB | 44 |
| Qwen3.8-27B | 27B | Q8_0 | 29.1 GiB | 44 |
| Gemma 3 27B IT | 27B | Q8_0 | 29.6 GiB | 44 |
| Gemma 4 26B A4B IT | 25.2B (3.8B) | Q8_0 | 27.0 GiB | 311 |
| Mistral Small 3.2 24B Instruct (2506) | 24B | Q8_0 | 26.7 GiB | 49 |
| Magistral Small 1.2 (2509) | 24B | Q8_0 | 26.7 GiB | 49 |
| Devstral Small 2 24B Instruct (2512) | 24B | Q8_0 | 26.7 GiB | 49 |
| gpt-oss-20b | 21B (3.6B) | Q8_0 | 22.5 GiB | 328 |
| Phi-4 (14B) | 14B | FP16 | 29.4 GiB | 45 |
| Gemma 3 12B IT | 12B | FP16 | 24.8 GiB | 52 |
| Gemma 4 12B Unified IT | 11.95B | FP16 | 24.2 GiB | 52 |
| Qwen3.5-9B | 9B | FP16 | 18.4 GiB | 70 |
| Qwen3-8B | 8.2B | FP16 | 17.7 GiB | 76 |
| DeepSeek-R1-0528-Qwen3-8B | 8.19B | FP16 | 17.6 GiB | 77 |
| Llama 3.1 8B Instruct | 8B | FP16 | 17.1 GiB | 78 |
| Gemma 4 E4B IT | 8B | FP16 | 16.4 GiB | 78 |
| Llama 3.2 3B Instruct | 3.21B | FP16 | 7.7 GiB | 195 |
| Kimi K2.6 | 1000B (32B) | 放不下 | – | – |
| DeepSeek-R1-0528 (671B) | 671B (37B) | 放不下 | – | – |
| DeepSeek-V4-Flash | 284B (13B) | 放不下 | – | – |
| Qwen3.8-Flash-Next | 180B (6B) | 放不下 | – | – |
| Qwen3.5-122B-A10B | 122B (10B) | 放不下 | – | – |
| Mistral Small 4 119B (2603) | 119B (6.5B) | 放不下 | – | – |
| gpt-oss-120b | 117B (5.1B) | 放不下 | – | – |
| Llama 4 Scout 17B-16E Instruct | 109B (17B) | 放不下 | – | – |
| GLM-4.5-Air | 106B (12B) | 放不下 | – | – |
| Qwen3-Coder-Next (80B-A3B) | 80B (3B) | 放不下 | – | – |
| Llama 3.3 70B Instruct | 70B | 放不下 | – | – |
價格
各商店的最新售價,以查價當天頁面標示的價格為準。
| 地區 | 商店 | 商品 | 售價 | 每 GB | 查價日 |
|---|---|---|---|---|---|
| 美國 | NeweggSlava computers | Gigabyte GeForce RTX 5090 WINDFORCE OC 32G GV-N5090WF3OC-32GD GDDR7 PCIe 5.0 x16 video cardNewegg marketplace seller; ships from Israel | US$6,885.90 | US$215/GB | 2026-10-14 |
- 美國性價比:跑 Llama 3.1 8B Instruct (Q4_K_M, 8K) 預估約每秒 258.6 個 token,換算為 3.8 tok/s/每 US$100。
同一款硬體查過兩天以上的價格後,這裡會出現價格走勢圖。
全部價格 →常見問題
GeForce RTX 5090 可以跑哪些 LLM?
以 32 GB 記憶體、8K 上下文估算,放得下的最大模型包括:Qwen3.5-35B-A3B、Qwen3.6-35B-A3B、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Gemma 4 31B IT。完整清單見下方表格。
GeForce RTX 5090 跑本地 LLM 有多快?
生成速度主要取決於記憶體頻寬(1792 GB/s)。以 Llama 3.1 8B Instruct(FP16)為例,預估約每秒 78 個 token;模型越大越慢。
GeForce RTX 5090 能跑 70B 等級的模型嗎?
Llama 3.3 70B Instruct 在 GeForce RTX 5090(32 GB)上,即使用 Q4_K_M 量化、8K 上下文也放不下。
資料來源
- https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/
- https://www.nvidia.com/en-us/geforce/graphics-cards/compare/
- https://nvidianews.nvidia.com/news/nvidia-blackwell-geforce-rtx-50-series-opens-new-world-of-ai-computer-graphics
- https://en.wikipedia.org/wiki/List_of_Nvidia_graphics_processing_units