✓ 跑得動：最佳為 FP16，約需 17.6 GiB，預估每秒 43 個 token
| 量化 | 權重 | KV | 合計 | 可用 | 結果 | tok/s（預估） |
|---|
| Q4_K_M | 4.6 | 1.1 | 6.5 GiB | 24.0 GiB | 放得下 | 142 |
| Q5_K_M | 5.4 | 1.1 | 7.3 GiB | 24.0 GiB | 放得下 | 121 |
| Q6_K | 6.3 | 1.1 | 8.2 GiB | 24.0 GiB | 放得下 | 105 |
| Q8_0 | 8.1 | 1.1 | 10.1 GiB | 24.0 GiB | 放得下 | 81 |
| FP16 | 15.3 | 1.1 | 17.6 GiB | 24.0 GiB | 放得下 | 43 |
此為估算值，並非實測。 估算方法 · DeepSeek-R1-0528-Qwen3-8B · GeForce RTX 4090