# 估算方法說明

> 地端世界 · https://onpremworld.com/zh-tw/methodology · 最後更新: 2026-10-16 · CC BY 4.0

## 一句話說明

能不能跑，看記憶體放不放得下；跑多快，主要看記憶體頻寬。我們把模型所需記憶體（權重＋KV 快取＋執行環境開銷）與硬體可用記憶體比較，再用頻寬估算生成速度。這是估算，不是實測。

## 所需記憶體

權重大小＝參數量 × 每權重位元數 ÷ 8。量化版本（如 Q4_K_M）的位元數是 GGUF 格式的近似平均值。

KV 快取＝2（K 與 V）× 有快取的層數 × KV 頭數 × 每頭維度 × 2 位元組（FP16）× 上下文 token 數。層數、KV 頭數與注意力架構取自各模型在 Hugging Face 的 config.json。

執行環境開銷＝0.5 GiB＋權重的 5%，涵蓋 CUDA／Metal 環境與運算暫存。

```
總計 = 參數量×位元數/8 + 2×層數×KV頭數×每頭維度×2×上下文 + (0.5 GiB + 5%×權重)
```

## 可用記憶體

獨立顯示卡：全部 VRAM（開銷已計入模型端）。

Apple Silicon 與統一記憶體電腦：預設約 75% 可給 GPU 使用。macOS 可用 sysctl 調高上限，迷你電腦可在 BIOS 調整配置，實際可用量可能更高。

## 生成速度

逐 token 生成時，每產生一個 token 都要讀過一次「啟用中的」權重，因此速度主要受記憶體頻寬限制：每個 token 的時間 ≈ 每 token 讀取量 ÷（頻寬 × 效率），再加上固定的 2 毫秒。MoE 模型只計算啟用參數，所以比同總參數量的密集模型快很多。

固定的 2 毫秒涵蓋讀權重以外的工作：核心啟動、對 KV 快取做注意力計算、MoE 路由與取樣。它對大型密集模型幾乎沒有影響，但能避免小模型和 MoE 模型在高速顯示卡上被估成每秒數百個 token，實際執行很少到那麼快。

效率係數與每 token 固定開銷都是依公開實測校準的經驗值。這裡不估算提示詞處理（prefill）速度，它主要受算力影響。

## 已知限制

KV 快取依各模型的注意力架構計算：混合線性注意力（Qwen3.5 之後）只算全注意力層；滑動視窗（Gemma、gpt-oss）與分塊注意力（Llama 4）的局部層以視窗大小為上限；MLA（DeepSeek、Kimi、GLM）使用壓縮後的快取大小。DeepSeek-V4 的壓縮稀疏注意力暫不估算。

未計算多卡分割、部分卸載到 CPU 記憶體、KV 快取量化（Q8/Q4 cache）等進階設定。

速度會因執行環境（llama.cpp、Ollama、LM Studio、vLLM、MLX）、驅動與批次大小而不同。歡迎在論壇回報實測數據，我們會用來校準。