Ollama、LM Studio、llama.cpp、vLLM 怎麼選？本地 LLM 執行工具比較

在自己電腦上跑模型，選 Ollama 或 LM Studio；想完全掌控參數、或硬體比較冷門，用 llama.cpp；一台 GPU 伺服器要同時服務很多人，用 vLLM。 Ollama 上手最快：裝好、下一行指令，就有一個在背景執行、其他程式隨時能呼叫的服務。LM Studio 是功能最完整的圖形介面程式，有模型瀏覽器、記憶體不足警告，在 Mac 上還有 Apple 的 MLX 引擎。llama.cpp 是本地 AI 世界中許多工具底層使用的開源引擎，直接使用它可以調整所有參數、支援的硬體也最廣。vLLM 則是另一類工具：專為 Linux 設計的服務引擎，讓 GPU 能同時處理大量請求，這正是公司內部伺服器需要的。四者都提供相容 OpenAI 的 API，所以架在上面的應用程式可以在它們之間切換。

一張表看懂差異

Ollama：最快跑起模型的方法

Ollama 會以背景服務的形式安裝，並附有整理好的模型庫。你用名稱和大小指定模型，它就會下載正確的檔案、載入 GPU，電腦上任何程式都能透過 localhost:11434 呼叫它，可以用 Ollama 自己的 API，也可以用相容 OpenAI 的 /v1 端點。

ollama run qwen3:8b

優點：從零到能用的路徑最短；標籤直接標示大小和量化等級；API 永遠在線；支援 NVIDIA、AMD（ROCm v7），並透過 Vulkan 支援包含 Intel 在內的其他 GPU；在 Apple Silicon 上，從 0.40.0 版起支援的模型架構預設使用 Apple 的 MLX 引擎。

限制：底層參數不如 llama.cpp 多，但重要的設定（上下文長度、平行請求數、KV 快取類型、模型常駐時間）都能透過設定或環境變數調整。VRAM 小於 24 GiB 時，預設上下文只有 4K token，沒調大之前拿來處理文件或寫程式都不夠用。同一個模型預設一次只處理一個請求（OLLAMA_NUM_PARALLEL 預設為 1），其他請求會排隊。

各作業系統的安裝步驟，請看Ollama 安裝教學。

LM Studio：圖形化的模型工作台

LM Studio 是一個用來找模型、下載模型、和模型聊天的桌面程式。Discover 分頁可以搜尋 Hugging Face；載入模型時可以設定上下文長度和 GPU 卸載比例；如果模型很可能讓記憶體不足，LM Studio 會在載入前先警告你。在 Apple Silicon 上，它同時能跑 GGUF 模型（透過 llama.cpp）和 MLX 模型。

它也能在沒有視窗的情況下運作。lms 命令列工具隨程式一起安裝，另外還有名為 llmster 的無介面常駐程式，可以在沒有桌面環境的伺服器上執行 LM Studio 的引擎：

lms get openai/gpt-oss-20b
lms load openai/gpt-oss-20b
lms server start

伺服器預設在 http://localhost:1234 提供相容 OpenAI 的端點。開啟 Serve on Local Network 開關，或執行 lms server start --bind 0.0.0.0，其他電腦就能連線；LM Studio 文件建議這麼做時要一併開啟驗證機制。

授權：從 2025 年 7 月起，LM Studio 在家裡和公司都能免費使用。桌面程式是專有軟體：使用條款允許個人與公司內部業務用途，禁止轉散布或逆向工程。lms 命令列工具、JavaScript 與 Python SDK，以及 MLX 引擎則採用 MIT 授權。

系統需求：Mac 需要 Apple Silicon 與 macOS 14 以上（不支援 Intel Mac）；Windows 需要支援 AVX2 的 x64 處理器或 ARM 裝置；Linux 需要 x64 或 ARM64 系統。LM Studio 建議 16 GB 記憶體，Windows 上至少要有 4 GB 獨立顯示記憶體。

llama.cpp：藏在底層的引擎

llama.cpp 是用 C/C++ 寫成的推論引擎，GGUF 格式就是它發明的。直接使用它，可以最早用到新模型（新架構常常最先在這裡支援）、調整所有參數，並享有最廣的硬體支援：它的 README 列出了 NVIDIA（CUDA）、AMD（HIP）、Apple（Metal）、Intel（SYCL）、任何支援 Vulkan 的 GPU 等多種後端。

可以用套件管理工具安裝，或使用新的官方安裝程式：

brew install llama.cpp

winget install llama.cpp

curl -LsSf https://llama.app/install.sh | sh

接著從 Hugging Face 下載模型直接聊天，或啟動相容 OpenAI、附網頁聊天介面的伺服器：

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

新版本自動化了很多事：上下文長度預設採用模型本身的上限；GPU 卸載（-ngl）預設為 auto；預設開啟的 --fit 選項，會把你沒手動設定的參數往下調（上下文最低調到 4,096 token），讓模型放得進記憶體。Flash Attention 預設為 auto，KV 快取也能用 --cache-type-k 和 --cache-type-v 量化。

有一個變動要特別注意：伺服器預設連接埠在 2026 年 10 月 9 日從 8080 改成 9931（PR #30159，每日建置版 b11521 起）。v0.6.0 正式版和 Docker 映像檔仍然使用 8080。如果某份教學或某個程式預期的是 8080，啟動時加上 --port 8080 即可。

vLLM：一台 GPU 伺服器服務很多人

vLLM 為吞吐量而生。它的 PagedAttention 記憶體管理和連續批次處理（continuous batching），讓一張 GPU 能同時處理許多請求，這在團隊共用一台機器時特別重要。它也能用張量平行（--tensor-parallel-size）把大模型拆到多張 GPU 上。

它同時也是四者中門檻最高的：

• 只支援 Linux。 Windows 要透過 WSL；macOS 的官方版本只能用 CPU，而且必須從原始碼編譯，社群的 vLLM-Metal 外掛則可以使用 Apple GPU。
• 支援的加速器：運算能力 7.5 以上的 NVIDIA GPU（RTX 20 系列以後、T4、A100、H100 等）、ROCm 6.3 以上的 AMD GPU（包含 Radeon RX 7900、RX 9000 系列與 Ryzen AI MAX）、Intel GPU、Google TPU，以及 CPU 版本。
• Python 3.11 到 3.14（依官方文件）。

官方建議的 NVIDIA 安裝方式使用 uv：

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels

接著從 Hugging Face 載入模型提供服務，伺服器會在 http://localhost:8000 等待連線：

vllm serve Qwen/Qwen2.5-1.5B-Instruct

新手常被兩件事嚇到。第一，vLLM 啟動時就會預先保留大部分 GPU 記憶體給 KV 快取：--gpu-memory-utilization 預設是 0.92，所以這張 GPU 幾乎不能再拿來做別的事。第二，vLLM 載入的是 Hugging Face 權重，而不是 GGUF 檔：你要跑的是 Qwen/Qwen3-8B，而不是 qwen3:8b 這種 Ollama 標籤；量化版本則是 AWQ、GPTQ 或 FP8 等格式。用 --max-model-len 可以限制上下文長度和它保留的記憶體。

不只一個人用的時候

家裡或幾個人的小團隊，用 Ollama 或 LM Studio 再加一個聊天介面通常就夠了：請求會排隊，每個回答以單人速度串流輸出。在 Ollama 中調高 OLLAMA_NUM_PARALLEL，就能同時處理對同一個模型的多個請求；Ollama 文件提醒，所需記憶體會隨「平行請求數 × 上下文長度」增加。當很多人同時在用、排隊等待變成問題時，vLLM 的連續批次處理能一起服務他們，從同一張 GPU 榨出高得多的總吞吐量。小團隊的做法，請看用 Open WebUI＋Ollama 打造公司內部的私有 ChatGPT。

同一個模型，在各工具裡怎麼叫

每個工具對模型的命名方式不同。以 Qwen3-8B 為例：

不管用哪個工具，所需記憶體都一樣：請看模型頁面或「跑得動嗎？」試算。

Windows 使用者怎麼選

在台灣，很多人的主力電腦是 Windows 桌機或筆電，所以特別整理一下四個工具在 Windows 上的狀況：

• Ollama：支援 Windows 10 22H2 以上的家用版與專業版。安裝不需要系統管理員權限，會裝在你的使用者資料夾，對公司配發、權限受限的電腦特別友善。NVIDIA 顯示卡需要 551.61 以上的驅動程式。
• LM Studio：支援 x64 與 ARM 版 Windows，x64 處理器必須支援 AVX2 指令集；官方建議至少 16 GB 記憶體與 4 GB 獨立顯示記憶體。
• llama.cpp：可以用 winget install llama.cpp 安裝，也有 CUDA、Vulkan、HIP 等各種後端的 Windows 預先編譯版本，AMD 或 Intel 顯示卡的使用者可以從 Vulkan 版開始試。
• vLLM：不支援原生 Windows，必須在 WSL（Windows 子系統 Linux 版）裡執行。只有一台 Windows 電腦、又只有自己要用的話，前三個工具會簡單得多。

到底該用哪一個？

1. 今晚就想試試本地 AI：Ollama；喜歡圖形介面就用 LM Studio。
2. 你用的是 Mac：Ollama 或 LM Studio，兩者在 Apple Silicon 上都會用 MLX。vLLM 不是實際的選擇。
3. 想比較不同模型和量化版本：LM Studio，模型瀏覽器和記憶體警告讓比較變得很輕鬆。
4. 你的 AMD 或 Intel 顯示卡在其他工具上支援不佳：llama.cpp，搭配 Vulkan、HIP 或 SYCL 後端。
5. 要在一台機器上開發應用程式或 AI 代理：Ollama 或 llama.cpp 的伺服器，兩者都是隨時在線的 API。
6. 要用 Linux GPU 伺服器服務整個團隊：少數幾人用 Ollama；很多人同時使用就上 vLLM。

不用擔心被綁住。四個工具都支援 OpenAI API 格式，聊天介面、寫程式工具和你自己的程式，只要改一個網址就能換到另一個工具。