# Ollama、LM Studio、llama.cpp、vLLM 怎麼選？本地 LLM 執行工具比較

> 地端世界 · https://onpremworld.com/zh-tw/guides/ollama-vs-lm-studio-vs-llama-cpp-vs-vllm · 更新日期: 2026-10-14 · CC BY 4.0

**在自己電腦上跑模型，選 Ollama 或 LM Studio；想完全掌控參數、或硬體比較冷門，用 llama.cpp；一台 GPU 伺服器要同時服務很多人，用 vLLM。** Ollama 上手最快：裝好、下一行指令，就有一個在背景執行、其他程式隨時能呼叫的服務。LM Studio 是功能最完整的圖形介面程式，有模型瀏覽器、記憶體不足警告，在 Mac 上還有 Apple 的 MLX 引擎。llama.cpp 是本地 AI 世界中許多工具底層使用的開源引擎，直接使用它可以調整所有參數、支援的硬體也最廣。vLLM 則是另一類工具：專為 Linux 設計的服務引擎，讓 GPU 能同時處理大量請求，這正是公司內部伺服器需要的。四者都提供相容 OpenAI 的 API，所以架在上面的應用程式可以在它們之間切換。

## 一張表看懂差異

| | Ollama | LM Studio | llama.cpp | vLLM |
|---|---|---|---|---|
| 最適合 | 最快上手；在一台機器上提供模型給其他程式 | 圖形介面；瀏覽、試用各種模型 | 完全掌控；新模型；最廣的硬體支援 | GPU 伺服器同時服務多人 |
| 使用方式 | 命令列，macOS 與 Windows 另有 App | 桌面程式、`lms` 命令列、無介面的 `llmster` | 命令列工具與內建網頁聊天介面 | Python 套件與命令列伺服器 |
| 作業系統 | macOS 14+、Windows 10 22H2+、Linux | macOS 14+（僅 Apple Silicon）、Windows（x64 需 AVX2，或 ARM）、Linux（x64、ARM64） | macOS、Windows、Linux 等 | Linux（Windows 透過 WSL） |
| 模型格式 | Ollama 模型庫（GGUF 與 MLX），或匯入自己的 GGUF | Hugging Face 上的 GGUF 與 MLX | GGUF | Hugging Face 權重（BF16、FP8、AWQ、GPTQ…）；GGUF 僅實驗性支援 |
| 預設 API 位址 | `localhost:11434`（原生與 `/v1`） | `localhost:1234`（`/v1`） | 2026/10/9 之後的版本為 `127.0.0.1:9931`；v0.6.0 為 `8080` | `localhost:8000`（`/v1`） |
| 授權 | MIT | 免費程式（非開源）；CLI 與 SDK 為 MIT | MIT | Apache-2.0 |
| 最新版本（2026/10/14） | 0.40.4 | 0.4.26 | v0.6.0，另有每日建置版 | v0.31.0 |

## Ollama：最快跑起模型的方法

Ollama 會以背景服務的形式安裝，並附有整理好的模型庫。你用名稱和大小指定模型，它就會下載正確的檔案、載入 GPU，電腦上任何程式都能透過 `localhost:11434` 呼叫它，可以用 Ollama 自己的 API，也可以用相容 OpenAI 的 `/v1` 端點。

```bash
ollama run qwen3:8b
```

**優點**：從零到能用的路徑最短；標籤直接標示大小和量化等級；API 永遠在線；支援 NVIDIA、AMD（ROCm v7），並透過 Vulkan 支援包含 Intel 在內的其他 GPU；在 Apple Silicon 上，從 0.40.0 版起支援的模型架構預設使用 Apple 的 MLX 引擎。

**限制**：底層參數不如 llama.cpp 多，但重要的設定（上下文長度、平行請求數、KV 快取類型、模型常駐時間）都能透過設定或環境變數調整。VRAM 小於 24 GiB 時，預設上下文只有 4K token，沒調大之前拿來處理文件或寫程式都不夠用。同一個模型預設一次只處理一個請求（`OLLAMA_NUM_PARALLEL` 預設為 1），其他請求會排隊。

各作業系統的安裝步驟，請看[Ollama 安裝教學](https://onpremworld.com/zh-tw/guides/install-ollama.md)。

## LM Studio：圖形化的模型工作台

LM Studio 是一個用來找模型、下載模型、和模型聊天的桌面程式。Discover 分頁可以搜尋 Hugging Face；載入模型時可以設定上下文長度和 GPU 卸載比例；如果模型很可能讓記憶體不足，LM Studio 會在載入前先警告你。在 Apple Silicon 上，它同時能跑 GGUF 模型（透過 llama.cpp）和 MLX 模型。

它也能在沒有視窗的情況下運作。`lms` 命令列工具隨程式一起安裝，另外還有名為 llmster 的無介面常駐程式，可以在沒有桌面環境的伺服器上執行 LM Studio 的引擎：

```bash
lms get openai/gpt-oss-20b
lms load openai/gpt-oss-20b
lms server start
```

伺服器預設在 `http://localhost:1234` 提供相容 OpenAI 的端點。開啟 **Serve on Local Network** 開關，或執行 `lms server start --bind 0.0.0.0`，其他電腦就能連線；LM Studio 文件建議這麼做時要一併開啟驗證機制。

**授權**：從 2025 年 7 月起，LM Studio 在家裡和公司都能免費使用。桌面程式是專有軟體：使用條款允許個人與公司內部業務用途，禁止轉散布或逆向工程。`lms` 命令列工具、JavaScript 與 Python SDK，以及 MLX 引擎則採用 MIT 授權。

**系統需求**：Mac 需要 Apple Silicon 與 macOS 14 以上（不支援 Intel Mac）；Windows 需要支援 AVX2 的 x64 處理器或 ARM 裝置；Linux 需要 x64 或 ARM64 系統。LM Studio 建議 16 GB 記憶體，Windows 上至少要有 4 GB 獨立顯示記憶體。

## llama.cpp：藏在底層的引擎

llama.cpp 是用 C/C++ 寫成的推論引擎，GGUF 格式就是它發明的。直接使用它，可以最早用到新模型（新架構常常最先在這裡支援）、調整所有參數，並享有最廣的硬體支援：它的 README 列出了 NVIDIA（CUDA）、AMD（HIP）、Apple（Metal）、Intel（SYCL）、任何支援 Vulkan 的 GPU 等多種後端。

可以用套件管理工具安裝，或使用新的官方安裝程式：

```bash
brew install llama.cpp
```

```bash
winget install llama.cpp
```

```bash
curl -LsSf https://llama.app/install.sh | sh
```

接著從 Hugging Face 下載模型直接聊天，或啟動相容 OpenAI、附網頁聊天介面的伺服器：

```bash
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
```

新版本自動化了很多事：上下文長度預設採用模型本身的上限；GPU 卸載（`-ngl`）預設為 `auto`；預設開啟的 `--fit` 選項，會把你沒手動設定的參數往下調（上下文最低調到 4,096 token），讓模型放得進記憶體。Flash Attention 預設為 `auto`，KV 快取也能用 `--cache-type-k` 和 `--cache-type-v` 量化。

有一個變動要特別注意：伺服器預設連接埠在 2026 年 10 月 9 日從 8080 改成 **9931**（PR #30159，每日建置版 b11521 起）。v0.6.0 正式版和 Docker 映像檔仍然使用 8080。如果某份教學或某個程式預期的是 8080，啟動時加上 `--port 8080` 即可。

## vLLM：一台 GPU 伺服器服務很多人

vLLM 為吞吐量而生。它的 PagedAttention 記憶體管理和連續批次處理（continuous batching），讓一張 GPU 能同時處理許多請求，這在團隊共用一台機器時特別重要。它也能用張量平行（`--tensor-parallel-size`）把大模型拆到多張 GPU 上。

它同時也是四者中門檻最高的：

- **只支援 Linux。** Windows 要透過 WSL；macOS 的官方版本只能用 CPU，而且必須從原始碼編譯，社群的 vLLM-Metal 外掛則可以使用 Apple GPU。
- **支援的加速器**：運算能力 7.5 以上的 NVIDIA GPU（RTX 20 系列以後、T4、A100、H100 等）、ROCm 6.3 以上的 AMD GPU（包含 Radeon RX 7900、RX 9000 系列與 Ryzen AI MAX）、Intel GPU、Google TPU，以及 CPU 版本。
- **Python 3.11 到 3.14**（依官方文件）。

官方建議的 NVIDIA 安裝方式使用 uv：

```bash
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels
```

接著從 Hugging Face 載入模型提供服務，伺服器會在 `http://localhost:8000` 等待連線：

```bash
vllm serve Qwen/Qwen2.5-1.5B-Instruct
```

新手常被兩件事嚇到。第一，vLLM 啟動時就會預先保留大部分 GPU 記憶體給 KV 快取：`--gpu-memory-utilization` 預設是 0.92，所以這張 GPU 幾乎不能再拿來做別的事。第二，vLLM 載入的是 Hugging Face 權重，而不是 GGUF 檔：你要跑的是 Qwen/Qwen3-8B，而不是 `qwen3:8b` 這種 Ollama 標籤；量化版本則是 AWQ、GPTQ 或 FP8 等格式。用 `--max-model-len` 可以限制上下文長度和它保留的記憶體。

## 不只一個人用的時候

家裡或幾個人的小團隊，用 Ollama 或 LM Studio 再加一個聊天介面通常就夠了：請求會排隊，每個回答以單人速度串流輸出。在 Ollama 中調高 `OLLAMA_NUM_PARALLEL`，就能同時處理對同一個模型的多個請求；Ollama 文件提醒，所需記憶體會隨「平行請求數 × 上下文長度」增加。當很多人同時在用、排隊等待變成問題時，vLLM 的連續批次處理能一起服務他們，從同一張 GPU 榨出高得多的總吞吐量。小團隊的做法，請看[用 Open WebUI＋Ollama 打造公司內部的私有 ChatGPT](https://onpremworld.com/zh-tw/guides/private-chatgpt-open-webui.md)。

## 同一個模型，在各工具裡怎麼叫

每個工具對模型的命名方式不同。以 [Qwen3-8B](https://onpremworld.com/zh-tw/models/qwen3-8b.md) 為例：

| 工具 | 指定方式 |
|---|---|
| Ollama | `qwen3:8b`（預設 Q4_K_M；其他量化等級是不同標籤） |
| LM Studio | 在 Discover 搜尋，或用 `lms get` 加模型名稱；選 GGUF，Mac 上也可選 MLX |
| llama.cpp | 用 `-hf` 指定 Hugging Face 上的 GGUF 儲存庫，可加上 `:Q6_K` 等量化等級 |
| vLLM | 原始儲存庫 `Qwen/Qwen3-8B`，或 AWQ、GPTQ、FP8 等量化版本 |

不管用哪個工具，所需記憶體都一樣：請看[模型頁面](https://onpremworld.com/zh-tw/models/qwen3-8b.md)或[「跑得動嗎？」試算](https://onpremworld.com/zh-tw/can-i-run.md)。

## Windows 使用者怎麼選

在台灣，很多人的主力電腦是 Windows 桌機或筆電，所以特別整理一下四個工具在 Windows 上的狀況：

- **Ollama**：支援 Windows 10 22H2 以上的家用版與專業版。安裝**不需要系統管理員權限**，會裝在你的使用者資料夾，對公司配發、權限受限的電腦特別友善。NVIDIA 顯示卡需要 551.61 以上的驅動程式。
- **LM Studio**：支援 x64 與 ARM 版 Windows，x64 處理器必須支援 AVX2 指令集；官方建議至少 16 GB 記憶體與 4 GB 獨立顯示記憶體。
- **llama.cpp**：可以用 `winget install llama.cpp` 安裝，也有 CUDA、Vulkan、HIP 等各種後端的 Windows 預先編譯版本，AMD 或 Intel 顯示卡的使用者可以從 Vulkan 版開始試。
- **vLLM**：不支援原生 Windows，必須在 WSL（Windows 子系統 Linux 版）裡執行。只有一台 Windows 電腦、又只有自己要用的話，前三個工具會簡單得多。

## 到底該用哪一個？

1. **今晚就想試試本地 AI**：Ollama；喜歡圖形介面就用 LM Studio。
2. **你用的是 Mac**：Ollama 或 LM Studio，兩者在 Apple Silicon 上都會用 MLX。vLLM 不是實際的選擇。
3. **想比較不同模型和量化版本**：LM Studio，模型瀏覽器和記憶體警告讓比較變得很輕鬆。
4. **你的 AMD 或 Intel 顯示卡在其他工具上支援不佳**：llama.cpp，搭配 Vulkan、HIP 或 SYCL 後端。
5. **要在一台機器上開發應用程式或 AI 代理**：Ollama 或 llama.cpp 的伺服器，兩者都是隨時在線的 API。
6. **要用 Linux GPU 伺服器服務整個團隊**：少數幾人用 Ollama；很多人同時使用就上 vLLM。

不用擔心被綁住。四個工具都支援 OpenAI API 格式，聊天介面、寫程式工具和你自己的程式，只要改一個網址就能換到另一個工具。

## 常見問題

### 新手該用哪個本地 LLM 工具？

Ollama 或 LM Studio。Ollama 一步安裝、一行指令就能跑模型，macOS 和 Windows 版還有簡單的 App；LM Studio 是完整的圖形介面程式，搜尋、下載、聊天都不必碰終端機。兩者在 Windows、macOS、Linux 上都能用。

### LM Studio 可以免費商用嗎？

可以。從 2025 年 7 月起，LM Studio 在家裡和公司都能免費使用，不需另外申請授權；使用條款允許用於個人及公司內部業務用途。桌面程式本身不是開源軟體，但 lms 指令工具、SDK 和 MLX 引擎採用 MIT 授權。

### Ollama 底層是 llama.cpp 嗎？

部分是。Ollama 在 0.30 版加入 llama.cpp 作為 GGUF 模型的後端；從 0.40.0 版開始，在 Apple Silicon 上只要模型架構支援，就預設改用 Apple 的 MLX 執行。Ollama 本身是 MIT 授權的開源軟體。

### vLLM 可以在 Windows 或 Mac 上跑嗎？

Windows 不能直接跑：vLLM 支援 Linux，Windows 使用者要透過 WSL。在 Mac 上，官方版本只能用 CPU，而且必須自行從原始碼編譯；社群的 vLLM-Metal 外掛則透過 MLX 使用 Apple GPU。Mac 使用者比較實際的選擇是 Ollama 或 LM Studio。

### 哪個工具跑最快？

一個人聊天時差距不大，因為生成速度主要受硬體的記憶體頻寬限制，引擎的運算核心和量化格式只會造成部分差異。如果是很多人同時使用，vLLM 以連續批次處理為核心設計，在它支援的 NVIDIA 或 AMD GPU 上通常最快。

### vLLM 可以用 GGUF 檔嗎？

只能實驗性使用。vLLM 文件形容它的 GGUF 支援「高度實驗性、尚未最佳化」，而且現在要另外安裝 vllm-gguf-plugin 外掛。vLLM 的設計是載入 Hugging Face 上的模型權重，例如 BF16、FP8、AWQ、GPTQ 等格式。

## 資料來源

- https://docs.ollama.com/faq
- https://docs.ollama.com/gpu
- https://docs.ollama.com/api/openai-compatibility
- https://github.com/ollama/ollama/releases/tag/v0.40.0
- https://ollama.com/blog/improved-performance-and-model-support-with-gguf
- https://lmstudio.ai/docs/app/system-requirements
- https://lmstudio.ai/blog/free-for-work
- https://lmstudio.ai/app-terms
- https://lmstudio.ai/docs/cli
- https://lmstudio.ai/docs/app/basics/lmstudio-vs-llmster-vs-lms
- https://lmstudio.ai/docs/developer/core/headless
- https://lmstudio.ai/docs/developer/openai-compat
- https://lmstudio.ai/docs/developer/core/server/serve-on-network
- https://lmstudio.ai/blog/lmstudio-v0.3.27
- https://lmstudio.ai/changelog/lmstudio-v0.4.26
- https://github.com/ggml-org/llama.cpp
- https://github.com/ggml-org/llama.cpp/blob/master/docs/install.md
- https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
- https://github.com/ggml-org/llama.cpp/pull/30159
- https://github.com/ggml-org/llama.cpp/releases/tag/v0.6.0
- https://github.com/vllm-project/vllm
- https://docs.vllm.ai/en/latest/getting_started/quickstart/
- https://docs.vllm.ai/en/latest/getting_started/installation/gpu/
- https://docs.vllm.ai/en/latest/getting_started/installation/cpu/
- https://docs.vllm.ai/en/latest/configuration/engine_args/
- https://docs.vllm.ai/en/latest/features/quantization/gguf/
- https://github.com/vllm-project/vllm/releases/tag/v0.31.0