# Ollama 安裝教學：在自己的電腦跑 LLM（Windows／macOS／Linux）

> 地端世界 · https://onpremworld.com/zh-tw/guides/install-ollama · 更新日期: 2026-10-14 · CC BY 4.0

**裝好 Ollama，接著只要一行指令：`ollama run` 加上模型名稱。** Windows 和 macOS 到 ollama.com 下載安裝檔（或用官方的一行安裝指令），Linux 則執行一行 `curl` 指令就裝好了。第一次執行某個模型時，Ollama 會自動下載、能放進顯示卡就放進顯示卡，然後在終端機裡開啟對話。整個過程真正需要動腦的只有一件事：選哪個模型。這取決於你有多少記憶體。依本站估算，8B 模型在 Ollama 預設量化下約需 5.9 GiB，近幾年的遊戲顯示卡或 16 GB 的 Mac 幾乎都放得下。本文依據 2026 年 10 月的 Ollama 官方文件（版本 0.40.4）逐步確認，每個步驟的出處都列在文末資料來源。

## 開始前：你需要什麼

- **Windows**：Windows 10 22H2 以上的家用版或專業版。NVIDIA 顯示卡需要 551.61 以上的驅動程式；AMD 顯示卡需要支援 ROCm v7（HIP 7）的驅動程式，或支援 Vulkan 的 Radeon 驅動程式。安裝程式本身至少要 4 GB 硬碟空間，模型另外動輒數十 GB。
- **macOS**：macOS 14 Sonoma 以上。Apple Silicon（M 系列）的 Mac 有 GPU 加速；Intel 晶片的 Mac 只能用 CPU 跑。
- **Linux**：使用 systemd 的現代 64 位元發行版。NVIDIA 顯示卡需要運算能力（compute capability）5.0 以上、驅動程式 550 以上；AMD 顯示卡需要 ROCm v7 驅動程式。
- **記憶體**：模型要完整放進顯示卡的 VRAM（Mac 則是 GPU 可用的那部分統一記憶體），才能全速執行。先到本站[硬體頁面](https://onpremworld.com/zh-tw/hardware.md)找到你的顯示卡或 Mac，再用[「跑得動嗎？」試算](https://onpremworld.com/zh-tw/can-i-run.md)看看哪些模型放得下。

## 步驟一：安裝 Ollama

### Windows

1. 到 [ollama.com/download](https://ollama.com/download) 下載 **OllamaSetup.exe**。
2. 執行安裝檔。不需要系統管理員權限，它會裝在你的使用者資料夾，並把 Ollama 加進 PATH。
3. 裝好後 Ollama 會在背景執行，工作列右下角會出現圖示。打開 PowerShell 或 Windows 終端機就能使用 `ollama` 指令。

習慣用指令的話，官方也提供 PowerShell 一行安裝：

```powershell
irm https://ollama.com/install.ps1 | iex
```

### macOS

1. 到 [ollama.com/download](https://ollama.com/download) 下載 **Ollama.dmg**。
2. 打開後把 Ollama 拖進「應用程式」資料夾。
3. 啟動 Ollama。第一次開啟時，它會詢問要不要把 `ollama` 指令連結到 `/usr/local/bin`，同意之後就能在「終端機」裡使用。

macOS 也可以用官方安裝指令：

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

Homebrew 上也找得到 Ollama 套件，但 Ollama 官方把它歸類在社群整合，並非官方的安裝方式。

### Linux

執行官方安裝指令：

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

這支腳本會安裝 `ollama` 執行檔、建立名為 `ollama` 的系統使用者和 systemd 服務，偵測到 AMD 顯示卡時還會另外下載 ROCm 套件。完成後，API 會在 `127.0.0.1:11434` 等待連線。用下面的指令確認服務狀態：

```bash
sudo systemctl status ollama
```

如果不想把腳本直接丟進 shell 執行，[Linux 官方文件](https://docs.ollama.com/linux)也有說明如何從發行壓縮檔（現在是 `.tar.zst` 格式）手動安裝，以及要建立的 systemd 設定檔。

### 確認安裝成功

不論哪個系統，打開終端機輸入：

```bash
ollama -v
```

看到版本號就代表裝好了。Windows 如果顯示找不到指令，把終端機關掉重開，讓它讀到新的 PATH。

## 步驟二：挑一個記憶體放得下的模型

Ollama 模型庫裡，大多數模型都有好幾種大小的標籤（tag），預設標籤通常是 4 位元的 Q4_K_M 版本。例如在 [qwen3 的標籤頁](https://ollama.com/library/qwen3/tags)上，`qwen3:8b` 和 `qwen3:8b-q4_K_M` 指向同一個檔案。下表是幾個熱門模型在這種量化、4K 上下文（VRAM 小於 24 GiB 時 Ollama 的預設值）下的記憶體需求：

| 模型 | 參數量 | 所需記憶體 (Q4_K_M, 4K) | 指令 |
|---|---:|---:|---|
| [Llama 3.2 3B Instruct](https://onpremworld.com/zh-tw/models/llama-3.2-3b.md) | 3.21B | 2.8 GiB | `ollama run llama3.2:3b` |
| [Gemma 4 E4B IT](https://onpremworld.com/zh-tw/models/gemma-4-e4b.md) | 8B | 5.4 GiB | `ollama run gemma4:e4b` |
| [Qwen3-8B](https://onpremworld.com/zh-tw/models/qwen3-8b.md) | 8.2B | 5.9 GiB | `ollama run qwen3:8b` |
| [Qwen3.5-9B](https://onpremworld.com/zh-tw/models/qwen3.5-9b.md) | 9B | 6.0 GiB | `ollama run qwen3.5:9b` |
| [Gemma 4 12B Unified IT](https://onpremworld.com/zh-tw/models/gemma-4-12b.md) | 11.95B | 7.9 GiB | `ollama run gemma4:12b` |
| [gpt-oss-20b](https://onpremworld.com/zh-tw/models/gpt-oss-20b.md) | 21B (3.6B 啟用) | 13.0 GiB | `ollama run gpt-oss:20b` |
| [Qwen3.6-27B](https://onpremworld.com/zh-tw/models/qwen3.6-27b.md) | 27B | 16.8 GiB | `ollama run qwen3.6:27b` |
| [Qwen3.6-35B-A3B](https://onpremworld.com/zh-tw/models/qwen3.6-35b-a3b.md) | 35B (3B 啟用) | 21.3 GiB | `ollama run qwen3.6:35b` |
| [Gemma 4 31B IT](https://onpremworld.com/zh-tw/models/gemma-4-31b.md) | 30.7B | 19.6 GiB | `ollama run gemma4:31b` |

*以上為依本站[估算方法](https://onpremworld.com/zh-tw/methodology.md)算出的估計值，資料日期 2026-10-16。實際速度會因執行環境、驅動程式與提示詞長度而不同。*

挑選原則很簡單：選記憶體需求明顯低於你的 VRAM 的最大模型，並替桌面和其他程式留個一兩 GB。如果是 Mac，要比較的不是總記憶體，而是 macOS 預設讓 GPU 使用的那一部分；Apple 沒有公布這個比例，本站估算假設為 75%（原因請看[用 Mac 跑本地 LLM](https://onpremworld.com/zh-tw/guides/mac-local-llm.md)）。12 GB 的顯示卡可以從 8B 到 12B 的模型開始；24 GB 則能跑 27B 到 35B 這一級。每個模型頁面都有各種量化與上下文長度的記憶體需求，以及哪些顯示卡和 Mac 跑得動。

有兩類模型值得特別說明。第一是 MoE（混合專家）模型，例如 [gpt-oss-20b](https://onpremworld.com/zh-tw/models/gpt-oss-20b.md) 和 [Qwen3.6-35B-A3B](https://onpremworld.com/zh-tw/models/qwen3.6-35b-a3b.md)：記憶體要容納全部參數，但每個 token 只動用其中幾十億個，所以回答速度比同大小的密集模型快很多。第二是 Apple Silicon：從 Ollama 0.40.0（2026 年 9 月）開始，Apple MLX 框架支援的模型架構預設改用 MLX 執行，其他模型則用搭配 Metal 的 llama.cpp。因此有些標籤同時帶有 GGUF 和 MLX 兩種檔案，大小不一定相同。

## 步驟三：開始執行

```bash
ollama run qwen3:8b
```

第一次執行會先下載模型（好幾 GB，需要一點時間），接著進入對話模式，輸入問題按 Enter 即可。對話中可以使用幾個指令：

| 在 `ollama run` 裡輸入 | 作用 |
|---|---|
| `/?` | 列出可用指令 |
| `/set parameter num_ctx 8192` | 設定這次對話的上下文長度 |
| `"""` | 開始與結束多行訊息 |
| `/bye` | 離開對話（Ctrl+D 也可以） |

Windows 和 macOS 版也能直接在 Ollama App 的視窗裡聊天，不一定要用終端機，用的是同一批模型。

## 常用指令

| 指令 | 作用 |
|---|---|
| `ollama pull qwen3:8b` | 只下載模型，不開始對話 |
| `ollama list` | 列出已下載的模型 |
| `ollama ps` | 顯示目前載入的模型、GPU 與 CPU 的分配比例，以及上下文長度 |
| `ollama stop qwen3:8b` | 把模型從記憶體卸載 |
| `ollama rm qwen3:8b` | 從硬碟刪除模型 |
| `ollama show qwen3:8b` | 顯示模型詳細資訊，例如參數量與量化方式 |

模型在最後一次請求後會留在記憶體 5 分鐘才卸載，想延長可以設定 `OLLAMA_KEEP_ALIVE`（例如 `24h`）。

## 選擇量化版本

預設的 Q4_K_M 在大小與品質之間取得不錯的平衡。記憶體有餘裕的話，可以改用精度較高的標籤，例如 `qwen3:8b-q8_0`，它更接近原始模型：每個權重約用 8.5 位元而不是 4.85 位元，權重大小因此從 4.6 GiB 增加到 8.1 GiB。`-fp16` 標籤則是未量化的版本，約 15.3 GiB。不是每個模型都提供所有標籤，請到模型庫的標籤頁確認。這些名稱代表什麼、犧牲多少品質，請看本站的[量化教學](https://onpremworld.com/zh-tw/guides/quantization-explained.md)。

## 上下文長度：最多人忽略的設定

上下文長度是模型一次能「看見」多少 token 的對話、文件或程式碼。Ollama 會依你的 VRAM 決定預設值：

| 你的 VRAM | 預設上下文 |
|---|---|
| 低於 24 GiB | 4K token |
| 24 到 48 GiB | 32K token |
| 48 GiB 以上 | 256K token |

4K 拿來簡短聊天沒問題，但讀長文件、寫程式的工具或 AI 代理就太小了；Ollama 官方文件建議這類任務至少設到 64,000 token。調整方式有三種：

- **在 App 裡**：設定 → Context length 滑桿。
- **整個伺服器生效**：設定環境變數 `OLLAMA_CONTEXT_LENGTH`，例如 `OLLAMA_CONTEXT_LENGTH=32768`，再重新啟動 Ollama。
- **只限這次對話**：在 `ollama run` 裡輸入 `/set parameter num_ctx 32768`，或在 API 請求中加上 `"options": {"num_ctx": 32768}`。

上下文越大，記憶體越吃緊。以 [Qwen3-8B](https://onpremworld.com/zh-tw/models/qwen3-8b.md) 為例，本站估算從 4K 的 5.9 GiB 增加到 32K 的 9.9 GiB。實際套用的數值可以看 `ollama ps` 的 CONTEXT 欄位確認。

## 確認是顯示卡在出力

模型載入後執行 `ollama ps`：

```text
NAME        ID            SIZE    PROCESSOR   UNTIL
llama3:70b  bcfb190ca3a7  42 GB   100% GPU    4 minutes from now
```

看到 `100% GPU` 就對了。`100% CPU` 代表模型在系統記憶體裡跑；`48%/52% CPU/GPU` 這種分配則代表有一部分沒放進顯示卡。這兩種情況都會慢很多，請換小一點的模型或量化版本，或縮短上下文。如果連小模型都顯示 CPU，就檢查顯示卡需求：

- **NVIDIA**：運算能力 5.0 以上，驅動程式 550 以上（Windows 需 551.61 以上）。
- **AMD**：ROCm v7 驅動程式，且顯示卡在 Ollama 的支援清單上。清單外的卡可以改走 Ollama 的 Vulkan 後端，Windows 和 Linux 版預設就會啟用。
- **Intel**：Ollama 透過 Vulkan 支援 Intel GPU。

出問題時，記錄檔（log）很有幫助：macOS 在 `~/.ollama/logs`，Windows 在 `%LOCALAPPDATA%\Ollama`，Linux 則執行 `journalctl -e -u ollama`。

## 讓其他程式使用 Ollama：本機 API

Ollama 會在 `http://localhost:11434` 執行一個伺服器。聊天介面、寫程式的 AI 助手或你自己寫的程式，都可以透過原生 API 或相容 OpenAI 的 API 呼叫它：

```bash
curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{ "role": "user", "content": "為什麼天空是藍色的？" }],
  "stream": false
}'
```

```bash
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{ "model": "qwen3:8b", "messages": [{ "role": "user", "content": "請說這是一個測試" }] }'
```

支援 OpenAI API 的函式庫，只要把 base URL 設成 `http://localhost:11434/v1/`，API key 隨便填一個即可，Ollama 不會檢查。正因為本機 API 沒有驗證機制，它預設只接受來自你自己這台電腦的連線。

想讓其他電腦連線，在 App 設定裡開啟 **Expose Ollama to the network**，或設定 `OLLAMA_HOST=0.0.0.0:11434` 後重新啟動。Linux 則用 `sudo systemctl edit ollama.service`，在 `[Service]` 底下加入 `Environment="OLLAMA_HOST=0.0.0.0:11434"`，再執行 `sudo systemctl daemon-reload` 和 `sudo systemctl restart ollama`。只要連得到這個埠的人都能使用你的模型，所以請只在信任的網路裡開放。要給整間公司用、需要帳號權限管理的話，請看[用 Open WebUI 打造公司內部的私有 ChatGPT](https://onpremworld.com/zh-tw/guides/private-chatgpt-open-webui.md)。

## 確保完全地端：雲端模型與關閉方式

Ollama 也提供雲端模型，名稱裡會帶 `cloud`，例如 `gemma4:cloud`。即使你是透過 `localhost:11434` 呼叫，它們實際上是在 Ollama 的伺服器上執行，而且要先 `ollama signin` 登入。如果你的目的是讓資料完全留在自己的硬體上，請把雲端功能關掉：

- **在 App 裡**：設定 → 關閉 **Cloud**。
- **用環境變數**：`OLLAMA_NO_CLOUD=1`。
- **用設定檔**：在 `~/.ollama/server.json` 加入 `{"disable_ollama_cloud": true}`。

改完記得重新啟動 Ollama，記錄檔中會出現 `Ollama cloud disabled: true`。關閉雲端功能後，Ollama 的網路搜尋功能也會一併停用。

## 把模型搬到其他磁碟

模型檔案很大。想改存到別的地方，可以把 `OLLAMA_MODELS` 設成你指定的資料夾，或在 App 設定中修改 **Model location**。Windows 的做法是：打開「設定」（Windows 10 為「控制台」），搜尋「環境變數」，選擇「編輯您帳戶的環境變數」，新增 `OLLAMA_MODELS`，然後從工作列結束 Ollama 再重新開啟。Linux 則要讓 `ollama` 服務帳號擁有新資料夾的權限：`sudo chown -R ollama:ollama <資料夾路徑>`。

## 更新與移除

Windows 和 macOS 的 App 會自動下載更新，點工作列或選單列的圖示，選 **Restart to update** 即可。Linux 重新執行一次安裝指令就會更新。移除方面，Windows 到「新增或移除程式」；macOS 刪除 App 和 `~/.ollama`（[macOS 官方文件](https://docs.ollama.com/macos)列出了所有相關資料夾）；Linux 則依[官方文件](https://docs.ollama.com/linux)的移除步驟刪掉服務和檔案。

## 接下來可以看

- 不確定硬體夠不夠？請看[本地跑 LLM 要買什麼顯示卡](https://onpremworld.com/zh-tw/guides/choosing-a-gpu.md)或[用 Mac 跑本地 LLM](https://onpremworld.com/zh-tw/guides/mac-local-llm.md)。
- 想知道 Ollama 是不是最適合你的工具？在[Ollama、LM Studio、llama.cpp、vLLM 怎麼選](https://onpremworld.com/zh-tw/guides/ollama-vs-lm-studio-vs-llama-cpp-vs-vllm.md)比較看看。
- 想讓同事一起用？在 Ollama 上架設 [Open WebUI](https://onpremworld.com/zh-tw/guides/private-chatgpt-open-webui.md)。

## 常見問題

### Ollama 要錢嗎？我的提示詞會被傳到外面嗎？

Ollama 是免費的開源軟體（MIT 授權）。你下載的模型都在自己的電腦上執行，本機 API 也不需要帳號。例外是名稱裡有 cloud 的雲端模型（例如 gemma4:cloud），它們在 Ollama 的伺服器上執行，而且要先登入。想完全關掉雲端功能，可以在 App 設定中關閉 Cloud，或設定環境變數 OLLAMA_NO_CLOUD=1。

### 用 Ollama 跑模型需要多少記憶體？

大約是模型檔案大小，再加上上下文需要的空間。依本站估算，Qwen3-8B 這類 8B 模型在 Ollama 預設的 Q4_K_M 量化、4K 上下文下約需 5.9 GiB，所以 8 GB 的顯示卡或 16 GB 的 Mac 就能輕鬆上手。各模型頁面都列有每種量化與上下文長度所需的記憶體。

### 怎麼知道 Ollama 有沒有用到顯示卡？

模型載入時執行 ollama ps，看 PROCESSOR 欄位：100% GPU 代表整個模型都在顯示卡上，100% CPU 代表在系統記憶體裡跑，48%/52% CPU/GPU 這種分配則代表沒有完全放進顯示卡。出現分配或純 CPU，通常是模型或上下文對你的 VRAM 來說太大，或顯示卡驅動程式不在支援範圍。

### Ollama 預設的上下文長度是多少？怎麼調整？

看你的 VRAM：低於 24 GiB 預設 4K token，24 到 48 GiB 是 32K，48 GiB 以上是 256K。可以在 App 設定拉動 Context length 滑桿、設定環境變數 OLLAMA_CONTEXT_LENGTH，或在 ollama run 對話中輸入 /set parameter num_ctx 來調整。上下文越長，記憶體用量越大。

### Ollama 下載的模型存在哪裡？

macOS 在 ~/.ollama/models，Linux 在 /usr/share/ollama/.ollama/models，Windows 在 C:\Users\使用者名稱\.ollama\models。想改存到其他磁碟，可以設定環境變數 OLLAMA_MODELS，或在 App 設定裡修改 Model location。

### 區網裡的其他電腦可以用我的 Ollama 嗎？

可以，但預設關閉：Ollama 只聽 127.0.0.1 的 11434 埠。在 App 開啟 Expose Ollama to the network，或設定 OLLAMA_HOST=0.0.0.0:11434 後重新啟動即可。本機 API 沒有任何驗證機制，請只在信任的網路中開啟，或在前面加一層有帳號登入的介面。

## 資料來源

- https://docs.ollama.com/quickstart
- https://docs.ollama.com/windows
- https://docs.ollama.com/macos
- https://docs.ollama.com/linux
- https://docs.ollama.com/gpu
- https://docs.ollama.com/cli
- https://docs.ollama.com/context-length
- https://docs.ollama.com/faq
- https://docs.ollama.com/api/introduction
- https://docs.ollama.com/api/openai-compatibility
- https://docs.ollama.com/cloud
- https://ollama.com/download
- https://ollama.com/library/qwen3/tags
- https://github.com/ollama/ollama/releases/tag/v0.40.0
- https://github.com/ollama/ollama/releases/tag/v0.40.4
- https://github.com/ollama/ollama/blob/main/LICENSE