Ollama 安裝教學：在自己的電腦跑 LLM（Windows／macOS／Linux）

裝好 Ollama，接著只要一行指令：ollama run 加上模型名稱。 Windows 和 macOS 到 ollama.com 下載安裝檔（或用官方的一行安裝指令），Linux 則執行一行 curl 指令就裝好了。第一次執行某個模型時，Ollama 會自動下載、能放進顯示卡就放進顯示卡，然後在終端機裡開啟對話。整個過程真正需要動腦的只有一件事：選哪個模型。這取決於你有多少記憶體。依本站估算，8B 模型在 Ollama 預設量化下約需 5.9 GiB，近幾年的遊戲顯示卡或 16 GB 的 Mac 幾乎都放得下。本文依據 2026 年 10 月的 Ollama 官方文件（版本 0.40.4）逐步確認，每個步驟的出處都列在文末資料來源。

開始前：你需要什麼

• Windows：Windows 10 22H2 以上的家用版或專業版。NVIDIA 顯示卡需要 551.61 以上的驅動程式；AMD 顯示卡需要支援 ROCm v7（HIP 7）的驅動程式，或支援 Vulkan 的 Radeon 驅動程式。安裝程式本身至少要 4 GB 硬碟空間，模型另外動輒數十 GB。
• macOS：macOS 14 Sonoma 以上。Apple Silicon（M 系列）的 Mac 有 GPU 加速；Intel 晶片的 Mac 只能用 CPU 跑。
• Linux：使用 systemd 的現代 64 位元發行版。NVIDIA 顯示卡需要運算能力（compute capability）5.0 以上、驅動程式 550 以上；AMD 顯示卡需要 ROCm v7 驅動程式。
• 記憶體：模型要完整放進顯示卡的 VRAM（Mac 則是 GPU 可用的那部分統一記憶體），才能全速執行。先到本站硬體頁面找到你的顯示卡或 Mac，再用「跑得動嗎？」試算看看哪些模型放得下。

步驟一：安裝 Ollama

Windows

1. 到 ollama.com/download 下載 OllamaSetup.exe。
2. 執行安裝檔。不需要系統管理員權限，它會裝在你的使用者資料夾，並把 Ollama 加進 PATH。
3. 裝好後 Ollama 會在背景執行，工作列右下角會出現圖示。打開 PowerShell 或 Windows 終端機就能使用 ollama 指令。

習慣用指令的話，官方也提供 PowerShell 一行安裝：

irm https://ollama.com/install.ps1 | iex

macOS

1. 到 ollama.com/download 下載 Ollama.dmg。
2. 打開後把 Ollama 拖進「應用程式」資料夾。
3. 啟動 Ollama。第一次開啟時，它會詢問要不要把 ollama 指令連結到 /usr/local/bin，同意之後就能在「終端機」裡使用。

macOS 也可以用官方安裝指令：

curl -fsSL https://ollama.com/install.sh | sh

Homebrew 上也找得到 Ollama 套件，但 Ollama 官方把它歸類在社群整合，並非官方的安裝方式。

Linux

執行官方安裝指令：

curl -fsSL https://ollama.com/install.sh | sh

這支腳本會安裝 ollama 執行檔、建立名為 ollama 的系統使用者和 systemd 服務，偵測到 AMD 顯示卡時還會另外下載 ROCm 套件。完成後，API 會在 127.0.0.1:11434 等待連線。用下面的指令確認服務狀態：

sudo systemctl status ollama

如果不想把腳本直接丟進 shell 執行，Linux 官方文件也有說明如何從發行壓縮檔（現在是 .tar.zst 格式）手動安裝，以及要建立的 systemd 設定檔。

確認安裝成功

不論哪個系統，打開終端機輸入：

ollama -v

看到版本號就代表裝好了。Windows 如果顯示找不到指令，把終端機關掉重開，讓它讀到新的 PATH。

步驟二：挑一個記憶體放得下的模型

Ollama 模型庫裡，大多數模型都有好幾種大小的標籤（tag），預設標籤通常是 4 位元的 Q4_K_M 版本。例如在 qwen3 的標籤頁上，qwen3:8b 和 qwen3:8b-q4_K_M 指向同一個檔案。下表是幾個熱門模型在這種量化、4K 上下文（VRAM 小於 24 GiB 時 Ollama 的預設值）下的記憶體需求：

以上為依本站估算方法算出的估計值，資料日期 2026-10-14。實際速度會因執行環境、驅動程式與提示詞長度而不同。

挑選原則很簡單：選記憶體需求明顯低於你的 VRAM 的最大模型，並替桌面和其他程式留個一兩 GB。如果是 Mac，要比較的不是總記憶體，而是 macOS 預設讓 GPU 使用的那一部分；Apple 沒有公布這個比例，本站估算假設為 75%（原因請看用 Mac 跑本地 LLM）。12 GB 的顯示卡可以從 8B 到 12B 的模型開始；24 GB 則能跑 27B 到 35B 這一級。每個模型頁面都有各種量化與上下文長度的記憶體需求，以及哪些顯示卡和 Mac 跑得動。

有兩類模型值得特別說明。第一是 MoE（混合專家）模型，例如 gpt-oss-20b 和 Qwen3.6-35B-A3B：記憶體要容納全部參數，但每個 token 只動用其中幾十億個，所以回答速度比同大小的密集模型快很多。第二是 Apple Silicon：從 Ollama 0.40.0（2026 年 9 月）開始，Apple MLX 框架支援的模型架構預設改用 MLX 執行，其他模型則用搭配 Metal 的 llama.cpp。因此有些標籤同時帶有 GGUF 和 MLX 兩種檔案，大小不一定相同。

步驟三：開始執行

ollama run qwen3:8b

第一次執行會先下載模型（好幾 GB，需要一點時間），接著進入對話模式，輸入問題按 Enter 即可。對話中可以使用幾個指令：

Windows 和 macOS 版也能直接在 Ollama App 的視窗裡聊天，不一定要用終端機，用的是同一批模型。

常用指令

模型在最後一次請求後會留在記憶體 5 分鐘才卸載，想延長可以設定 OLLAMA_KEEP_ALIVE（例如 24h）。

選擇量化版本

預設的 Q4_K_M 在大小與品質之間取得不錯的平衡。記憶體有餘裕的話，可以改用精度較高的標籤，例如 qwen3:8b-q8_0，它更接近原始模型：每個權重約用 8.5 位元而不是 4.85 位元，權重大小因此從 4.6 GiB 增加到 8.1 GiB。-fp16 標籤則是未量化的版本，約 15.3 GiB。不是每個模型都提供所有標籤，請到模型庫的標籤頁確認。這些名稱代表什麼、犧牲多少品質，請看本站的量化教學。

上下文長度：最多人忽略的設定

上下文長度是模型一次能「看見」多少 token 的對話、文件或程式碼。Ollama 會依你的 VRAM 決定預設值：

4K 拿來簡短聊天沒問題，但讀長文件、寫程式的工具或 AI 代理就太小了；Ollama 官方文件建議這類任務至少設到 64,000 token。調整方式有三種：

• 在 App 裡：設定 → Context length 滑桿。
• 整個伺服器生效：設定環境變數 OLLAMA_CONTEXT_LENGTH，例如 OLLAMA_CONTEXT_LENGTH=32768，再重新啟動 Ollama。
• 只限這次對話：在 ollama run 裡輸入 /set parameter num_ctx 32768，或在 API 請求中加上 "options": {"num_ctx": 32768}。

上下文越大，記憶體越吃緊。以 Qwen3-8B 為例，本站估算從 4K 的 5.9 GiB 增加到 32K 的 9.9 GiB。實際套用的數值可以看 ollama ps 的 CONTEXT 欄位確認。

確認是顯示卡在出力

模型載入後執行 ollama ps：

NAME        ID            SIZE    PROCESSOR   UNTIL
llama3:70b  bcfb190ca3a7  42 GB   100% GPU    4 minutes from now

看到 100% GPU 就對了。100% CPU 代表模型在系統記憶體裡跑；48%/52% CPU/GPU 這種分配則代表有一部分沒放進顯示卡。這兩種情況都會慢很多，請換小一點的模型或量化版本，或縮短上下文。如果連小模型都顯示 CPU，就檢查顯示卡需求：

• NVIDIA：運算能力 5.0 以上，驅動程式 550 以上（Windows 需 551.61 以上）。
• AMD：ROCm v7 驅動程式，且顯示卡在 Ollama 的支援清單上。清單外的卡可以改走 Ollama 的 Vulkan 後端，Windows 和 Linux 版預設就會啟用。
• Intel：Ollama 透過 Vulkan 支援 Intel GPU。

出問題時，記錄檔（log）很有幫助：macOS 在 ~/.ollama/logs，Windows 在 %LOCALAPPDATA%\Ollama，Linux 則執行 journalctl -e -u ollama。

讓其他程式使用 Ollama：本機 API

Ollama 會在 http://localhost:11434 執行一個伺服器。聊天介面、寫程式的 AI 助手或你自己寫的程式，都可以透過原生 API 或相容 OpenAI 的 API 呼叫它：

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{ "role": "user", "content": "為什麼天空是藍色的？" }],
  "stream": false
}'

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{ "model": "qwen3:8b", "messages": [{ "role": "user", "content": "請說這是一個測試" }] }'

支援 OpenAI API 的函式庫，只要把 base URL 設成 http://localhost:11434/v1/，API key 隨便填一個即可，Ollama 不會檢查。正因為本機 API 沒有驗證機制，它預設只接受來自你自己這台電腦的連線。

想讓其他電腦連線，在 App 設定裡開啟 Expose Ollama to the network，或設定 OLLAMA_HOST=0.0.0.0:11434 後重新啟動。Linux 則用 sudo systemctl edit ollama.service，在 [Service] 底下加入 Environment="OLLAMA_HOST=0.0.0.0:11434"，再執行 sudo systemctl daemon-reload 和 sudo systemctl restart ollama。只要連得到這個埠的人都能使用你的模型，所以請只在信任的網路裡開放。要給整間公司用、需要帳號權限管理的話，請看用 Open WebUI 打造公司內部的私有 ChatGPT。

確保完全地端：雲端模型與關閉方式

Ollama 也提供雲端模型，名稱裡會帶 cloud，例如 gemma4:cloud。即使你是透過 localhost:11434 呼叫，它們實際上是在 Ollama 的伺服器上執行，而且要先 ollama signin 登入。如果你的目的是讓資料完全留在自己的硬體上，請把雲端功能關掉：

• 在 App 裡：設定 → 關閉 Cloud。
• 用環境變數：OLLAMA_NO_CLOUD=1。
• 用設定檔：在 ~/.ollama/server.json 加入 {"disable_ollama_cloud": true}。

改完記得重新啟動 Ollama，記錄檔中會出現 Ollama cloud disabled: true。關閉雲端功能後，Ollama 的網路搜尋功能也會一併停用。

把模型搬到其他磁碟

模型檔案很大。想改存到別的地方，可以把 OLLAMA_MODELS 設成你指定的資料夾，或在 App 設定中修改 Model location。Windows 的做法是：打開「設定」（Windows 10 為「控制台」），搜尋「環境變數」，選擇「編輯您帳戶的環境變數」，新增 OLLAMA_MODELS，然後從工作列結束 Ollama 再重新開啟。Linux 則要讓 ollama 服務帳號擁有新資料夾的權限：sudo chown -R ollama:ollama <資料夾路徑>。

更新與移除

Windows 和 macOS 的 App 會自動下載更新，點工作列或選單列的圖示，選 Restart to update 即可。Linux 重新執行一次安裝指令就會更新。移除方面，Windows 到「新增或移除程式」；macOS 刪除 App 和 ~/.ollama（macOS 官方文件列出了所有相關資料夾）；Linux 則依官方文件的移除步驟刪掉服務和檔案。

接下來可以看

• 不確定硬體夠不夠？請看本地跑 LLM 要買什麼顯示卡或用 Mac 跑本地 LLM。
• 想知道 Ollama 是不是最適合你的工具？在Ollama、LM Studio、llama.cpp、vLLM 怎麼選比較看看。
• 想讓同事一起用？在 Ollama 上架設 Open WebUI。