地端世界ONPREM WORLD

教學

在自己的硬體上跑 AI 的實作教學。每篇先回答問題,再一步步帶你做;指令都對照過官方文件,數字則來自本站的硬體與模型資料。

Ollama 安裝教學:在自己的電腦跑 LLM(Windows/macOS/Linux)

安裝 Ollama、挑一個記憶體放得下的模型,一行指令就能在本機跑大型語言模型。依官方文件逐步驗證的 Windows、macOS、Linux 安裝步驟,以及上下文長度、GPU 檢查、本機 API 與純地端模式設定。

更新日期: · 閱讀教學 →

本地跑 LLM 要買什麼顯示卡?VRAM 與記憶體頻寬怎麼選

VRAM 決定模型放不放得下,記憶體頻寬決定回答快不快。12、16、24、32 GB 顯示卡各能跑哪些模型,用本站硬體與模型資料一次算給你看。

更新日期: · 閱讀教學 →

用 Mac 跑本地 LLM:統一記憶體怎麼算、要買多少 RAM、MLX 還是 llama.cpp

Apple Silicon 的 Mac 都能跑本地 LLM,因為 GPU 和 CPU 共用同一塊記憶體。GPU 實際能用多少、16 GB 到 512 GB 各放得下哪些模型、為什麼頻寬決定速度,以及 MLX 和 llama.cpp 該怎麼選。

更新日期: · 閱讀教學 →

量化是什麼?Q4_K_M、Q8_0、FP16 差在哪,記憶體與品質怎麼取捨

一次看懂模型量化的命名、每種等級省多少記憶體、又犧牲多少品質。品質數據來自 llama.cpp 與 Qwen 官方公布的實測,記憶體數字來自本站模型資料。

更新日期: · 閱讀教學 →

Ollama、LM Studio、llama.cpp、vLLM 怎麼選?本地 LLM 執行工具比較

四種在本地跑開源模型的工具,從支援平台、模型格式、API、授權到多人使用一次比較,並附上 2026 年 10 月依官方文件確認過的安裝與啟動指令。

更新日期: · 閱讀教學 →

打造公司內部的私有 ChatGPT:Open WebUI+Ollama 地端部署教學

在公司自己的伺服器上架一個 ChatGPT 風格的 AI 助理:依本站資料估算硬體、依官方文件逐步完成 Open WebUI 與 Ollama 的 Docker 部署、帳號權限、文件問答、資料不外流檢查清單,以及台灣企業與公部門需要知道的法規背景。

更新日期: · 閱讀教學 →