自建 AI 本地推理基礎設施的完整踩坑記錄:ミニPC + Proxmox + Tailscale
作者記錄了自己從「想在任何地方運行本地 AI」到「深陷家庭基礎設施折騰」的完整歷程,最終搭建了一套基於 Mini PC + Proxmox + Tailscale 的可隨時訪問的私有 AI 推理環境。
技術棧選型理由:Mini PC(MINISFORUM UM780 XTX)提供 AMD Radeon 680M 集成顯卡,足以運行 7B 量化模型;Proxmox 實現虛擬化管理,方便運行多個隔離的 AI 服務實例;Tailscale 提供零配置的安全遠程訪問,讓家外也能連接家中的 AI 服務。
文章詳細記錄了每個組件的配置過程和踩坑,包括:Ollama 在 Proxmox 中的 GPU 直通配置、Tailscale 的 subnet routing 設置、以及如何用 Open WebUI 搭建對話界面。總成本約 ¥80,000,月電費約 ¥1,500,適合深度技術愛好者。
概述
作者記錄了自己從「想在任何地方運行本地 AI」到「深陷家庭基礎設施折騰」的完整歷程,最終搭建了一套基於 Mini PC + Proxmox + Tailscale 的可隨時訪問的私有 AI 推理環境。
要点分析
技術棧選型理由:Mini PC(MINISFORUM UM780 XTX)提供 AMD Radeon 680M 集成顯卡,足以運行 7B 量化模型;Proxmox 實現虛擬化管理,方便運行多個隔離的 AI 服務實例;Tailscale 提供零配置的安全遠程訪問,讓家外也能連接家中的 AI 服務。
文章詳細記錄了每個組件的配置過程和踩坑,包括:Ollama 在 Proxmox 中的 GPU 直通配置、Tailscale 的 subnet routing 設置、以及如何用 Open WebUI 搭建對話界面。總成本約 ¥80,000,月電費約 ¥1,500,適合深度技術愛好者。
来源: [Zenn AI](https://zenn.dev/home_ai_infra/articles/mini-pc-proxmox-tailscale-ai-lab)