AI Agent平臺 實操指南：你的電腦，它真能“動手”干活（Mac/Win/Linux 三端實測）

問題

你試過讓AI把「Downloads」里所有PDF按年份建文件夾歸類？或者自動登錄公司內網、填完報銷表單再截圖發釘釘？普通ChatGPT只能“說”，不能“做”。AI Agent平臺——Peter Steinberger開發的開源本地AI助手——直接在你本機操作鼠標、鍵盤、文件系統和瀏覽器。不聯網、不傳數據、不依賴云端API，指令發出，動作立刻執行。

方案

AI Agent平臺 是一個輕量級自主智能體，核心鏈路很實在：
? 用本地多模態模型（如 llava-1.5）分析當前屏幕截圖
? 用本地小語言模型（如 Phi-3-mini）理解你的自然語言指令
? 調用操作系統原生接口控制界面：macOS 用 Accessibility API，Windows 用 UI Automation，Linux 用 X11 + xdotool

它不是聊天機器人，是你電腦里一只真實的“數字手”。

步驟（三端統一流程，以 Mac 為例，Win/Linux 命令已標注）

1. 安裝依賴（全程離線）

# Mac（需先裝 Homebrew）
brew install python@3.11 git wget ffmpeg
pip3 install ai-agent[desktop]  # 自動安裝 llava-phi3 等本地模型

# Windows（PowerShell 管理員運行）
winget install Python.Python.3.11
pip install ai-agent[desktop]

# Linux（Ubuntu/Debian）
sudo apt update && sudo apt install -y python3.11-venv xdotool wmctrl scrot
pip3 install ai-agent[desktop]

ai-agent[desktop] 是官方預編譯包，內置各平臺 UI 控制模塊和輕量多模態模型，省去手動下載 GB 級模型的麻煩。

2. 啟動并授權（關鍵！）

ai-agent --headless=false

![配圖](http://www.nhjb.com.cn/usr/uploads/covers/cover_guides_20260713_200817.jpg)

首次運行會彈出系統權限窗口：

• Mac：前往「系統設置→隱私與安全性→輔助功能」，勾選終端或 Python 進程；
• Windows：允許“UI Automation”權限；
• Linux：確保當前用戶有 xdotool 執行權（sudo usermod -a -G input $USER，然后重啟登錄）。
  沒這些權限，AI 連鼠標左鍵都點不了——這是真實控制桌面的硬門檻。

3. 發送一條真任務（實測場景）

打開 AI Agent平臺 Web UI（http://localhost:8000），輸入：

“把 ~/Downloads 里2024年的PDF移到 ~/Documents/2024_PDF，再用Safari打開知乎，搜索‘AI Agent平臺教程’，截圖右上角頭像區域，保存為 ~/Desktop/claw_test.png”

幾秒后，你親眼看到：
?? 文件夾自動創建 → ?? PDF 被剪切粘貼 → ?? Safari 啟動+輸入搜索詞 → ?? 截圖框精準框住頭像 → ?? 圖片落地桌面。
不是模擬，是真實鼠標移動、鍵盤敲擊、文件拖拽。

驗證

檢查三件事：

1. ls ~/Documents/2024_PDF/ → 確認 PDF 已遷移；
2. ls ~/Desktop/claw_test.png → 確認截圖存在且內容正確；
3. 打開活動監視器（Mac）/任務管理器（Win）→ 查看 ai-agent 進程內存占用＜1.2GB，且無外網連接（lsof -i | grep ai-agent 返回空）。

常見問題

? “點擊沒反應” → 檢查系統輔助功能權限是否給到終端（不是瀏覽器！）；
? “截圖識別錯亂” → 運行 ai-agent --screen-dpi=144（適配高分屏）；
? “Linux 下無法控制 Chrome” → 改用 Firefox（Chromium 系瀏覽器需額外啟動參數 --force-renderer-accessibility）。

工程價值在哪？

傳統 AI 聊天界面像“打電話指揮工人”，AI Agent平臺 是“把工人請進你家廚房自己動手”。它直接打通大模型的邏輯理解和操作系統的底層指令——不用寫 Python 腳本，不用學 Selenium，一句自然語言就能驅動真實生產力流。我們實測：整理 100 個下載文件耗時 22 秒（人工約 5 分鐘），零失誤。

下一步

想讓 AI Agent平臺 自動處理郵件附件、監控網頁價格變動、或接入公司內部 OA 系統？→ 《AI Agent平臺 + MCP 協議接入企業系統》
需要更穩定調度？→ 《用 Dify 編排 AI Agent平臺 多步任務工作流》
或者，試試把它變成你的“Mac 快捷鍵 AI”：《用 Hammerspoon+AI Agent平臺 實現 Ctrl+Shift+O 呼出智能助手》