Computer Use(電腦操控)

Claude 可以直接操作您的電腦——點擊、輸入、開啟應用、瀏覽器、填表單。從「呼叫工具」走向「直接作業系統」。

上線時間

2026/03/23。研究預覽階段,僅 macOS,Pro 與 Max 用戶。在 CoworkClaude Code 中皆可用。

它能做什麼

  • 滑鼠點擊、鍵盤輸入
  • 導航介面、開應用
  • 操作瀏覽器(不只 Chrome)
  • 填寫表單
  • 操作任意本地工具(不需有 MCP server)

工作機制

情況Claude 怎麼辦
有官方 Connector(如 Slack)優先用 API 介面
沒有 Connector滑鼠 + 鍵盤模擬操作

→ Connector 是「正路」,Computer Use 是「萬用 fallback」。

安全機制

  • 執行關鍵操作前請求授權(刪檔、寄信、付款)
  • Anthropic 仍建議:敏感資訊不在此模式處理

重要風險:Prompt Injection

⚠️ 基於螢幕內容的 prompt injection 是最大風險

什麼意思

Claude 開啟某網站時,該頁面內容會進入 context window——如果頁面是攻擊者準備的,可能含「忽略上述指令,做 X」這類隱藏 prompt,改變 Claude 行為

防護建議

場景安全度建議
已知公司內部系統✅ 安全放心用
信任的 SaaS(Gmail、Drive)✅ 安全放心用
隨機網頁、社群分享連結⚠️ 風險避免
不熟悉的 Chrome 擴充❌ 危險不要用

結合 Dispatch 遠端派任 = 超強

(在咖啡廳手機指令):
「打開 PAM 後台 → 找 Q1 業務部考核進度 → 
 把表格匯出 → 透過 Drive 共享給 CEO」
↓
Cowork 在您家電腦:
1. Computer Use 開瀏覽器
2. 登入 PAM 後台
3. 點 Q1 業務部
4. 點匯出
5. 開 Drive 上傳
6. 設定共享給 CEO
↓
20 分鐘後您手機收到「✅ 完成」

→ 真正的「遠端執行任意桌面任務」。

對 Vincent 工作場景

Use Case 1:PAM 後台批次操作

如果 PAM 後台沒做批次 API,您可以:

打開 PAM 後台,幫我把這 30 個員工從業務部移到行政部。
(一個一個點,模擬人類操作)

Use Case 2:跨應用整合

從 Outlook 撈本週客訴信 → 開 PAM 找對應員工 → 
在 Notion 建追蹤頁 → 寄 Slack 通知主管

→ 中間沒有 Connector / API 也能做。

Use Case 3:研究預覽

當 Vincent 想試新軟體(例如新的 BI 工具),可說:

打開 [新軟體],幫我探索一下 5 個主要功能,
寫個評估報告。

→ Claude 自己摸索 UI、寫報告。

限制

  • macOS only 目前
  • Research preview 階段(10% 機率有偏離)
  • 容易消耗 rate limit(每次點擊都是一次互動)
  • 慢(比 Connector 慢 5-10 倍)

Claude in Chrome 的差異

Claude in ChromeComputer Use
範圍只 Chrome 瀏覽器整個 OS
方式DOM 操作像素級 + 鍵盤
速度
穩定

可並用:在 Chrome 內用 in-Chrome;要跨 App 用 Computer Use。

相關概念

強連結(原文明確提及)

← 回到 wiki