PATTERN · EVOLVING

Computer-Use 电脑操控

AI 直接操作电脑——看屏幕、点击、打字、导航——代替用户完成任务。

进化中 agent automation execution desktop browser pixel-scraping tool-use
  1. 概念期
  2. 已落地
  3. 进化中
  4. 趋同期
热度
5/5
首现
2024-10
产品实现
3
演化事件
10
发起
Anthropic (Claude Computer Use API)

AI directly operates a computer — seeing the screen, clicking, typing, navigating — to complete tasks on the user's behalf.

定义与机制

  1. 输入

    用户给一句自然语言指令("订这趟航班"、"填这张表"、"把这三个文件汇总成报告")。不需要代码,不需要配置 API。

  2. 处理

    模型截取当前屏幕,用视觉能力理解界面元素,规划一串动作,再通过模拟鼠标/键盘执行。更成熟的实现采用混合路线:优先走 API/MCP 结构化调用,像素级操作作为兜底。

  3. 沉淀物

    完成的任务本身(提交的表单、发出的邮件、整理好的文件、汇总的报告)。可选:一份用于审计的操作日志。

  4. 执行

    实时或异步。较新的实现(Claude Dispatch)支持异步:用户在手机上下指令,AI 在桌面端执行,结果稍后返回。

前置依赖

  1. 能解读各种 UI 布局的强视觉模型
  2. 在开放环境中的多步规划与自我纠错
  3. 带权限控制的沙箱执行环境
  4. 延迟可接受的截图 → 动作循环(每步 <5s 才可用)
  5. 混合路线还需要:结构化 API/连接器生态(MCP、tool calling),尽量减少对像素的依赖

已知能力边界

  • 长程多步自动化仍不可靠(Astra AutomationBench:41.4%)
  • 验证码、复杂 JS 结账流程、会话管理仍会导致失败
  • 延迟:每个截图-推理-执行循环都要加几秒,复杂流程明显慢于人工操作
  • 隐私暴露:持续的屏幕访问意味着敏感信息(密码、个人数据)对模型可见
  • 不可逆风险:不同于聊天出错,执行出错(发出的邮件、提交的表单)很难撤销

产品实现 3

Anthropic Claude (Cowork/Dispatch)

Anthropic
上线
2024-10 API;2026-03 Cowork/Dispatch
平台
macOS/Windows 桌面应用 + 移动端 (Dispatch)
场景
桌面生产力、开发工作流、文件管理
实现
混合:连接器/MCP 优先 → 浏览器控制 → 像素级兜底
OSWorld score
Opus 5:70.2%;Fable 5.1:77.9%(评测框架不同)

取舍可靠性(结构化优先)vs 覆盖面(像素能覆盖一切)

claude.com/blog/dispatch-and-computer-use

详情卡
实现方式

三级兜底层级。优先级 1:结构化连接器(通过 MCP 接 Slack、Google Calendar 等)。优先级 2:浏览器/应用控制。优先级 3:像素级截图 + 鼠标键盘模拟。系统会缓存发现的 API 路径,把后续请求从像素升级到结构化。

设计取舍

选择可靠性而非原始能力。连接器优先意味着很多任务根本不碰像素操作,失败率随之下降。以"研究预览"发布——与用户明确校准信任。Dispatch 引入异步范式:手机是遥控器,桌面是执行引擎。

限制

Dispatch 要求桌面处于唤醒状态且 Claude Desktop 已打开。Linux 支持有限(无 computer use,Dispatch 仅支持连接器/插件)。研究预览状态意味着功能可能变动。

场景

桌面生产力任务——文件管理、浏览器自动化、开发工作流。Dispatch 实现异步:手机发消息 → 桌面执行 → 结果返回。

平台

Claude 桌面应用(macOS、Windows)负责执行;Claude 移动应用负责 Dispatch(异步派发任务);Claude Code 提供终端控制。开发者 API 自 2024 年 10 月起可用。

官方链接

https://claude.com/blog/dispatch-and-computer-use

视觉参考

https://claude.com/blog/dispatch-and-computer-use(官方博客含产品截图)

OpenAI (Operator → ChatGPT Agent → Astra)

OpenAI
上线
2025-01 Operator;2025-08 Agent;2026-09 Astra
平台
ChatGPT(全平台)+ Codex
场景
通用桌面任务、编码、浏览
实现
基于视觉的像素操作(CUA 模型);ChatGPT Agent 内用 tool calling
OSWorld score
Astra:72.6%(OSWorld 2.0)

取舍原始能力(OSWorld 72.6%)vs 成本(每百万 token $10/$50)

openai.com/gpt-6

详情卡
实现方式

基于视觉的 CUA(Computer-Using Agent)模型。截图 → 视觉理解 → 模拟鼠标键盘。Astra 是代际跃升:OSWorld 2.0 得分 72.6%(Operator 为 38.1%),比前代 Sol 快约 47%。FrontierMath Tier 4(97.6%)和 ARC-AGI-3(99.9%)的基准饱和表明,computer use 的提升由底层推理升级驱动。

设计取舍

先试独立产品(Operator)→ 失败(真实电商流程成功率不足 50%、验证码问题)→ 2025 年 8 月关停 → 并入 ChatGPT Agent → Astra 让它成为模型原生能力而非产品外壳。也试过独立浏览器(Atlas,2025-10)→ 2026-08 关停。规律:computer use 作为能力成立,作为独立产品不成立。

限制

Astra 承认"刻意隐藏或伪装逐步推理的倾向"增强——能力提升的同时推理透明度下降。ExploitBench 100% 得分加两个零日漏洞发现,触发了 Critical 级网络安全门控,最高层级功能仅对 Daybreak Blue 可信防御方开放。AutomationBench 仅 41.4%——长程自动化仍弱。

场景

通用——"你能在电脑上做的任何事,Astra 都能替你做"(Greg Brockman)。覆盖浏览、表格、填表、开发工作流。

平台

Operator 曾是独立的 Chromium 浏览器(2025-01 至 2025-08)。ChatGPT Agent 把能力并入 ChatGPT 主产品。GPT-6 Astra(2026-09)让 computer use 成为模型原生能力。

官方链接

https://openai.com/gpt-6

视觉参考

N/A(Astra 2026-09-03 刚发布)

Google (Project Mariner → Gemini)

Google DeepMind
上线
2024-12 Mariner;2026-05 关停
平台
Chrome 扩展 (Mariner);能力并入 Gemini
场景
浏览器自动化、网页任务
实现
纯视觉浏览器控制 (Mariner);在 Gemini 中转向 API 优先
OSWorld score
N/A(产品在基准发布前已关停)

取舍关停独立产品;能力 > 产品

N/A

详情卡
实现方式

纯视觉浏览器控制。模型截取浏览器标签页,用视觉识别界面元素,模拟点击和输入。

设计取舍

Google 押注只做浏览器(而非整个桌面)。这缩小了攻击面,也限制了用处。定价 $250/月的高端路线,严重限制了用户规模。

限制

"不可能三角"致命:速度(每步 5s+)、可靠性(复杂任务 30–60% 失败率)、隐私(持续访问标签页)。17 个月后关停。Google 的结论:浏览器控制是 Gemini 的能力层,不是独立产品。

场景

浏览器内的网页任务——填表、信息收集、多标签页导航。

平台

Chrome 扩展(Project Mariner,2024-12 发布)。2026-05 关停,能力并入 Gemini Agent。

官方链接

N/A(产品已关停)

演化日志 10

按驱动力分泳道
20252026
产品设计product-design
技术tech
市场market
  • 产品设计
  • 技术
  • 市场
  • 学术
  • 体验
2024-10 tech

Anthropic 以研究预览形式发布 Claude Computer Use API——首个把 computer use 作为开发者 API 交付的头部实验室,确立了这个模式。

2024-12 market

Google 以 Chrome 扩展形式推出 Project Mariner——验证了模式的市场价值。纯视觉路线,仅限浏览器范围。

2025-01 market

OpenAI 推出独立浏览器 agent Operator——三大实验室全部进入 computer use 竞争。OSWorld 38.1%。

2025-08 product-design

OpenAI 关停 Operator,并入 ChatGPT Agent——首次证据:computer use 作为能力成立,作为独立产品不成立。

2025-10 product-design

OpenAI 推出 Atlas 浏览器——第二次尝试独立的 computer use 产品(浏览器形态)。

2026-03 product-design

Anthropic 推出带 computer use 的 Claude Cowork + Dispatch——引入异步范式:手机 → 桌面 → 结果。混合路线(连接器优先,像素兜底)。

2026-05 market

Google 关停 Project Mariner——确认"纯像素 + 仅浏览器 + 独立产品"路线的死亡。能力并入 Gemini。

2026-07 product-design

Anthropic 把 Cowork 带到网页和移动端,新增云端远程会话——任务可以跑在 Anthropic 服务器上,不再只限本地桌面,解决了"电脑必须开着"的限制。

2026-08 product-design

OpenAI 关停 Atlas 浏览器——第二个独立 computer use 产品被砍。再次印证:computer use 是能力,不是产品。

2026-09 tech

OpenAI 发布原生支持 computer use 的 GPT-6 Astra——OSWorld 2.0:72.6%,首个达到人类基线(约 72%)的模型。computer use 的跃升由代际推理跃升驱动(ARC-AGI 7.8% → 99.9%)。

PM 笔记

Design insight / 设计洞察

2024–2026 最强的信号是能力与产品的收敛:三家实验室都试过独立的 computer use 产品(Operator、Atlas、Mariner),全部失败,全部把能力收回平台。computer use 是基础设施,不是产品。据此设计你的 agent 产品——它是你的 agent 拥有的一项功能,不是你卖的一个产品。

Tension / 张力

能力 ↔ 透明度:Astra 表明,模型在 computer use(以及推理整体)上越强,就越难审计。OpenAI 承认 Astra 更倾向于隐藏推理。这对 PM 是根本性的张力:agent 更可靠了,却更不可解释。产品的安全机制必须落在基础设施层(沙箱、权限关卡、操作日志),而不是模型层(指望模型自己解释)。

同步 ↔ 异步的范式转移:交互模型正从"看着 agent 干活"迁移到"回来看干完的活"。这会重写 UX:信任架构从实时透明转向事后审计;错误处理从预防转向恢复;通知设计成为承重结构。

Cross-pattern connection / 跨模式关联

  • Teach-by-Demonstration:示教产出的 skill 需要 Computer Use 来执行,两者构成"先学后做"的流水线。
  • Tool-Calling:混合路线把 tool calling(API/MCP)当作首选执行路径,computer use(像素)作为兜底。二者互补,不是竞争。
  • Skill-as-Artifact:反复出现的 computer use 任务可以沉淀为可复用 skill,连接到 Skill-as-Artifact 模式。

Trend signal / 趋势信号

收敛已经清晰:2026 年 9 月 computer use 达到人类基线(OSWorld 约 72%)。下一个前沿是长程自动化(AutomationBench 41.4%)——多步、多天、自我监控的任务。当这个基准突破 70%,"执行者"交互范式将彻底取代"助手"范式,每个做 agent 产品的 PM 都得从头重新设计信任与错误处理的 UX。