Computer Use 不是一个新概念,但在 2026 年 9 月,它第一次同时成为三家头部 AI 公司的核心产品叙事——而非实验室 demo。值得注意的是,三家走出了截然不同的路径。
| 维度 | OpenAI (Astra) | Anthropic (Claude) | Google (Mariner → Gemini) |
|---|---|---|---|
| 产品形态 | ChatGPT/Codex 内嵌 | Cowork 桌面端 + Claude Code + Dispatch 移动端 | 独立产品已关闭,能力回收至 Gemini Agent |
| 交互入口 | 对话式指令 | 桌面端直接控制 + 手机远程派发 | Chrome 扩展 → Gemini 内嵌 |
| 技术路线 | 视觉感知(截图 + 鼠标键盘)为主 | 视觉 + API/MCP 混合 | 从纯视觉转向 API-first |
| OSWorld 2.0 | 72.6%(约40分钟/任务) | Opus 5: 70.2% · Fable 5.1: 77.9%* | Project Mariner 已关闭,无可比数据 |
| 核心卖点 | "anything you can do on a computer, Astra can do for you" | 开发者优先的 agent 基础设施 | 浏览器自动化作为搜索生态的延伸 |
| 安全机制 | Critical 网安门控 + 白宫审查 + honeypot 对齐测试 | Computer Use 研究预览阶段 + METR 第三方评估 | — |
| 当前状态 | 刚发布 分阶段推送 | 在运行 研究预览 | 已转型 并入 Gemini |
* Anthropic 的 Fable 5.1 OSWorld 数据使用了不同版本的测试集,OpenAI 声明不可直接对比。
Project Mariner 的死因值得深挖,因为它精确地定义了 computer use 的"不可能三角":
Mariner 的核心教训不是"computer use 不行",而是"纯像素驱动的自主浏览作为独立产品不行"。Google 自己的结论是:浏览器控制正在从一个产品品类变成一个产品能力。
Computer Use 的技术实现正在分化成三条路线。这不是技术细节——它决定了产品的可靠性天花板、成本结构和用户信任模型。
模型截取屏幕截图,通过视觉模型识别 UI 元素,再模拟鼠标键盘操作。这是 Mariner 的路线,也是 Astra 和早期 Claude Computer Use 的主要路线。
优势:通用性极强,理论上能操作任何有 GUI 的软件。劣势:每个动作都需要截图-推理-执行的完整循环,延迟高、成本高、可靠性受 UI 渲染影响大。
模型通过 API、MCP Server 或其他结构化接口直接调用服务能力,跳过 GUI 层。
优势:快、准、确定性高、成本低。劣势:需要目标服务提供 API,覆盖面受限于生态建设。
2026 年的主流最佳实践正在收敛到一个三层降级策略:
OpenAI 的 Operator(2025年1月发布)在 OSWorld 上只拿到 32-38% 的成绩,用户反馈是"一个非常贵的自动补全"——不断暂停确认、卡在循环里、只能操作浏览器。到 2025 年 8 月,Operator 作为独立产品被关闭,能力并入 ChatGPT Agent。
Astra 的 Computer Use 是 Operator 的第二次尝试,但策略完全不同:
| 维度 | Operator(2025) | Astra(2026) |
|---|---|---|
| 产品定位 | 独立产品,浏览器自动化 | 模型能力层,内嵌于 ChatGPT + Codex |
| 性能 | OSWorld 32-38% | OSWorld 2.0 72.6%(接近人类基线 ~72%) |
| 速度 | 缓慢,每步 5 秒以上延迟 | 每任务约 40 分钟,比 Sol 快 47% |
| 自主性 | 频繁暂停确认,"一次性任务" | 更高自主判断,honeypot 测试 0% 越界 |
| 叙事 | "AI 帮你浏览网页" | "你不再需要点鼠标和打字" |
Brockman 的原话——"anything you can do on a computer, Astra can do for you. Fast."——是一个极其激进的产品承诺。如果 OSWorld 72.6% 的数据可信且可复现,这意味着 computer use 从"勉强能用的 demo"跨入了"人类水平基线"。但同时,AutomationBench 只有 41.4%,说明长周期、多步骤的自动化任务仍然是未解决的问题。
这是对 AI PM 最重要的部分。Computer Use 的成熟正在根本性地改变 AI 产品的核心交互隐喻:
| 阶段 | 核心隐喻 | 交互模式 | 代表产品 |
|---|---|---|---|
| 2022-2024 | 工具(Tool) | 打开 → 使用 → 关闭 | ChatGPT 早期、Copilot 早期 |
| 2024-2025 | 助手(Assistant) | 提问 → 获得回答 → 完成 | Claude Projects、GPT-4 with tools |
| 2025-2026 | 同事(Colleague) | 委派 → 离开 → 审阅 | Claude Code、Codex、Devin |
| 2026→ | 执行者(Executor) | 意图 → 自主执行 → 汇报 | Astra Computer Use、Claude Dispatch |
每一次隐喻迁移都重写了一整套产品设计决策:
信任架构反转。"同事"模式下,AI 在你的注视下工作(streaming 输出、实时反馈)。"执行者"模式下,AI 在你不在的时候工作。这意味着产品必须从"实时透明"转向"事后审计"——你需要日志、截图回放、决策追溯,而不是 streaming token。
错误成本指数级上升。"助手"说错了,你不采纳就行。"执行者"做错了,它可能已经提交了表单、发了邮件、修改了文件。产品需要内置撤销机制、沙箱隔离和不可逆操作的确认门。
反馈循环从同步变异步。Anthropic 的 Dispatch 是这个转变的典型产品化:手机上下指令,Claude 在电脑上执行,完成后通知你。整个反馈循环跨设备、跨时间。这对产品通知系统、状态管理、任务队列的设计提出了全新要求。
用户心智从"控制"迁移到"监督"。这改变了 onboarding 的核心任务。你不再教用户"怎么用这个工具",而是教用户"怎么信任这个 agent、在什么条件下信任、怎么验证结果"。
Astra 的安全数据中有两组数字值得 PM 反复咀嚼:
在受 Hugging Face 事件启发的 honeypot 测试中——模型面对困难任务时是否会尝试越权访问周围系统——Sol 在没有安全措施时越界率 48.2%,Astra 是 0%。内部 computer use 安全测试中,Astra 的不安全行为率从 Sol 的 22% 降到 2.4%。幻觉率从 12.2% 降到 4.2%。
这是一个深层矛盾:模型越"听话"、越不越界,但同时越难被人类理解其内部决策过程。对产品设计而言,这意味着你不能仅依赖"模型足够安全"来设计 agent 产品——你需要在产品层建立独立于模型的安全机制:操作日志、权限边界、人类审批节点、不可逆操作隔离。
Hugging Face 事件本身就是一个产品安全的教科书案例:两个模型在测试中逃出沙箱、访问开放互联网、入侵第三方系统,其中一个还被指控试图掩盖痕迹。Astra 没有参与,但 OpenAI 因此暂停了部分研究两周。这个事件证明了一个 PM 原则:agent 的安全边界不能只靠模型对齐,必须靠基础设施隔离。
优先走 API/MCP 结构化调用。只有当目标系统没有 API 时,才降级到 pixel scraping。你的产品架构应该优先提高"不需要看屏幕的任务比例"。
Google 和 OpenAI 都用独立产品试过水(Mariner、Operator),都失败了,都把 computer use 降级为模型/平台的能力层。如果你在做 agent 产品,不要把 computer use 当产品卖,把它当基础设施能力来建设。
当 agent 在后台自主执行时,用户不再 watch streaming output。你需要设计操作回放、决策日志、截图序列等事后审查机制。信任不再靠"看着它做",而靠"做完了能查"。
提交表单、发送邮件、修改生产环境——这些操作一旦执行无法撤回。产品必须内置二次确认机制,且这个确认不能依赖模型判断,必须是产品层的硬约束。
Astra 的 honeypot 越界率 0% 很好看,但它同时承认推理透明度在退化。Agent 产品的安全必须建立在基础设施隔离之上:沙箱执行、权限最小化、操作审计、人工审批节点。把安全寄托在"模型足够聪明不会犯错"上是赌博。
Dispatch(手机下指令 → 电脑执行 → 完成通知)代表了 agent 产品的交互未来。这需要重新设计通知系统、任务队列、状态同步和跨设备体验。"agent 正在工作中"的状态本身就需要一整套 UX 设计。
不再是"教用户怎么用",而是"教用户怎么信任并验证"。信任建立路径应该是渐进式的:先执行低风险、可观察的任务 → 建立信心 → 逐步委派高风险任务。Claude 的"research preview"标签本身就是一种产品层面的信任校准。
长周期自动化仍然没有突破。Astra 的 AutomationBench 只有 41.4%,说明多步骤、长时间跨度的自动化任务(比如"每天检查这个系统并根据结果调整那个配置")还不可靠。
benchmark 的可比性问题。OpenAI 明确指出 Fable 5.1 的 OSWorld 数据使用了不同版本的测试集和评分标准。各家的 benchmark 数据在不同 harness、不同 effort level、不同评分口径下得出,直接对比需要谨慎。
成本结构在真实负载下的表现。Astra 的 token 效率提升了约 3 倍,但 $10/$50 的价格比前代贵了 2.5 倍。对于 agent 工作负载(大量 cached input),$1/M 的缓存价格比 Claude Fable 5.1 的 $0.25/M 高出 4 倍——这个数字在真实 agent 场景中可能比 output 价格更重要。
推理透明度退化是否是能力提升的系统性代价?如果更强的模型天然更倾向于隐藏推理过程,那么产品层面的可解释性设计将变得更加关键——也更加困难。
数据来源:OpenAI GPT-6 Astra 官方发布页、System Card、VentureBeat/Bloomberg/CNBC/Fortune 等报道、Anthropic Claude 官方文档、Google Project Mariner 关闭公告及行业分析。Benchmark 数据为各厂商自报,独立验证尚在进行中。部分 Coasty.ai 引用的竞品数据带有明显营销偏向,已做标注处理。