PATTERN · EVOLVING

Teach-by-Demonstration 录屏示教

用户通过录屏示范一次工作流,AI agent 将其转化为可自主重放的可复用技能。

进化中 agent automation no-code skill computer-use
  1. 概念期
  2. 已落地
  3. 进化中
  4. 趋同期
热度
5/5
首现
2026-06
产品实现
4
演化事件
7
发起
OpenAI Codex (Record & Replay)

Users teach AI agents to execute workflows by performing them once via screen recording; the agent converts the demonstration into a reusable skill it can replay autonomously.

定义与机制

  1. 输入

    用户在 agent 的云端电脑上完成一遍工作流,系统录下可见的屏幕操作(点击、输入、滚动、跳转)。不采集麦克风音频,通常限制在 10 分钟左右。

  2. 处理

    系统观察操作序列,把界面元素映射到动作,推断工作流的意图逻辑。用户在录制前后用自然语言描述目标,用来锚定系统的理解。

  3. 沉淀物

    一个 **skill**——有名字、可复用的工作流对象,agent 可以独立执行。它同时记录了操作序列和上下文偏好。

  4. 执行

    skill 可以按需运行(用户发起)、定时运行(类 cron 的 routine),或由事件触发(新 Slack 消息、Git 提交等)。

前置依赖

  1. Computer Use 能力:agent 必须能看见并操作 GUI——这是执行底座。没有成熟的截图理解 + 动作生成,示范重放无从谈起。
  2. 视觉理解模型:能解析任意 UI 布局(GPT-4o 级别及以上)的视觉模型,而不只是预先映射过的界面。
  3. 常驻云端算力:agent 需要一台自己的、始终在线的电脑来异步重放 skill,不依赖用户设备的状态。

已知能力边界

  • 一次示范 ≠ 健壮的 skill 跑通一次并不能教会边界情况——空表格、缺数据、界面改版、权限报错。官方文档明确把产出称为"草稿"。
  • 依赖判断的任务会失败 需要主观决策的工作流(比如"这个线索值不值得跟进")无法只靠示范捕获。
  • 对 UI 变化脆弱 目标网站或应用一改版,skill 就会失效。目前没有任何实现稳健地解决这个问题。
  • 音频/口头上下文(部分解决) 多数实现(Codex、Grok Bot)只采集可见操作,不含音频。Claude 的 Record a Skill 在录屏的同时采集口述,让 agent 学到每一步背后的*推理*,而不只是动作序列。语音采集仍是例外,不是常态。
  • 安全面 agent 为了重放任务会持有浏览器会话和凭据,形成不可忽视的攻击面。

产品实现 4

Codex Record & Replay

OpenAI
上线
2026-06
平台
Codex CLI (macOS)
场景
开发者工作流
实现
录制开发者操作 → 可复用 skill

取舍只面向开发者;与编码工作流深度集成但受众窄

developers.openai.com

详情卡
实现方式

在 Codex 环境内录制开发者的操作,转换为可复用的 skill 对象。

设计取舍

初期只支持 macOS,换取更紧的系统集成。只面向开发者意味着上手门槛高,但工作流捕获更深。

限制

发布时仅 macOS。依赖 Codex 环境。不面向非技术用户。

场景

以开发者为中心的工作流——编码、测试、部署序列。

平台

macOS 上的 Codex CLI。开发者工具,需要已有 Codex 环境。

官方链接

developers.openai.com

Grok Bot Teach a Task

xAI (SpaceXAI)
上线
2026-08-11
平台
Grok Bot 应用 (macOS, Windows, iOS, Linux)
场景
通用知识工作与运营
实现
在 agent 云端电脑上录制 → skill + routine 定时调度

取舍受众广;iMessage 式体验但技术深度较浅

docs.x.ai/grok-bot/skills-routines-and-automations

详情卡
实现方式

用户在与 Bot 的一对一对话里点 "Teach a task" → 描述想要的结果 → 在 Bot 的云端电脑屏幕上录制最多 10 分钟的可见操作 → Bot 转换为草稿 skill → 用户测试并修正 → skill 可挂到 routine 上(定时,或由新 Slack 消息 / Git 提交等事件触发)。一个账户下所有 Bot 共用一台云端电脑,skill 因此能访问共享的浏览器会话和凭据。

设计取舍
  • "示范即配置"——刻意跳过 API 接入和字段映射,为非技术用户做的极简化。
  • skill ≠ 成品——明确定位为需要人工完善的"草稿",坦承局限而非过度承诺。
  • 共享电脑模型——所有 Bot 共用一台机器,方便跨 Bot 复用凭据,但也带来安全边界问题。
  • iMessage 形态的对话界面——追求熟悉感而非强大感,用零学习成本换掉了高级用户控件。
限制

录制上限 10 分钟。不采集麦克风。一次示范只能产出草稿,不是可上线的自动化。目标应用改版会让 skill 失效。不能选模型,Grok Bot 自动选择。Teach-a-task 分批灰度,并非所有账户可用。

场景

通用知识工作——邮件分流、社群管理、数据采集、社媒监控、报告生成。明确面向非技术用户。

平台

Grok Bot 桌面应用(macOS、Windows、Linux)和 iOS 伴随应用。运行在按账户分配的云端电脑上。

官方链接

https://docs.x.ai/grok-bot/skills-routines-and-automations

视觉参考

Nate Herk 演示:https://x.com/nateherk/article/2089917020087210160

SkillForge

独立团队
上线
2026 (ProductHunt)
平台
独立工具
场景
工作流 → SKILL.md 转换
实现
把录屏转换成 agent 原生的 SKILL.md 格式

取舍只做格式层;产出可移植的 skill 文件但没有执行运行时

(ProductHunt 发布页)

详情卡
实现方式

输入录屏,输出结构化的 SKILL.md 文件,可供多种 agent 框架消费。

设计取舍

只做格式转换这一层,不提供执行运行时。押注 SKILL.md 成为互通标准。

限制

没有内置执行。依赖下游 agent 框架实际运行 skill。

场景

把录屏转换为 agent 原生的 SKILL.md 格式——一种可移植的文本化 skill 表示。

平台

独立工具(ProductHunt 发布)。

官方链接

ProductHunt 页面

Claude Record a Skill

Anthropic
上线
2026-07-21
平台
Claude Cowork (macOS 桌面端 + 网页)
场景
通用知识工作——业务流程、组织技能沉淀
实现
录屏 + 点击 + 键入 + 口述 → 自动生成完整 skill 包(SKILL.md + Python 脚本 + 模板)

取舍首个同时采集口述推理的实现;skill 锁在 Claude 生态内;仅限 Pro/Max/Team 计划

claude.ai

详情卡
实现方式

在 Cowork 任务里打开 + 菜单 → "Record a skill" → 现场完成任务。Claude 采集屏幕活动、鼠标点击、键入,以及口述。录制结束后自动生成完整的 skill 包:SKILL.md 说明、配套 Python 脚本、模板和示例。用户不用写任何代码。

设计取舍
  • 语音 + 屏幕 = 推理 + 序列:决定性的差异点。其他实现只采集动作轨迹;Claude 采集每一步为什么这么做,让 agent 在复现动作的同时复现判断。
  • 自动生成 skill 包:Claude 写出完整的 SKILL.md 和脚本,取代此前的手工编写(之前 Cowork skill 的默认流程)。创建门槛大幅降低。
  • 有意的生态绑定:skill 存在 Claude 库、跑在 Claude 基础设施上,SKILL.md 不跨平台——与 SkillForge 的互通路线是相反的押注。
  • 计划门槛:仅 Pro、Max、Team 计划可用,明确的付费升级定位。
限制

skill 绑定 Claude Cowork 运行时,不能迁移到其他 agent 框架。可靠性仍取决于 Claude 底层 computer use 的准确率。尚未宣布支持多次示范学习。

场景

通用业务流程与组织技能沉淀——执行者能一边做一边口述推理的重复性操作(数据录入、客户报告、内容分流等)。

平台

Claude Cowork——macOS 桌面应用和网页。skill 存在用户的 Claude skill 库里,跨会话可调用。

官方链接

https://claude.ai

视觉参考

The Decoder 报道:https://the-decoder.com/claude-cowork-learns-new-skills-through-screen-recordings-and-voice-over-explanations/

演化日志 7

按驱动力分泳道
2026
产品设计product-design
技术tech
市场market
学术academic
  • 产品设计
  • 技术
  • 市场
  • 学术
  • 体验
2025-05 academic

AgentRR 论文发表(arXiv 2505.17716)——提出 record-summarize-replay 的 agent 任务学习流水线。在任何大厂产品落地之前,先从学术上验证了"示范 → skill"范式。

2026-06 product-design

OpenAI Codex 在 macOS 上推出 Record & Replay——首个大规模产品化。只面向开发者,与 Codex 深度集成,证明模式可以规模化。

2026-07-21 product-design

Anthropic 在 Claude Cowork 内推出 "Record a Skill"——采集屏幕、点击、键入**和口述**,自动生成完整 skill 包(SKILL.md + Python 脚本 + 模板)。首个在录屏之外同时采集语音推理的实现。

2026-08 product-design

SkillForge 在 ProductHunt 发布——押注 SKILL.md 成为可移植、跨 agent 的 skill 格式,把"捕获"和"执行"两步拆开。

2026-08 market

Grok Bot 订阅价下调约 70%——降低进入门槛,加速采用;释放出对留存和使用模式有信心的信号。

2026-08-11 product-design

xAI 推出 Grok Bot 的 Teach a Task——把模式从"开发者专用"扩展到普通知识工作者,增加 routine 调度层(skill + 触发器 = 自动化),首个把它表述为"示范即配置"的产品。

2026-09 tech

Claude Opus 4.8 在 Online-Mind2Web 浏览器 agent 基准上达到 84%(Opus 4.7 约 64%),同时为 Claude Code 推出 "dynamic workflows"——迄今最强的示范重放底座,更高的基线可靠性降低了所有基于 Anthropic 模型的实现在示范之后的修正负担。

PM 笔记

Design Insight / 设计洞察

各家实现里最有意思的设计决策是示范即配置——Grok Bot 刻意跳过传统的自动化设置流程(接 API → 映射字段 → 定义触发器 → 测试)。让录制本身成为全部设置,把一个多步的技术过程压缩成一个人类动作。这是在押注:视觉示范比填表单更接近自然的编程语言。

示范 → skill → routine 的三层分离同样值得注意。它把 WHAT(skill)、WHEN(routine)和 HOW-LEARNED(示范)解耦。一个 skill 可以先靠示范教会,之后再用文字指令打磨——学习方式不锁死执行方式。

Tension / 张力

这个模式的根本张力是创建的容易 vs 执行的健壮。录制让创建 skill 变得毫不费力,但一次成功的示范只编码了 happy path。每一个边界情况、错误状态、条件分支,都得事后手工补上。任务越难、越有价值,能靠示范捕获的部分就越少。

由此引出一个有趣的设计问题:系统会收敛到"示范 + 规则"(用户手工加决策逻辑),还是"示范 × N"(多次带变化的示范,系统学出泛化模式)?目前没有实现交付了后者,但它是显而易见的下一步。

Claude 的 Record a Skill 给出了第三条路:示范 + 口述。通过在动作之外采集口头推理,系统能学到每一步为什么发生,而不只是做了什么。这部分解耦了 skill 质量与示范完美度——一次误点击可以口头承认并纠正,不必重录。

Cross-pattern Connection / 跨模式关联

  • Computer Use 是执行底座——没有它,示范出来的 skill 无法重放。Teach-by-Demonstration 本质上是"Computer Use + 记忆"。
  • Skill-as-Artifact:这个模式的产出就是一个 skill 对象。如果 skill 格式收敛(比如 SKILL.md 成为标准),示范就能跨 agent 平台移植。
  • Agent-Routine:把一次性 skill 变成持续自动化的调度/触发层。Grok Bot 的 routine 系统是最清晰的实现。

Trend Signal / 趋势信号

一个季度内(2026 Q2–Q3)出现四个生产级实现,横跨三家头部 AI 实验室(OpenAI、xAI、Anthropic)和一个独立工具——这确认了它是一个真实的品类,不是一次性功能。模式正在从"开发者工具"(Codex)走向"普通用户工具"(Grok Bot、Claude)——经典的扩散路径。语音口述成为新的分化轴:静默采集 vs 口述采集,很可能成为每个实现都必须有意识做出的设计选择。值得关注:

  • Google(Antigravity)推出自己的版本——四大实验室里唯一还没入场的
  • 可移植 skill 格式的收敛或分裂(SKILL.md vs 私有格式)
  • 多次示范学习(从 N 个样例学,而不只是一个)
  • 语音口述会成为标配,还是维持为差异点