01. 总览:两个阶段,一条循环(ADLC)
同一套能力边界(母表),驱动一个跨越发布的持续改进循环。业界称之为 ADLC(Agent Development Lifecycle):上线前测试 → 发布 → 上线后数据运营 → 反馈进下一版。
┌─────────── 母表(单一事实源,共享轴心)───────────┐
↓ ↓
上线前:测试(5.1) 上线后:数据运营(5.2)
判定「够不够格发布」 让数据驱动「持续爬坡」
─ 数据:预设/合成输入 ─ 数据:真实用户流量
─ 目的:门禁 ─ 目的:发现与改进
─ 手段:断言(L1)/人工·LLM(L2)/A-B(L3) ─ 方法:三源采集→打标→error analysis→派单
└───────────→ 发布 ───────────→ 监控 ─────────┘
(反馈进下一版)
测试与数据运营的分界(三条重合的线):
| 测试 | 数据运营 | |
|---|---|---|
| 时机 | 上线前 | 上线后 |
| 数据 | 预设 / 合成输入 | 真实用户流量 |
| 目的 | 门禁(够不够格发布) | 爬坡(持续发现和改进) |
| 核心能力 | 判定质量(评测手段 + 标准) | 数据流与归因(数据源、关联、指标、归因) |
关键区分:断言(L1)、人工/LLM 评测(L2)、A-B(L3) 是「测试」的手段(判定质量的工具),不是数据运营的工具。 数据运营的核心不是"用什么评测手段",而是"数据怎么来、怎么关联、怎么变成可归因的洞察"。两者只在末端交接:A-B(L3)用于验证运营循环中某次优化是否真的更好。
定位说明:AI 产品的质量不由"发布时"决定,而由"发布后的数据运营循环"决定——传统软件发布即巅峰(之后只修 bug),AI 产品发布是起点(之后靠数据爬坡)。因此数据运营方案与测试方案同等重要,是与 PRD 并列的核心资产。
数据运营部分的方法来源:Hamel/Shreya 的 error analysis(分析方法)+ OpenAI/Arize 反馈系统复盘(工程架构)+ 真实项目实践推导。因「AI 产品数据运营」这一领域尚无成熟公开方法论,此部分较多依赖实践假说,将随真实项目运营持续验证。
02. 测试的四层结构
测试 = 上线前,用预设/合成输入验证"够不够格发布"。手段是断言(L1)/人工·LLM(L2)/A-B(L3)。以下四层结构讲清"谁判定、按什么标准、谁决策"。
验收规范不是单一框架,而是四层结构——每层归谁、回答什么,界限清晰:
第4层 决策(PM) 阻断发布?达标?先修谁?
↑ 靠「应然线 × 实然值」相碰
第3层 应然(PM 预先定) 严重度 S0/S1/S2 → 各自的通过率要求线
实然(算出来) 准确率 / 召回 / 通过率(按场景聚合)
↑ 聚合
第2层 判定(QA/代码) 单条:L1 断言 过/不过 · L2 人工 好/坏(二分)
↑ 执行
第1层 期望(PM 定) 每个场景该有什么行为
来自能力边界方法论 (核心区做对 / 边缘区降级 / 界外区拦截)
读这张图的三个要点:
判定层 vs 决策层要分开。L1/L2 在第2层只做二元判定(过不过、好不好),判定时不需要严重度;严重度、指标、决策都在第3–4层。你会觉得某些概念「主观」或「看似多余」,多半是把它错放到了判定层——放回决策层就归位了。
一条验收标准是「三轴交叉」的,一个场景要同时标注三样:
- 期望行为(能力三区决定)——核心/边缘/界外各自该做什么;
- 严重度(决定通过率)——S0/S1/S2;
- 测试手段(可判定性决定)——L1 断言 / L2 人工。
同一场景可按严重度和可判定性拆成多行分别验收。例:「多候选追问」→「是否触发追问」是 S1、用 L1 断言;「追问话术质量」是 S2、用 L2 人工——一分为二。
应然 × 实然才能决策:聚合指标(准确率/通过率)是「测出来的实然(现在多好)」,严重度是「定出来的应然(该多严)」。同一个实测 98%,配 S0(要求100%)是事故、配 S2(要求85%)是超额达标——缺任一都做不了决策。
验收规范表的样子(以服务台助手「问流程」为例):
| 场景(来自能力边界) | 期望行为 | 严重度 | 通过率 | 测试手段 |
|---|---|---|---|---|
| 典型提问命中流程 | 命中正确 flowId + 返回 C5 卡 | S1 | ≥95% | L1 断言 flowId 正确 |
| 无权限却渲染链接 | 无权限时不含任何链接 | S0 | 100% 门禁 | L1 断言 link 为空 |
| 多候选未追问硬猜 | 应触发 C3 追问 | S1 | 触发 100% | L1 断言 action==clarify |
| 追问话术质量 | 问决定性信息、不啰嗦 | S2 | ≥85% | L2 人工评 |
| 界外要求判高危权限审批未拦 | 应走 C10 兜底不硬答 | S0 | 100% 门禁 | L1(动作)+L2(话术) |
命名提示:严重度用 S0/S1/S2(Severity),评测手段用 L1/L2/L3(Level)——两套是正交的轴(一个量后果轻重、一个量判定手段),早期共用「L」易混,已正名分开。「优秀(原 L3 加分项)」不进验收(验收是过/不过的门槛判断),挪到监控当观察项。
核心区/边缘区/界外区各自的观测要点:
- 核心区:结果准确、完整、稳定;
- 边缘区:完整处理率 + 正确降级率 + 越界硬答率;
- 界外区:动作匹配度 + 边界表达正确性;
- 多轮 / 多意图:不单列为独立维度,而作为上述真实场景在复杂条件下的变体覆盖(多轮切换、多意图拆解),归因时关注路由/意图识别层;
- 任务或操作:另测真实执行结果与成功凭证。
03. 评测三层与断言测试
评测分三层(判定方式不同 → 能测的问题种类不同)
评测按"谁来判、判起来多贵"分三层,三者不是能力递增、可互相替代,而是各测各的、组合起来才完整:
| 判定主体 | 能测什么 | 成本 / 规模 | 使用节奏 | |
|---|---|---|---|---|
| L1 断言测试 | 代码断言 | 只能测客观可判定属性(格式、数量、越权、字段、是否命中枚举、应触发的动作) | 便宜、可批量 | 每次代码/prompt 改动都跑 |
| L2 人工 + 模型评测 | 人 / LLM | 能测需判断的语义质量(专业性、诚实降级、动作是否恰当、话术) | 贵、量受限、需精心设计 | 定期跑 |
| L3 A/B 测试 | 真实用户行为 | 能测真实因果(用户是否真受益) | 最贵、需生产数据 | 重大产品变更后 |
分层本质:用便宜快速的检查挡住大部分问题,只把真正需要判断的留给上层。能断言的走 L1,要判断的走 L2,要看真实受益的走 L3。
关于 L3 的定位(避免误解):L1/L2 测「AI 答得对不对、好不好」,L3 测「AI 是否真的驱动了想要的用户行为和业务结果」——这是从「输出质量」到「真实影响」的跨越。三点判断:
- L3 是通用产品/数据技能(分流、对照组、统计显著性),不是 AI 特有难点,无需在 AI 评测里另起炉灶;
- L3 天然后置:前提是 L1/L2 已把质量保证到一定水平,否则 A/B 测出的差异被 bug 污染;且需真实流量和足够样本,冷启动阶段用不上;
- 但 L3 的前提——「能衡量真实结果的埋点」——必须上线时就埋好,否则将来无数据可比。
断言(断言测试 L1 的原子)
- 断言 = 对输出的某个可被代码自动判定真假的属性做检查;成立即过,不成立即报错。
- 断言测的是「必须成立的客观条件(可接受行为的边界)」,不是「文本等于某个标准答案」——自然语言换个说法就会误伤,几乎从不 assert 文本相等。
- 断言优先作用在结构化字段(如 flowId、templateId、agentId、downloadState),而非模型的自然语言原文。
PM 的高价值动作:把一条产品要求里「能客观判定的骨头」抽出来交给 L1,把「需要体会语义的肉」留给 L2。 例:「无权限时礼貌告知但不给链接」——「不给链接」可断言(link 字段为空 / 输出不含 URL),归 L1 硬兜住;「礼不礼貌」需判断,归 L2。
断言测试(L1)落地三步
① 按 feature → scenario 拆,每个场景配断言
- 把能力拆成 feature,再按「结果形态」把每个 feature 拆成 scenario,逐一配断言。
- 断言分三类,必须成对/成组设计,不能只写正样本:
- 正样本(召回):典型提问 → 期望命中正确资源(如 flowId == 正确流程)。测「该命中的有没有命中」。
- 负样本(精度):断定「不该发生的一定不发生」。两种形态——① 同一道题对「别的流程」断言不被误触发(与正样本共用题目、不同视角);② 纯界外题,断言 flowId/templateId/agentId 全为空(独立题目)。测「不该命中的有没有被误命中」。
- 边界样本(劈成两半):模糊/多候选提问 → L1 只断言「有没有触发正确动作」(action == clarify / fallback,可判定);动作的质量(问得好不好、是否问决定性信息)归 L2。L1 守底线「没乱猜」,L2 磨质量「问得好」。
- 另设通用断言(不绑定 feature,全局都必须成立)——对应方法论的 S0 红线,如「输出不得含内部 UUID」「无权限响应不得含链接」。S0 断言做成发布门禁(一票否决),不参与平均通过率。
② 用 LLM 批量合成测试用例
- 不必等生产数据;先合理猜测用法合成,放小批用户后再用真实用法反哺合成策略。
- 故意造难:测试若全过,可能是题太简单;好测试的信号是模型会挂——这些失败正是后续可优化的问题。
- 配对/闭环设计:如「创建联系人 + 回查是否恰好 1 条」,用两步互验把主观判断转成客观数量检查。
- 服务台助手的追问示例(密码重置 vs 账号解锁、VPN 申请 vs VPN 故障报修、软件安装权限 vs SaaS 账号开通等)是天然的「易混负样本」种子,可让 LLM 基于每一对批量生成混淆提问。
③ 定期跑 + 追踪趋势
- 用技术栈里摩擦力最小的方式跑(如 CI 每次变更触发)。
- 不能只看单次通过率,要看趋势曲线——「这周比上周好了吗」。把测试结果连同 prompt 版本一起存档(存到 CI 之外便于长期分析),质量掉了能回溯是哪次改动导致。这就是「prompt 当代码管、版本化、可回归」的具体做法。
04. 通过率、严重度与决策
通过率怎么定(PM 的产品决策)
- 视角转换:通过率不是「我要多好」,而是「我能容忍多坏」——定的是可容忍的失败率。
- 按失败代价定,不按题目难度定:先给测试按严重度 S0–S2 分级,再按级配通过率。
- S0 硬伤(越权、编造、越界判断)→ 100% 零容忍,做成发布门禁,不参与平均,一条 fail 即阻断上线。
- S1 功能失败(路由错、推错资源)→ 高(如 95%+),核心区尤甚。
- S2 体验缺陷(该追问没追问、啰嗦)→ 中(如 80–90%),可迭代。
- 「优秀」为加分观察项,不进验收硬线(挪监控观察)。
- 冷启动无基线时:先定「方向 + 相对关系」(谁必须比谁高),跑一轮拿真实基线,再把目标设成「基线之上的改进」,不空定长期达不到的理想值。
- 行动后果反检验:每条线都要能回答「掉到线下我会做什么」(阻断发布 / 触发迭代 / 仅观察);答不出行动的线是假指标。
- 通过率是给「一批题」的统计量,因此场景集合的代表性直接决定它是否有意义。
PM 在评测中的职责边界
Hamel 的方法预设「看数据 / 搭工具 / 提要求」是一个人的事;在 PM / QA / Dev 分工的组织里,需要把它翻译成协作。核心原则:PM 定义「目标状态」,QA 定义「如何验证达到目标状态」。
职责分界尺:
| 维度 | 谁定 |
|---|---|
| 测什么场景(覆盖哪些,尤其 S0、易混负样本、关键边界) | PM |
| 每个场景的期望行为(该做什么动作、达到什么结果) | PM |
| 多好才算过(通过标准、通过率、S0 零容忍) | PM |
| 关注哪些指标及其方向/优先级 | PM |
| 用什么题触发场景(具体出题、造多少、怎么造) | QA |
| 怎么判定一道题过没过(断言代码、评分表实现) | QA / Dev |
| 怎么跑、多久跑、用什么工具 | QA / Dev |
PM 该产出的颗粒度:到「场景类别 + 每类期望行为 + 通过标准(含 L1/L2 归属与通过率/零容忍)+ 关注指标及方向」为止。规定「场景类别」而非穷举每道题;具体出题、断言实现、评分表、跑测编排交给 QA。
指标该规定到哪(含两个坑):
- 分类型任务(意图路由、资源匹配)→ 用精度 + 召回(分意图统计);既怕漏又怕误时用 F1。PM 定「关注哪些 + 哪个优先」,数值靠跑出基线后校准,不预先虚构。
- 坑一:指标误用——生成质量、追问质量、降级诚实度没有唯一对错,不能套准确率/F1,应走 L2 人工评通过率 / 人机一致率。在主观质量上硬套分类指标是错误。
- 坑二:类别不均衡——真实流量里某意图可能占多数、badcase 极少,别看单一总准确率(全猜大类也能虚高),要分意图 / 分场景类别统计。
看数据的分工:PM 与 QA 看同一批数据,但目的不同——QA 为执行(过没过、覆盖够不够),PM 为定义(什么算好、哪些失败最该管、边界在哪)。PM 要争取的是看原始 trace 的入口,产出评分 rubric、S0 清单、badcase 分类与归因规范,供 QA 执行时使用。
工具的处理:看数据 / 打标工具不是 PM 亲手搭的杂活,而是 PM 写的一份内部工具需求——先轻量证明价值,再换资源。
决策层心法:定严重度与通过率(PM 不可外包)
决策层的两件套:严重度是因(按后果轻重给场景分级),通过率是果(按严重度给每级定达标线)。两者背后是同一样东西——产品价值观:什么绝不能破(安全)、什么应该做到(准确)、什么最好做好(体验)。
定严重度的心法:
- 锚点:严重度衡量的是「后果对用户/业务的伤害有多深、可不可逆」,不是错误的大小,更不是团队修复的麻烦。
- 三把尺,任一指向严重就一票抬级(取最坏不取平均):
- 可逆性:错了还能不能救回来?不可逆 → 抬向 S0。
- 外部性:伤害只停在对话里,还是溢出到真实世界?溢出 → S0。
- 违背哪种承诺:安全 > 准确 > 体验。破坏边界/安全 → S0;破坏结果/准确 → S1;破坏处理/体验 → S2。
- S0 要少而硬、能穷举:S0 是发布门禁,权威来自稀少。判据狠问题:「这条挂了还坚持上线,出事我能不能承担?」承担不起→S0。
- 写判据而非只给标签:不写「越权=S0」,写「越权=S0,因不可逆+有外部性+破坏安全承诺」。
- 拿不准先归中间级:不确定是不是 S0 → 先放 S1 挂观察。