01. 运营总框架与冷启动
五步闭环(起点前置)
[冷启动首轮] error analysis 发现真实高频失败 ──┐(起点:先看数据,不先定指标)
↓ │
① 监控什么指标(每个指标对应一类真实失败) │
↓ │
② 数据怎么来(点踩 + 埋点 + 后台打标,三源) │
↓ │
③ 怎么分析(按母表打标 → 数频次 → error analysis 找模式)
↓ │
④ 怎么优化(归因决定派谁修;高频边缘迁核心) │
↓ │
⑤ 怎么确认优化了(对应指标降没降 + 看趋势)─────┘(循环)
关键顺序修正:起点不是「定指标」,而是先做一轮 error analysis。 若从"定指标"起步,容易滑向 Hamel 警告的无用通用指标("连贯性 3.72→4.2 根本不知系统变好没")。指标必须从真实失败里长出来:不是凭空决定"要监控追问率",而是 error analysis 发现"该追问没追问"是高频失败,才去监控它。指标是失败的度量,失败要先被发现。
先窄起步:定义 badcase 从哪开始(别煮沸海洋)
冷启动别想用母表一次覆盖所有失败。先挑一个最高频、最可度量的失败,把它的完整闭环跑通。
- 第一轮的目的是验证「运营流程能不能转起来」,不是「抓得多」。挑一个失败,走通 发现→打标→归因→修→验证 全流程,再复制到别的类型。
- 要有明确的收尾指标:能说清"这个失败降到多少算修好了"。
第一轮抓 badcase 的优先级(按信号纯度):
- 用户明确确认的失败(信号最纯,优先):对话里的更正、点踩(尤其带原因)、点"重新生成/编辑"。
- 系统客观标记的失败(无歧义):触发兜底、追问后用户流失、明确报错。
- 行为推断的疑似失败(有噪声,谨慎):用户放弃、多轮未解决——进"疑似池",靠抽样验证。
02. 三个数据源与关联
三源分工(互补,覆盖不同盲区)
| 数据源 | 采什么 | 覆盖谁 |
|---|---|---|
| 点踩(用户主动反馈) | 用户明确的不满 + 原因选项 | 愿意开口的用户 |
| 埋点(用户行为) | 客观行为(点击、放弃、重新生成…) | 全量用户(含沉默的) |
| 后台打标(归因分类) | 给数据贴母表维度的标签 | —(是加工,非采集) |
系统主动信号(后台算,非用户动作触发)是运营主力,因为它覆盖沉默用户:兜底触发率、追问率、多轮未解决率、同问题复现率、行为/结果信号。
三源关联:用 canonical feedback event 把三源钉在一起
- 不是三张表硬拼,而是设计一个统一的「反馈事件」结构;
- 关联键 = trace_id / conversation_id:每个反馈事件都挂上对话标识符;
- 保留原始文本 + 出处(provenance),schema 支持「再处理」:母表和打标器会演变,原始数据完整保留,母表升级后能拿旧数据用新分类重跑。只存"打好的标"不够,必须存原始对话。
点踩选项设计原则
- 选项映射内部归因:每个口语选项背后挂一个内部标签,映射到母表的失败类型/归因维度。
- 让用户按「现象」选,而非「技术归因」选:用户能准确感知"答错了/页面卡了",但难准确区分"失忆 vs 一开始就没懂"。
- 点踩与原因拆成两个独立事件、不选原因也算点踩:先保召回,再补精度。
- 留"其他 + 自由输入":捞母表没预料的新失败类型。
- 万金油选项(如"没有帮助")应去掉:它无法反解到任何具体失败,制造脏数据。
- 不做「点踩后追问」:点踩时用户耐心已降,追问惹反感。
后台打标方案
打标 = 给每条 badcase 贴母表维度的标签。母表就是打标字典。
三维打标:
| 维度 | 取值 | 用途 |
|---|---|---|
| 失败层级(严重度) | S0 / S1 / S2 | 优先级、是否阻断 |
| 归因 | 路由意图 / 知识库 / 生成 / 系统前端 / 轻操作执行 | 决定派给谁修(最关键) |
| 场景 | 母表编号 | 定位母表哪行、反哺 |
打标器(分类器)必须版本化:改了打标器的 prompt/逻辑,会让某类 badcase 统计假性波动——你以为"产品变差了",其实是"标尺变敏感了"。
03. error analysis 与归因派单
行为信号:推断而非确定,看趋势不看个案
行为信号(放弃、多轮未解决等)是推断出来的,单信号有噪声,需证据序列组合提纯。行为信号看群体趋势可靠,看个体判定不可靠。正确用法——定一个"疑似"宽松规则捞进候选池,再抽样估比例。
采样偏差警告:只看点踩样本会高估失败率(点踩是负向偏置样本,非随机)。
信号价值分级:按信号价值分配处理成本
- 高价值信号(用户明确改正、带原因的点踩)→ 人工核;
- 海量低信息信号(行为埋点、纯点踩)→ LLM 批处理 / 聚合统计。
- 信号权重参考排序:明确改正 > 带原因点踩 > 纯点踩 > 会话放弃。
error analysis:运营的分析引擎
源自 Hamel/Shreya:open coding → axial coding → 理论饱和。
四步流程:
- 建数据集:收集有代表性的交互 trace。
- 开放式编码(人做,PM/领域专家主导):先不看母表,忠实记录每条 trace 的第一个失败。
- 轴向编码:把零散笔记归纳成失败分类法,并数每类频次。
- 迭代到理论饱和:新 trace 不再冒新类别即停。口诀:先看满 100 条打底,之后连续约 20 条无新类别即停。
三个关键洞察:
- ① 起点破环:冷启动没数据?输入可合成;合成的先验来自演绎资产(PRD 业务定义 + 母表假说)。但上线/灰度真实 trace 不可替代。
- ② 人机分工:A 发现类别(创造性)必须人做;B 套用类别+计数(机械)交 LLM。
- ③ 演绎 × 归纳互补:母表是演绎假说,error analysis 用真实数据归纳校准。
嵌入两轮测试的完整流程:
[冷启动·第一轮:探索,产出校准后的母表]
1 建数据集:PRD 语料 + 母表指导 → 合成刁钻输入 → 喂系统 → 合成 trace
2 开放式编码(人):先不看母表,记录每条 trace 第一个失败
3 轴向编码:A 发现类别(人)B 套用+计数(LLM)
4 迭代到饱和
→ 产出:母表 v+1 + 每类频次/优先级 + 稳定分类标准
[第二轮:正式测试,用校准后母表测达标]
[上线后:点踩 trace 优先采样 → 持续 error analysis → 母表持续进化]
归因与派单
- 归因靠基础设施,不靠拍脑袋:走错门→查 router;答不全→查知识库/生成;人设崩→查 system prompt。
- 归因决定派单:归因维度是运营与研发的接口——归因打对,badcase 才自动流到对的人。
- 高频边缘 → 迁核心:运营最有产品价值的产出。
- 归因只在实际表现不达标后进行,不把未经验证的推测写回能力边界。
隐私与数据治理
反馈系统一开始就要定清隐私规则:谁能看原始对话、数据留存多久、哪些要脱敏。聚合信号只有在采集政策对负责人清晰可读时才有用。