MODULE 04

数据运营

3 章v1.4 起3 次修订
数据运营 示意图

01. 运营总框架与冷启动

五步闭环(起点前置)

[冷启动首轮] error analysis 发现真实高频失败 ──┐(起点:先看数据,不先定指标)
    ↓                                          │
① 监控什么指标(每个指标对应一类真实失败)      │
    ↓                                          │
② 数据怎么来(点踩 + 埋点 + 后台打标,三源)    │
    ↓                                          │
③ 怎么分析(按母表打标 → 数频次 → error analysis 找模式)
    ↓                                          │
④ 怎么优化(归因决定派谁修;高频边缘迁核心)    │
    ↓                                          │
⑤ 怎么确认优化了(对应指标降没降 + 看趋势)─────┘(循环)

关键顺序修正:起点不是「定指标」,而是先做一轮 error analysis。 若从"定指标"起步,容易滑向 Hamel 警告的无用通用指标("连贯性 3.72→4.2 根本不知系统变好没")。指标必须从真实失败里长出来:不是凭空决定"要监控追问率",而是 error analysis 发现"该追问没追问"是高频失败,才去监控它。指标是失败的度量,失败要先被发现。

先窄起步:定义 badcase 从哪开始(别煮沸海洋)

冷启动别想用母表一次覆盖所有失败。先挑一个最高频、最可度量的失败,把它的完整闭环跑通。

  • 第一轮的目的是验证「运营流程能不能转起来」,不是「抓得多」。挑一个失败,走通 发现→打标→归因→修→验证 全流程,再复制到别的类型。
  • 要有明确的收尾指标:能说清"这个失败降到多少算修好了"。

第一轮抓 badcase 的优先级(按信号纯度):

  1. 用户明确确认的失败(信号最纯,优先):对话里的更正、点踩(尤其带原因)、点"重新生成/编辑"。
  2. 系统客观标记的失败(无歧义):触发兜底、追问后用户流失、明确报错。
  3. 行为推断的疑似失败(有噪声,谨慎):用户放弃、多轮未解决——进"疑似池",靠抽样验证。

02. 三个数据源与关联

三源分工(互补,覆盖不同盲区)

数据源 采什么 覆盖谁
点踩(用户主动反馈) 用户明确的不满 + 原因选项 愿意开口的用户
埋点(用户行为) 客观行为(点击、放弃、重新生成…) 全量用户(含沉默的)
后台打标(归因分类) 给数据贴母表维度的标签 —(是加工,非采集)

系统主动信号(后台算,非用户动作触发)是运营主力,因为它覆盖沉默用户:兜底触发率、追问率、多轮未解决率、同问题复现率、行为/结果信号。

三源关联:用 canonical feedback event 把三源钉在一起

  • 不是三张表硬拼,而是设计一个统一的「反馈事件」结构;
  • 关联键 = trace_id / conversation_id:每个反馈事件都挂上对话标识符;
  • 保留原始文本 + 出处(provenance),schema 支持「再处理」:母表和打标器会演变,原始数据完整保留,母表升级后能拿旧数据用新分类重跑。只存"打好的标"不够,必须存原始对话。

点踩选项设计原则

  • 选项映射内部归因:每个口语选项背后挂一个内部标签,映射到母表的失败类型/归因维度。
  • 让用户按「现象」选,而非「技术归因」选:用户能准确感知"答错了/页面卡了",但难准确区分"失忆 vs 一开始就没懂"。
  • 点踩与原因拆成两个独立事件、不选原因也算点踩:先保召回,再补精度。
  • 留"其他 + 自由输入":捞母表没预料的新失败类型。
  • 万金油选项(如"没有帮助")应去掉:它无法反解到任何具体失败,制造脏数据。
  • 不做「点踩后追问」:点踩时用户耐心已降,追问惹反感。

后台打标方案

打标 = 给每条 badcase 贴母表维度的标签。母表就是打标字典。

三维打标:

维度 取值 用途
失败层级(严重度) S0 / S1 / S2 优先级、是否阻断
归因 路由意图 / 知识库 / 生成 / 系统前端 / 轻操作执行 决定派给谁修(最关键)
场景 母表编号 定位母表哪行、反哺

打标器(分类器)必须版本化:改了打标器的 prompt/逻辑,会让某类 badcase 统计假性波动——你以为"产品变差了",其实是"标尺变敏感了"。

03. error analysis 与归因派单

行为信号:推断而非确定,看趋势不看个案

行为信号(放弃、多轮未解决等)是推断出来的,单信号有噪声,需证据序列组合提纯。行为信号看群体趋势可靠,看个体判定不可靠。正确用法——定一个"疑似"宽松规则捞进候选池,再抽样估比例。

采样偏差警告:只看点踩样本会高估失败率(点踩是负向偏置样本,非随机)。

信号价值分级:按信号价值分配处理成本

  • 高价值信号(用户明确改正、带原因的点踩)→ 人工核;
  • 海量低信息信号(行为埋点、纯点踩)→ LLM 批处理 / 聚合统计。
  • 信号权重参考排序:明确改正 > 带原因点踩 > 纯点踩 > 会话放弃。

error analysis:运营的分析引擎

源自 Hamel/Shreya:open coding → axial coding → 理论饱和。

四步流程:

  1. 建数据集:收集有代表性的交互 trace。
  2. 开放式编码(人做,PM/领域专家主导):先不看母表,忠实记录每条 trace 的第一个失败。
  3. 轴向编码:把零散笔记归纳成失败分类法,并数每类频次。
  4. 迭代到理论饱和:新 trace 不再冒新类别即停。口诀:先看满 100 条打底,之后连续约 20 条无新类别即停。

三个关键洞察:

  • ① 起点破环:冷启动没数据?输入可合成;合成的先验来自演绎资产(PRD 业务定义 + 母表假说)。但上线/灰度真实 trace 不可替代。
  • ② 人机分工:A 发现类别(创造性)必须人做;B 套用类别+计数(机械)交 LLM。
  • ③ 演绎 × 归纳互补:母表是演绎假说,error analysis 用真实数据归纳校准。

嵌入两轮测试的完整流程:

[冷启动·第一轮:探索,产出校准后的母表]
1 建数据集:PRD 语料 + 母表指导 → 合成刁钻输入 → 喂系统 → 合成 trace
2 开放式编码(人):先不看母表,记录每条 trace 第一个失败
3 轴向编码:A 发现类别(人)B 套用+计数(LLM)
4 迭代到饱和
   → 产出:母表 v+1 + 每类频次/优先级 + 稳定分类标准
[第二轮:正式测试,用校准后母表测达标]
[上线后:点踩 trace 优先采样 → 持续 error analysis → 母表持续进化]

归因与派单

  • 归因靠基础设施,不靠拍脑袋:走错门→查 router;答不全→查知识库/生成;人设崩→查 system prompt。
  • 归因决定派单:归因维度是运营与研发的接口——归因打对,badcase 才自动流到对的人。
  • 高频边缘 → 迁核心:运营最有产品价值的产出。
  • 归因只在实际表现不达标后进行,不把未经验证的推测写回能力边界。

隐私与数据治理

反馈系统一开始就要定清隐私规则:谁能看原始对话、数据留存多久、哪些要脱敏。聚合信号只有在采集政策对负责人清晰可读时才有用。