01. 核心内核
关于示例:本文用两个虚构的参照产品贯穿全文举例,方便把抽象方法论落到具体场景——
- 服务台助手:一个企业内部的 IT 服务台 AI 助手,员工向它查询流程("重置密码走什么流程")、检索文档、匹配支持工程师、发起工单。属"检索问答 + 轻操作型"。
- 报销助手:一个报销工作流 AI 助手,帮员工查询进度、填单、提交。属"任务型 / 带工作流型"。
这两个产品是示例载体,不指向任何真实产品。方法论本身脱胎于作者在多个真实企业级 AI agent 项目中的实践与迭代(见文末成长记录);示例做了通用化处理,以便迁移到你自己的产品上。
三个维度
- 场景 = 长什么样:用户提出了什么需求,当前具备什么客观条件。
- 动作 = 该怎么做:产品面对该场景应该作出的正确反应。
- 归因 = 为什么没做好:实际表现不达标后,需要修复哪个环节。
口诀:场景看输入,动作看预期,归因看修复。 边界划分看场景,测试验收看预期动作和结果,运营分析看归因。
三个高频串台错误:
- 根据模型这一次答得好不好反推能力区域;
- 把追问、兜底等正确动作当成错误原因;
- 把用户跨模式表达当成模型错误——用户切换意图是场景,系统没有正确识别和路由才是错误。
"知识不足、权限不足"等表述需要区分两种身份:
- 产品事先确认正式知识未覆盖、规则冲突或系统条件不足:这是客观供给条件,可以用于判定边缘区;
- 模型没答好后,运营推测"可能是知识库或权限问题":这是待验证归因,不能反过来定义场景。
两套坐标系
坐标系一:需求与产品能力的关系
- 核心区;
- 边缘区;
- 界外区。
坐标系二:应用内部处理链路
- 路由与意图识别;
- 各处理模式;
- 知识、数据或系统调用;
- 回复与结果生成。
能力三区不掺路由。用户从一个目标切换到另一个目标,不因此进入边缘区或界外区;路由层应在每一轮判断这是延续上文、纠正理解还是切换了新目标。
三区 = 三种产品承诺
| 核心区 | 边缘区 | 界外区 | |
|---|---|---|---|
| 产品承诺 | 稳定、完整地完成 | 不保证完整完成,但保证正确处理 | 不解决该需求,但保证正确识别和承接 |
| 判定依据 | 存在明确、经设计的稳定完成路径,且产品承诺在此稳定完整交付(承诺在先,验证在后) | 与产品业务相关,但受当前信息、知识、组合规则、数据或系统条件限制,尚不具备可稳定交付的完成路径 | 不属于产品整体能力,或产品明确禁止完成 |
| 主要动作 | 直接完成;意图归一后完成;必要追问后完成 | 完成可完成部分;拆解处理;说明限制;按真实缺口降级承接 | 停止越界部分;说明边界;提供允许范围内的帮助或真实移交路径 |
| 测试重点 | 结果正确、完整、可执行,并达到目标稳定性 | 同时观察完整处理概率与安全降级稳定性 | 预期动作与实际动作匹配,且边界表达、事实和下一步正确 |
| 失败底线 | 不应错误降级或过早兜底 | 不把不确定内容说成确定结论,不因部分不确定而放弃全部可完成内容 | 不越界作答,不编造能力、原因或移交结果 |
三区依据产品承诺在此提供到什么程度,不依据模型某次表现或其自我表达的"置信度"。
判区与验收解耦(重要):核心区是产品的应然承诺——产品决定"在此必须稳定完整交付",因此它的身份来自「是否存在明确完成路径 + 产品是否承诺」,不来自"这阵子实测达没达标"。
- 判区看:路径是否明确、产品是否承诺(应然);
- 验收看:实测是否达到承诺指标(实然)。
- 因此:某核心区场景实测暂未达标,说明它没兑现承诺、需要修,而不是把它降级为边缘区;反过来,某边缘区场景偶尔完整答对,也不因此升为核心区——它仍不具备被承诺的稳定完成路径。表现浮动改变的是"达没达标",不改变"它属于哪个区"。
核心区的准确率、召回率和重复运行一致性目标,由产品在测试与验收方案中明确(属验收环节),不在缺少基线数据时虚构统一数字。
追问在三区的不同目的
- 核心区追问:已有经过确认、能够稳定收敛的追问路径;补齐决定性信息后必须完成。
- 边缘区追问:确认仍可完成的部分,或判断当前限制是否可以解除。
- 界外区追问:仅用于确认需求是否确实超范围,或是否包含仍可提供的部分。
不能笼统规定"信息不全就追问"。追问必须有明确目的,并真正改变后续结果。
追问的两种方式(结构化澄清 vs 推理式澄清)——按"不确定性从哪来"选择:
| 结构化澄清 | 推理式澄清 | |
|---|---|---|
| 不确定性来自 | 某个具体信息(字段)缺失 | 语义/场景的多义,有多个合理解读 |
| 怎么问 | 问那个已知的空("你在哪个部门?") | 把 AI 的判断分支暴露出来让用户对号入座 |
| 依赖 | 预定义字段 | AI 临场推理,无需预定义字段 |
| 例 | 缺"所在部门"导致工单模板匹配不唯一 → 追问部门 | "我邮箱有问题"→ AI 摊开:"是收不到外部邮件(走邮件网关排查)/登录不上(走账号密码流程)/还是提示容量已满(走配额扩容)?" |
- 两者不可互相替代:当不确定性是"语义多义"(无法枚举成字段)时,结构化澄清做不到,必须用推理式澄清。
- 推理式澄清的实现要点:让匹配环节输出"候选 + 各自对应的前提 + 区分点"(AI 本就在做这个推理,只需让它输出)→ 多候选时不返回全部结果、而是把推理组织成反问 → 用户补充后带上下文重匹配。全程无需预定义字段——这正是 LLM 的强项。
- 常见误区:技术容易只把"追问"理解为"填字段",遇到语义多义场景便认为"无法追问"。纠正:追问不必依赖字段,AI 可临场生成澄清分支。(企业级 agent 项目验证)
- 推理式澄清的额外价值:它把 AI 的不确定性从"背后瞎猜"变成"台面上可交互",还顺带教育用户(用户可能自己都不知道问题出在哪个环节),体验反而更好。
不同区域的验收重点
核心区保证结果
- 观察准确率或任务完成率;
- 观察意图识别召回率和子目标完整性;
- 观察必要追问是否有效收敛;
- 对同一条件重复运行,观察关键结论、追问和交付结果的一致性;
- 观察是否错误降级或过早兜底。
边缘区保证处理
- 上限能力:有多大比例可以完整处理;
- 底线能力:不能完整处理时,有多大比例能够完成确定部分并正确降级;
- 风险指标:越界硬答、猜测性结论、整体放弃、错误兜底。
边缘区不同次运行可以在"完整完成"和"正确降级"之间波动,但不能在"正确降级"和"自信乱答"之间波动。
界外区保证边界
界外区不评价用户所索取的实质答案是否正确,因为产品本就不应提供该答案;但仍需检查:
- 预期动作与实际动作是否匹配;
- 边界说明是否准确;
- 是否编造原因、能力或移交结果;
- 下一步是否真实可用;
- 是否保留允许范围内可以提供的帮助。
因此,界外区验收 = 动作匹配度 + 边界表达正确性,不是"只要拒答就通过"。
02. AI 产品观
方法论的所有细节,最终收敛到几条产品观——它们是做 AI 产品时反复回到的判断原点。
① AI 产品的本质是一连串 tradeoff,取舍的主体是 PM。 几乎没有"对/错"的决策,全是取舍:通过率高低(召回 vs 精度)、workflow vs agent(可控 vs 灵活)、system prompt 详略(明确 vs 臃肿、不漂移 vs 不僵硬)、点踩选项(用户成本 vs 数据质量)、严重度(保守拦截 vs 放行体验)、合成 vs 真实数据(快启动 vs 覆盖真实)。传统软件很多东西是确定的,AI 产品处处是概率、边界、自由度的权衡。工程能实现,但"往哪边取舍"是产品判断——PM 的核心价值不是"写清需求",是"做对一连串取舍"。
② AI 产品的核心工作,是把"模型的模糊能力"规定成"清晰的产品承诺"。 传统软件的能力是确定的(点按钮就跳页);AI 的能力是模糊的、有边界的、会在边缘失效的。所以 AI 产品最该被精确规定的,不是"有哪些功能",而是:能力边界在哪(核心/边缘/界外)、每区该表现成什么样、什么算达标/越界、失败怎么归因改进——这就是能力边界母表,它才是 AI 产品 PRD 的真正内核。界面、流程、字段反而是外围。
③ 能力边界的规定要尽早,它是一切的地基。 测试、运营、prompt 把关全部建立在"先规定清楚能力边界"之上——母表是地基,其余是地基上的建筑。规定完模型、写完交互就结束的 PRD,漏掉了 AI 产品最难、最核心的部分。能力边界母表应与 PRD 同期甚至更早,而非项目中后期才补(补晚了,测试/运营/prompt 都被动)。
一句话收敛:AI 产品的核心工作,是把"模型的模糊能力"规定成"清晰的产品承诺"——这个规定(能力边界)要尽早做、是一切测试/运营/prompt 的地基,且它的每一处都是 tradeoff,取舍的主体是 PM。