MODULE 02

复杂场景判区与场景库

3 章v1.1 起2 次修订
复杂场景判区与场景库 示意图

01. 复杂场景如何判区

表述模糊或信息不足

  • 存在有限、明确的决定性信息,产品知道问什么,用户补充后可以稳定完成:核心区。
  • 用户不知道、不愿提供,或者当前产品没有能够稳定收敛的追问路径:边缘区。
  • 即使补充信息,现有知识或系统仍无法支持判断:边缘区。
  • 追问后确认需求整体超出能力或属于禁止事项:界外区。

如果本来存在明确完成路径,但模型没有问到决定性事实、重复追问或过早兜底,这是核心区 Badcase,不应把场景降为边缘区。

多意图混合

多意图首先是路由层需要识别和拆解的场景,不天然属于边缘区。

  • 每个子目标都有明确完成路径:分别完成,属于核心能力;
  • 不同子目标可能分别落在核心、边缘和界外;
  • 整体是否达标,取决于是否识别全部子目标、没有漏答,并对每一部分采取匹配动作。

复杂或交叉知识

"复杂、罕见"本身不直接决定区域,关键看是否存在经过确认、能够稳定执行的完成路径。

  • 多个子问题能够依据现有知识独立完成:拆开完成,可属于核心区;
  • 必须判断不同知识之间的组合、先后、优先或替代关系,而正式知识没有提供规则:边缘区;
  • 用户进一步要求作出产品明确禁止的专业判断、审批或不可执行动作:界外区。

路由:不是独立场景,而是依附于真实需求的复杂条件

路由不构成一类独立场景。 方法论对「场景」的定义以用户需求为起点(用户做了什么、提了什么需求、当前具备什么客观条件);而路由是系统内部处理动作,没有独立的用户需求做起点。AI 产品里不存在「纯路由场景」——路由永远依附在一个真实需求上(用户是来问流程/拿模板的,不是来「触发一次路由」的)。若硬把路由列为独立场景,会与真实需求场景重复、冲突。

因此路由以三种身份存在,都不进能力三区:

  • ① 作为动作:正确识别意图、切换、拆解多意图、区分延续上文 vs 新目标——是系统该做对的反应。
  • ② 作为归因:失败根因可落在意图识别层(走错门 → 查 router,而非因最终回答不好就默认归因到生成层)。
  • ③ 作为 trace 观察切面:追踪对话时可专门关注路由质量。

那些需要专门测试的路由相关情形——多轮中途切换目标、一句话多意图、用户纠正理解、表面相似实为延续——不作为独立场景,而是已有真实需求场景在「多轮 / 多意图」复杂条件下的变体(分段测试):

  • 多轮切换 = 「问流程」等真实场景在「多轮条件」下的变体;
  • 多意图 = 多个已有真实场景叠加,拆解后各归其位分别判区。

它们的测试归属在对应的真实场景那里(加复杂条件),归因时关注路由层。这样既不漏测,也不与真实场景重复。

02. 通用场景特征库

核心区

特征 说明 例(服务台助手)
意图明确、信息充分 已有稳定完成路径 "重置域账号密码要走什么流程?"
表述口语但可稳定归一 可以识别为已有业务目标 "我新电脑想装那个设计软件"→归一为查找软件安装申请流程
缺少有限的决定性事实 产品知道问什么,用户补充后能够完成 用户要找对应系统的支持工程师,但未说明是哪个业务系统;补充后即可按规则匹配
多个可独立完成的目标 路由能够拆解,每项都有完成路径 同时查询申请流程和对应的申请表模板,且两者分别能依据正式知识匹配

边缘区

特征 说明 例(服务台助手)
信息不足且无法补齐 用户无法提供必要条件,或产品没有稳定追问路径 用户无法说明决定工程师匹配所需的业务系统或归属部门
表述持续模糊 最小必要澄清后仍不能可靠归一 用户始终只说"那个系统登不上",会话中没有可识别的具体系统
知识部分覆盖 可以确认部分结果,但特殊细节没有依据 能匹配申请流程,但知识没有覆盖用户追问的特殊审批例外
缺少交叉判断规则 单项知识存在,但组合、先后或替代关系没有依据 同一事项涉及权限申请与设备领用两个流程,用户询问两者先后关系,但知识库未规定
当前供给不足 知识冲突、有效性不明、权限未知、入口失败或人员数据无效 两个流程适用范围重叠无法排除,或 ITSM 无法返回有效工单入口

界外区

特征 说明 例(服务台助手)
超出产品能力 需要 IT 支持工程师结合具体情况作判断 要求判断某个高危权限申请该不该批、某台故障服务器要不要重启
明确禁止事项 越权、安全、隐私或未开放动作 要求绕过审批直接开通权限、查看他人账号信息或自动通知工程师
完全无关需求 与产品服务范围无关 要求完成与 IT 服务台无关的通用任务

03. 应用类型变体

纯问答型

  • 输出主要是信息;
  • 核心区主要测答案正确性、完整性与稳定性;
  • 专业领域的错误可能影响用户决策,不能默认"再问一次即可逆"。

检索问答 + 轻操作型(如服务台助手)

服务台助手不是纯问答型。一次 AI 回复可能同时包含自然语言、流程卡、模板卡、工程师卡和可执行入口,还可能依赖知识检索、ITSM 当前结果及多轮上下文。

  • 核心区不仅测答案,还要测资源匹配、卡片字段、权限、版本、入口和操作结果是否一致;
  • 能力边界以"一次用户目标及其处理阶段"为单位,不局限于一段文本;
  • 一次 AI 回复可以包含多条消息或多张卡片,但共同组成一次交付;
  • 多意图由路由层识别和拆解,拆分后的每个子目标分别判断能力区域;
  • 打开、下载、复制、发起工单等操作必须以真实系统结果为准,不能把展示入口表述成已发起流程或已联系工程师。

任务型或带工作流应用(如报销助手)

任务型应用除信息正确外,还需增加:

  1. 执行结果:说对不等于做对,需验证真实动作结果;
  2. 错误代价:不可逆或高风险动作应更保守,并在执行前确认;
  3. 状态与流程节点:能力边界需要对每个流程节点分别判断;
  4. 停止与恢复:失败、超时、重复、撤销和人工接管需要明确路径。

动作清单应随应用实际能力裁剪,不为满足框架而硬凑所有格子。移交的本质是把用户送到真实能解决问题的地方,不拘泥于真人,但只有产品确实存在该路径时才能使用。

其他类型

  • 生成型:待真实项目验证后补充;
  • 多 Agent 编排型:待真实项目验证后补充。