01. 复杂场景如何判区
表述模糊或信息不足
- 存在有限、明确的决定性信息,产品知道问什么,用户补充后可以稳定完成:核心区。
- 用户不知道、不愿提供,或者当前产品没有能够稳定收敛的追问路径:边缘区。
- 即使补充信息,现有知识或系统仍无法支持判断:边缘区。
- 追问后确认需求整体超出能力或属于禁止事项:界外区。
如果本来存在明确完成路径,但模型没有问到决定性事实、重复追问或过早兜底,这是核心区 Badcase,不应把场景降为边缘区。
多意图混合
多意图首先是路由层需要识别和拆解的场景,不天然属于边缘区。
- 每个子目标都有明确完成路径:分别完成,属于核心能力;
- 不同子目标可能分别落在核心、边缘和界外;
- 整体是否达标,取决于是否识别全部子目标、没有漏答,并对每一部分采取匹配动作。
复杂或交叉知识
"复杂、罕见"本身不直接决定区域,关键看是否存在经过确认、能够稳定执行的完成路径。
- 多个子问题能够依据现有知识独立完成:拆开完成,可属于核心区;
- 必须判断不同知识之间的组合、先后、优先或替代关系,而正式知识没有提供规则:边缘区;
- 用户进一步要求作出产品明确禁止的专业判断、审批或不可执行动作:界外区。
路由:不是独立场景,而是依附于真实需求的复杂条件
路由不构成一类独立场景。 方法论对「场景」的定义以用户需求为起点(用户做了什么、提了什么需求、当前具备什么客观条件);而路由是系统内部处理动作,没有独立的用户需求做起点。AI 产品里不存在「纯路由场景」——路由永远依附在一个真实需求上(用户是来问流程/拿模板的,不是来「触发一次路由」的)。若硬把路由列为独立场景,会与真实需求场景重复、冲突。
因此路由以三种身份存在,都不进能力三区:
- ① 作为动作:正确识别意图、切换、拆解多意图、区分延续上文 vs 新目标——是系统该做对的反应。
- ② 作为归因:失败根因可落在意图识别层(走错门 → 查 router,而非因最终回答不好就默认归因到生成层)。
- ③ 作为 trace 观察切面:追踪对话时可专门关注路由质量。
那些需要专门测试的路由相关情形——多轮中途切换目标、一句话多意图、用户纠正理解、表面相似实为延续——不作为独立场景,而是已有真实需求场景在「多轮 / 多意图」复杂条件下的变体(分段测试):
- 多轮切换 = 「问流程」等真实场景在「多轮条件」下的变体;
- 多意图 = 多个已有真实场景叠加,拆解后各归其位分别判区。
它们的测试归属在对应的真实场景那里(加复杂条件),归因时关注路由层。这样既不漏测,也不与真实场景重复。
02. 通用场景特征库
核心区
| 特征 | 说明 | 例(服务台助手) |
|---|---|---|
| 意图明确、信息充分 | 已有稳定完成路径 | "重置域账号密码要走什么流程?" |
| 表述口语但可稳定归一 | 可以识别为已有业务目标 | "我新电脑想装那个设计软件"→归一为查找软件安装申请流程 |
| 缺少有限的决定性事实 | 产品知道问什么,用户补充后能够完成 | 用户要找对应系统的支持工程师,但未说明是哪个业务系统;补充后即可按规则匹配 |
| 多个可独立完成的目标 | 路由能够拆解,每项都有完成路径 | 同时查询申请流程和对应的申请表模板,且两者分别能依据正式知识匹配 |
边缘区
| 特征 | 说明 | 例(服务台助手) |
|---|---|---|
| 信息不足且无法补齐 | 用户无法提供必要条件,或产品没有稳定追问路径 | 用户无法说明决定工程师匹配所需的业务系统或归属部门 |
| 表述持续模糊 | 最小必要澄清后仍不能可靠归一 | 用户始终只说"那个系统登不上",会话中没有可识别的具体系统 |
| 知识部分覆盖 | 可以确认部分结果,但特殊细节没有依据 | 能匹配申请流程,但知识没有覆盖用户追问的特殊审批例外 |
| 缺少交叉判断规则 | 单项知识存在,但组合、先后或替代关系没有依据 | 同一事项涉及权限申请与设备领用两个流程,用户询问两者先后关系,但知识库未规定 |
| 当前供给不足 | 知识冲突、有效性不明、权限未知、入口失败或人员数据无效 | 两个流程适用范围重叠无法排除,或 ITSM 无法返回有效工单入口 |
界外区
| 特征 | 说明 | 例(服务台助手) |
|---|---|---|
| 超出产品能力 | 需要 IT 支持工程师结合具体情况作判断 | 要求判断某个高危权限申请该不该批、某台故障服务器要不要重启 |
| 明确禁止事项 | 越权、安全、隐私或未开放动作 | 要求绕过审批直接开通权限、查看他人账号信息或自动通知工程师 |
| 完全无关需求 | 与产品服务范围无关 | 要求完成与 IT 服务台无关的通用任务 |
03. 应用类型变体
纯问答型
- 输出主要是信息;
- 核心区主要测答案正确性、完整性与稳定性;
- 专业领域的错误可能影响用户决策,不能默认"再问一次即可逆"。
检索问答 + 轻操作型(如服务台助手)
服务台助手不是纯问答型。一次 AI 回复可能同时包含自然语言、流程卡、模板卡、工程师卡和可执行入口,还可能依赖知识检索、ITSM 当前结果及多轮上下文。
- 核心区不仅测答案,还要测资源匹配、卡片字段、权限、版本、入口和操作结果是否一致;
- 能力边界以"一次用户目标及其处理阶段"为单位,不局限于一段文本;
- 一次 AI 回复可以包含多条消息或多张卡片,但共同组成一次交付;
- 多意图由路由层识别和拆解,拆分后的每个子目标分别判断能力区域;
- 打开、下载、复制、发起工单等操作必须以真实系统结果为准,不能把展示入口表述成已发起流程或已联系工程师。
任务型或带工作流应用(如报销助手)
任务型应用除信息正确外,还需增加:
- 执行结果:说对不等于做对,需验证真实动作结果;
- 错误代价:不可逆或高风险动作应更保守,并在执行前确认;
- 状态与流程节点:能力边界需要对每个流程节点分别判断;
- 停止与恢复:失败、超时、重复、撤销和人工接管需要明确路径。
动作清单应随应用实际能力裁剪,不为满足框架而硬凑所有格子。移交的本质是把用户送到真实能解决问题的地方,不拘泥于真人,但只有产品确实存在该路径时才能使用。
其他类型
- 生成型:待真实项目验证后补充;
- 多 Agent 编排型:待真实项目验证后补充。