01. 案例
法务问答助手:追问与兜底把中间地带挤没了
提示词里规定了某种情况下 AI 应如何追问,并增加了"非公司法律业务"的兜底话术。结果 AI 的行为变成二分法:要么频繁追问,要么直接使用兜底话术,中间正常回答的能力被压缩。提示词里涉及的业务场景关键词一旦在问答中出现,即使问题直白、知识库里有明确答案,AI 也检索不到,转而进入追问模式。
财务报销助手:一条反例知识拉低了识别率
知识库里增加了"什么不属于餐厅零用金"的反例知识。原本知识库较宽泛时 AI 可以稳定识别零用金场景;加了反例之后,AI 反而对原本能识别的场景也开始犹豫和追问,识别准确率下降。
设计启示
- 提示词层:正面引导优先("遇到 X 情况,按 Y 处理"),反例在模型注意力中权重偏高
- 知识库层:排除性知识("不属于 XX")更隐蔽、更难定位,检索命中后会悄悄拉偏判断
- 兜底方案层:应设触发门槛("尝试 A / B / C 路径均失败后才启用"),避免 AI 躲懒
02. 踩坑
提示词里写了"遇到 X 就追问 / 非 Y 业务就兜底",AI 变成二分法,中间的正常回答被压缩
- 原因
- 反例和兜底在模型注意力里权重偏高,关键词一出现就触发
- 对策
- 正面引导优先:"遇到 X 情况,按 Y 处理";兜底话术不与业务关键词绑定
知识库加了"什么不属于零用金"的排除性知识,原本能识别的场景也开始犹豫
- 原因
- 排除性知识更隐蔽、更难定位,检索命中后会悄悄拉偏判断
- 对策
- 知识库只写"是什么";确需边界说明时单独成条并标注为边界
兜底方案没设触发门槛,AI 把它当安全出口大量调用
- 原因
- 兜底路径比思考路径"便宜",模型会躲懒
- 对策
- 兜底必须设门槛,例如"尝试 A / B / C 路径均失败后才启用"