01. 护栏、可靠性与 human-in-the-loop
三层护栏:按"在哪拦"分
用户输入 → ①输入护栏 → 核心处理(路由/匹配/生成)→ ②输出护栏 → ③流程护栏 → 返回用户/执行动作
① 输入护栏——拦在"模型还没处理之前"
在用户输入到达核心逻辑之前先过筛:注入攻击、越权请求、不该处理的内容。输入护栏应该是一个独立的处理步骤,不是混在回答 prompt 里的一句话。 护栏是 workflow 里的一个独立节点。
② 输出护栏——拦在"模型输出之后、返回用户之前"
模型给了回答,在返回给用户之前再过一道检查。5.1 里讲的 S0 断言,不只是测试时跑的——它们可以在生产环境实时跑。 这是断言从"测试工具"到"生产护栏"的升级——同一套规则,两个用途。
③ 流程护栏——拦在"关键动作执行之前"
在真正触发不可逆操作之前,强制停下来确认。
三者各防不同问题:
- 输入护栏防"不该进来的进来了"
- 输出护栏防"不该出去的出去了"
- 流程护栏防"不该做的做了"
三个可靠性机制(agent 自救的三件套)
① 每步从环境获取 ground truth(真实反馈)
Agent 执行每一步后,都要从环境拿到"真实结果"来判断进度。判断一个环节能不能自主的前置条件:它能不能拿到真实反馈。 能拿到 → 可以更自主;拿不到 → 必须加外部检查或人工兜底。
② 验证循环(verification loop)
核心判断:评估任何环节能不能自主,先问"它能不能验证自己做对了"。
设计 verification loop 的优先级:
- 最好:用确定性工具验证(代码断言、规则引擎、数据比对)
- 其次:用独立模型实例验证
- 最差:让同一个模型自己检查自己
③ 错误恢复(error recovery)
失败了怎么办要预先设计:
- 重试:对瞬时故障,有重试上限
- 换路径:对能力边界内但当前路径失败的
- 降级:对边缘区问题,走安全降级
- 转人工:对超出恢复能力的,清晰移交(带上已获取的上下文)
- 停止:对检测到可能造成不可逆损害的,立即停止
Human-in-the-loop:不是"要不要",而是"在哪个点、以什么方式"
自主权是"挣"出来的,不是一步到位给的。
阶段一:灰度/早期——全量人审 + 强护栏
- 三层护栏全开,高风险动作全量人审
- 目的:发现问题、建立信任、积累数据
阶段二:放量——选择性人审 + 聚焦护栏
- 稳定的动作放开自主(矩阵里低代价+易发现的格子)
- 不稳定的保持人审
阶段三:成熟——agent 主动上报 + 监控为主
- 教 agent 识别"我拿不准",主动上报人审——比"人主动检查"更好
- 人审只处理上报的 + 抽样复检
- 矩阵右上角(高代价+难发现)可能永远保持护栏
Human-in-the-loop 的隐性风险:自动化偏差(automation bias)
当模型大部分时候做得对,人类审核员会变麻木。应对:
- 人审要有针对性——只把高风险/低置信的送去审
- 审核界面要高亮"需要人判断的点"
- 定期刷新审核策略