MODULE 07

生产护栏与可靠性

1 章v2.1 起1 次修订
生产护栏与可靠性 示意图

01. 护栏、可靠性与 human-in-the-loop

三层护栏:按"在哪拦"分

用户输入 → ①输入护栏 → 核心处理(路由/匹配/生成)→ ②输出护栏 → ③流程护栏 → 返回用户/执行动作

① 输入护栏——拦在"模型还没处理之前"

在用户输入到达核心逻辑之前先过筛:注入攻击、越权请求、不该处理的内容。输入护栏应该是一个独立的处理步骤,不是混在回答 prompt 里的一句话。 护栏是 workflow 里的一个独立节点。

② 输出护栏——拦在"模型输出之后、返回用户之前"

模型给了回答,在返回给用户之前再过一道检查。5.1 里讲的 S0 断言,不只是测试时跑的——它们可以在生产环境实时跑。 这是断言从"测试工具"到"生产护栏"的升级——同一套规则,两个用途。

③ 流程护栏——拦在"关键动作执行之前"

在真正触发不可逆操作之前,强制停下来确认。

三者各防不同问题:

  • 输入护栏防"不该进来的进来了"
  • 输出护栏防"不该出去的出去了"
  • 流程护栏防"不该做的做了"

三个可靠性机制(agent 自救的三件套)

① 每步从环境获取 ground truth(真实反馈)

Agent 执行每一步后,都要从环境拿到"真实结果"来判断进度。判断一个环节能不能自主的前置条件:它能不能拿到真实反馈。 能拿到 → 可以更自主;拿不到 → 必须加外部检查或人工兜底。

② 验证循环(verification loop)

核心判断:评估任何环节能不能自主,先问"它能不能验证自己做对了"。

设计 verification loop 的优先级:

  1. 最好:用确定性工具验证(代码断言、规则引擎、数据比对)
  2. 其次:用独立模型实例验证
  3. 最差:让同一个模型自己检查自己

③ 错误恢复(error recovery)

失败了怎么办要预先设计:

  • 重试:对瞬时故障,有重试上限
  • 换路径:对能力边界内但当前路径失败的
  • 降级:对边缘区问题,走安全降级
  • 转人工:对超出恢复能力的,清晰移交(带上已获取的上下文)
  • 停止:对检测到可能造成不可逆损害的,立即停止

Human-in-the-loop:不是"要不要",而是"在哪个点、以什么方式"

自主权是"挣"出来的,不是一步到位给的。

阶段一:灰度/早期——全量人审 + 强护栏

  • 三层护栏全开,高风险动作全量人审
  • 目的:发现问题、建立信任、积累数据

阶段二:放量——选择性人审 + 聚焦护栏

  • 稳定的动作放开自主(矩阵里低代价+易发现的格子)
  • 不稳定的保持人审

阶段三:成熟——agent 主动上报 + 监控为主

  • 教 agent 识别"我拿不准",主动上报人审——比"人主动检查"更好
  • 人审只处理上报的 + 抽样复检
  • 矩阵右上角(高代价+难发现)可能永远保持护栏

Human-in-the-loop 的隐性风险:自动化偏差(automation bias)

当模型大部分时候做得对,人类审核员会变麻木。应对:

  • 人审要有针对性——只把高风险/低置信的送去审
  • 审核界面要高亮"需要人判断的点"
  • 定期刷新审核策略