RETRO · enterprise-agents

回答速度是核心体验,要系统性提速

2026-06 ~ 2026-09已封版更新 2026-09-172 章
latency architecture model-selection

01. 提速手段

来自法务问答助手与财务报销助手的实践:

  • 模型选型:在 DeepSeek-V4-Flash 和 Qwen3.8B 之间做了效果对比,最终选择了更快且表现不差的 Qwen3.8B
  • 按场景关闭思考模式:可有效提速,但某些场景(如法务)不适合关闭
  • 流程拆分:在不需要调用模型的环节做拆分,避免无谓的模型调用
  • 多模态按需调用:在不需要多模态的环节做拆分,把多模态设计成 Tool,按需调用而非默认启用

02. 踩坑

模块 06

思考模式和多模态默认全开,回答慢到 30 秒以上

原因
每次请求都走了不必要的模型环节
对策
思考按场景开关、多模态做成 Tool 按需调用、无需模型的环节从流程里拆出去