该论文关注的是「智能体在重复性任务上表现不一致」这一被长期忽视的可靠性问题。作者首先做了量化测量:选取 42 个任务、每个任务重复执行三次,结果显示根据所用模型不同,有 38% 到 74% 的重复执行返回了互相不一致的答案。作者指出,一致性正是采购方、审计方和监管机构所要求的属性,而当前智能体系统普遍不具备;同时它们还非常浪费——智能体生成内容中有 95.3% 到 97.2% 被用于重新推导系统其实早已掌握的执行计划。 为解决该问题,论文提出「技能习惯化(skill habit formation)」架构。智能体从自身的执行历史中挖掘候选技能,候选技能是确定性的变体,与现有技能(incumbent)竞争而非直接替换。每个候选技能必须显式声明它所覆盖的输入空间区域,从而让常见情况以脚本方式确定性执行,其余输入则回退到推理路径。候选技能需通过四道成本递增的门控,其中最核心的一道是把候选技能的执行轨迹与保留的参考轨迹做比对,容差来自该参考自身在多次运行间的波动幅度,而非人为设定。 实验在 text-to-SQL 场景上展开:四条推理分支中有三条在 42 个重复问题中仅有 11 至 13 个能复现自身输出,第四条为 26 个;而经过习惯化的变体在我们重复的 456 次调度中全部复现,且对其替换掉的每一条分支都达到非劣效(p<0.0001),同时减少 14% 到 56% 的 token 消耗,在 7 至 53 次复用后转为净收益。作者也诚实测量了代价:门控在本应推迟处理的自然改写输入上有 2.6% 误放行,在接近其边界的输入上有 26% 误放行,且 13 例此类失败中有 11 例在任何阈值下都无法被轨迹合规性门控发现。作者强调确定性错误会精确重复——坏习惯与好习惯一样可靠,这正是系统可审计性的代价。此外,将路由与参数抽取分离,使端到端准确率从 0.888 提升到 0.952,而成本仅为原来的 43%。
💡 推荐理由: 它把「非确定性」从抽象担忧变成了可测量的合规风险,并给出可落地的门控与容差设计。对需要可审计、可复现 AI 输出的安全与风控团队尤其关键,同时提醒坏习惯会被稳定复现,误放行的边界风险需纳入监控。
🎯 建议动作: 研究跟进:纳入内部评估,设计小规模重复任务一致性基准验证其门控与容差机制