IBM Research 提出一致性分析方法，减少 AI Agent 结果不稳定
IBM Research 团队发现 AI Agent 即使平均成功率高，同一任务重复执行时结果也不稳定。他们推出 Consistency Analyzer 诊断工具和一致性指南生成方法，能定位易翻转的决策点并自动生成改进指南，将一致性差距从 24.4 个百分点降到 12 个百分点。对需要稳定输出的 Agent 开发者有用。
要点速览
- 01GPT-4.1 驱动的 ReAct Agent 在 AppWorld 上平均成功率 77.4%，但五次全部成功的任务仅占 53.0%
- 02Consistency Analyzer 只需一条轨迹、无需标准答案，通过重采样定位易翻转的决策点
- 03生成的一致性指南将一致性差距从 24.4pp 降至 12.0pp，平均准确率不受影响
- 04该方法已集成进 ALTK-Evolve 系统，技术报告发布在 arXiv
背景
现有 Agent 评测多用多次运行的平均通过率，掩盖了同一任务重复执行时结果可能不同的问题，而这对金融对账等关键业务场景影响很大。
影响
帮助 Agent 开发者在不上传模型内部信息的情况下，诊断并提升 Agent 在生产环境中重复执行任务的稳定性。
原文来自 Hugging Face 博客，版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。