Kolab 基准：评测人与 AI 智能体长程协作
研究者发布 Kolab 基准，用于评测人类与 AI 智能体在长程工作流中的协作能力，而非单纯自动化能力。数据来自 50 位专业人士、40 种职业、超 115 小时的屏幕录制。它测试模型能否预测专家会采纳、修改还是拒绝其贡献，并评估协作质量。
要点速览
- 01Kolab 是新的人机协作基准，聚焦长程工作流而非单次任务自动化
- 02数据集包含 50 位专业人士、40 种职业、115+ 小时屏幕录制
- 03包含参与者对协作过程和输出质量的评判
- 04测试两项能力：预测专家如何使用智能体贡献、评估协作满意度
- 05分析显示专业人士更重视与智能体的持续互动而非一次完成
原文来自 Hugging Face 每日论文，版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。