Anthropic 为 claude-api skill 新增评测构建与调优命令
Anthropic 在 claude-api skill 中加入 build-eval 和 hillclimb 两个命令，帮助开发者在自己的代码库中自动构建评测集、验证打分器，并逐步优化应用表现，同时用保留样本防止过拟合。适合用 Claude API 开发应用、需要量化评估模型效果的开发者。
要点速览
- 01新增 /claude-api build-eval 命令，通过访谈引导用户在代码库内构建评测
- 02评测样例优先取自生产日志、bug 报告，其次为手写和合成用例
- 03打分器优先用程序化校验，开放式输出则用 LLM 评审，且评审模型不能是被测模型
- 04自动做诊断：重复打分一致性、超时与 API 错误检查、基线过高时发出警告
- 05/claude-api hillclimb 命令基于保留样本逐次改进，避免过拟合
背景
评测设计容易因任务模糊、打分器不稳定或采样偏差而失真，Anthropic 将内部总结的评测设计原则产品化到 skill 中。
影响
对使用 Claude API 构建应用的开发者，可降低搭建评测和调优提示词、技能的门槛，减少自欺式优化。
原文来自 Claude 官方博客，版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。