Google DeepMind 试点全球首个双盲 AI 模型评估
Google DeepMind 联合新加坡 AI 安全研究所、OpenMined 等机构，试点全球首个针对专有前沿模型的双盲评估。通过密码学加密环境，评估方看不到模型权重，Google 也看不到测试题，防止基准污染。对关注模型评估可信度的研究者和企业有参考价值。
要点速览
- 01Google DeepMind 推出全球首个专有前沿模型的双盲评估试点
- 02测试对象为 Gemini Flash Lite 模型，在机密基准上进行
- 03合作伙伴包括新加坡 AI 安全研究所、OpenMined、AVERI、MLCommons
- 04基于 Google Cloud Confidential Space，用密码学验证双方数据互不可见
- 05技术报告已发布，可查阅方法与结果
背景
AI 评估长期面临两难：评估方交出测试题可能被模型方提前看到，模型方交出权重则担心知识产权泄露，基准污染会虚高模型分数。
影响
让独立机构能在不泄露数据主权的前提下严格测试先进模型，提升基准结果对政策制定者、研究者和企业的可信度。
原文来自 Google DeepMind 博客，版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。