论文

论文提出无数据自训练方法让大模型自我提升

一篇 Hugging Face 每日论文提出 On-Policy Self-Training 框架,模型仅凭粗略主题描述自行生成问答对和推理示范进行自我蒸馏,无需人工标注数据或更强外部教师。实验显示该方法在语言基准和视觉问答上均能带来持续自我提升。

要点速览

  1. 01提出将 on-policy 自蒸馏重构为自训练框架,由模型自生成问答对和特权推理示范驱动
  2. 02仅需粗略高层主题描述,无需人工策划的提示或答案
  3. 03在标准语言基准和视觉问答任务上实现一致的自我提升
  4. 04在未自训练的领域上能保留原有能力
原文 · arxiv.orgOn-Policy Self-Training: Data-Free Self-Improvement in Large Language Models阅读原文

原文来自 Hugging Face 每日论文,版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成,可能有误,请以原文为准。

推荐店铺以下为推广内容
链动店铺推广
YOUR NEXT AI STOP

AI 充值,从这里开始。

给好工具续上灵感。
前往链动,看看适合你的充值服务。

进入店铺
16688 交易平台推广
DIGITAL CARD MARKET

专业数字卡密交易平台

您好,欢迎访问16688交易平台!

进入店铺