IQuest-Q1 开源：320B 参数 MoE 智能体基础模型
IQuest-Q1 是一个开源的稀疏 MoE 智能体基础模型，总参数 320B，激活 15B。它通过预训练、中期训练和多脚手架后训练三阶段流程打造，强化智能体编程能力，在编程和通用任务上均有表现，已开源供社区使用。
要点速览
- 01稀疏 MoE 架构，总参数 320B，激活参数 15B
- 02三阶段训练：预训练、细粒度中期训练、多脚手架多版本后训练
- 03后训练结合 SFT、领域专用 RL 和 MOPD，强化智能体编程能力
- 04使用模型合并整合不同专家和检查点，缓解参数更新冲突
- 05以开源方式发布，支持社区研究
影响
对从事智能体和编程模型研究的开发者有用，可基于该开源模型开展研究与应用开发。
原文来自 Hugging Face 每日论文，版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。