Mistral 发布万亿参数多模态模型 Large 4
Mistral 在 transformers v5.22.0 中支持其最新旗舰模型 Mistral Large 4（代号 Le Chonk）。该模型总参数约 1 万亿、每 token 激活约 520 亿，原生支持文本和图像输入，上下文长度达 100 万。适合需要长上下文、多模态和推理能力的开发者关注。
要点速览
- 01总参数约 1 万亿，每 token 激活约 520 亿，采用 128 个路由专家（每 token 激活 4 个）加 1 个共享专家的 MoE 架构
- 02上下文长度 100 万，支持文本和图像输入、文本输出，视觉编码器可处理可变图像尺寸
- 03统一指令跟随、推理、编程和智能体工作流，推理力度可按请求配置
- 04原生支持 160 多种语言，包括所有欧盟官方语言
- 05在 Mistral 位于欧洲的自有数据中心用 3800 块 NVIDIA Grace Blackwell GPU 从零训练
影响
对需要长上下文、多模态输入和智能体工作流的开发者有用，摘录提到其在网络安全、金融、法律等任务上表现较好。
原文来自 Transformers（GitHub），版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。