Mistral 发布开源安全分类模型 Shieldstral
Mistral AI 发布 3B 参数开源安全分类模型 Shieldstral，采用 Apache 2.0 协议。它把内容审核变成问答任务，可在推理时用自然语言自定义安全政策，无需重新训练，支持文本和图像审核。适合需要内容安全审核的开发者和产品团队。
要点速览
- 013B 参数多模态安全分类模型，Apache 2.0 协议开放权重下载
- 02可在推理时用自然语言传入安全政策，无需重新训练即可适配新场景
- 03文本安全表现匹敌最大 7 倍于其体积的开源护栏模型，多模态审核创 SOTA
- 04单次前向传播输出校准的连续安全分数，可在单张 16GB NVIDIA GPU 上运行
- 05统一处理提示分类、回复审核、拒答检测和毒性检测
背景
传统护栏模型把固定的危害类别写进权重，换部署场景就要重新训练，而不同产品的安全标准本就不同，Mistral 因此尝试让政策在推理时由用户定义。
影响
对需要内容审核的 AI 产品开发者有用，可用小成本在本地部署可自定义政策的安全护栏，覆盖文本和图像。
原文来自 Mistral AI 博客，版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。