Omni-Woodpecker：免训练方法修正多模态大模型幻觉
一篇新论文提出 Omni-Woodpecker（OWP），一个免训练框架，通过在表示层面分离并重新平衡证据与先验，来缓解全模态大模型的跨模态幻觉。以 Qwen2.5-Omni-7B 为骨干，在 CMM 和 AVHBench 上分别提升 12.9 和 8.6 分。代码已开源，适合关注多模态可靠性的开发者。
要点速览
- 01提出免训练框架 OWP，将幻觉缓解从输出层转向表示层的冲突条件再平衡
- 02方法包括识别跨模态冲突、正交分解分离证据与先验、抑制误导性先验
- 03以 Qwen2.5-Omni-7B 为骨干，CMM 提升 12.9 分、AVHBench 提升 8.6 分
- 04可泛化到 VideoLLaMA2-AV，两个基准分别提升 4.6 和 3.9 分
- 05代码已在 GitHub 开源
影响
对构建音视频推理应用、受幻觉问题困扰的多模态大模型开发者有参考价值，且无需重新训练即可应用。
原文来自 Hugging Face 每日论文，版权归原作者所有。中文标题和摘要由 AI 根据原文自动生成，可能有误，请以原文为准。