MIRROR：利用多視角互補性提升多模態幾何推理能力
針對視覺語言模型在多模態推理中表現出的模態依賴不一致性問題，本文提出了一種名為MIRROR的強化學習方法。研究發現，同一幾何問題在純文字、純圖像及文字圖像結合視圖下，模型往往展現出不同的推理路徑與失敗模式，這種差異蘊含了互補的推理資訊。為此，作者構建了包含三種視圖的高品質配對數據集ODA-Data，並設計了基於自監督的反向KL散度優化策略。該方法以表現最優的視圖作為教師訊號，指導其他視圖進行訓練，從而發掘不同模態間的互補優勢。實驗表明，MIRROR在多個幾何推理基準測試中顯著優於標準強化學習方法，不僅提升了單模態下的準確率，更大幅增強了模型在不同模態間行為的一致性和魯棒性，為多模態推理模型的優化提供了新範式。
尽管大型语言模型在逻辑推理方面展现了强大的能力，但视觉语言模型在处理视觉推理任务时仍面临显著挑战，尤其是在那些可以转化为文本、图表或图文结合形式的几何问题上。本文的核心研究问题在于揭示并解决多模态模型在不同输入视图下的行为不一致性。作者通过深入观察发现，模型在面对同一问题的纯文本、纯图像以及图文结合视图时，往往表现出截然不同的推理表现：模型可能在文本视图中成功解题，却在对应的图像视图中失败，反之亦然。这种不一致性并非单纯的噪声，而是暗示了不同视图暴露了模型互补的推理路径和特定的失败模式。现有的标准多模态后训练方法未能充分利用这一现象，导致模型在多模态泛化能力上存在瓶颈。
因此，本文的核心贡献在于首次系统性地量化了这种模态依赖的推理差异，并提出了利用这种差异进行自我提升的新思路，旨在通过挖掘不同视图间的互补信息来增强多模态推理的整体性能。为了解决上述问题并实现有效利用，本文在技术方法上进行了双重创新，包括数据构建与算法设计。首先，作者构建了名为ODA-Data的高质量配对多模态几何数据集。该数据集专为研究模态依赖性推理行为而设计，包含了同一几何问题的三种视图：文本主导视图、图像主导视图以及图文结合视图，并提供了专门用于训练和评估模态依赖行为的划分。其次，本文开发了模态知情互惠推理优化方法，即MIRROR。
这是一种基于强化学习的自监督优化框架。MIRROR的核心机制在于"互惠"与"教师选择"：对于每一个问题，算法会评估模型在所有可用视图下的表现，并动态选择表现最优的视图作为"教师"视图。随后，利用逆向KL散度目标函数，训练其他表现较差的视图去模仿或对齐该教师视图的推理分布。这种策略避免了传统方法中可能存在的错误传播，确保模型始终向当前视角下的最优解学习，从而在无需外部标签的情况下，实现了不同模态间推理能力的相互促进与校准。在实验设置与关键结果方面，作者在多个评估几何推理能力的基准测试上对MIRROR进行了全面验证。
实验重点考察了模型在不同模态视图下的准确率以及跨模态行为的一致性。结果表明，MIRROR显著优于标准的强化学习基线方法。具体而言，在几何推理任务中，经过MIRROR优化的模型不仅在单一模态测试中取得了更高的准确率，更重要的是，它在不同模态间的表现变得更加稳定和一致。消融实验进一步证实，ODA-Data中配对数据的结构对于捕捉模态互补性至关重要，而MIRROR中的逆向KL对齐策略有效减少了模型在不同视图间的性能波动。这些结果证明，通过显式建模和利用视图间的差异，可以有效提升多模态模型在复杂推理任务中的鲁棒性，解决了以往方法中因忽视模态特异性而导致的性能上限问题。
从行业意义与潜在影响来看，MIRROR及其配套数据集ODA-Data为多模态人工智能的研究与落地提供了重要启示。对于开源社区而言，ODA-Data填补了高质量多模态几何推理数据的空白，为后续研究模态依赖性和推理一致性提供了宝贵的基准。在工业落地方面，随着多模态模型在自动驾驶、机器人导航及智能教育等场景中的应用加深，模型在不同传感器输入（如摄像头图像与文本指令）下的一致性变得至关重要。MIRROR所提出的互惠推理优化思路，提供了一种无需额外标注成本即可提升模型鲁棒性的有效途径。此外，该方法对后续研究的启发在于，未来的多模态训练不应仅关注多模态对齐，更应深入探索模态间的互补性与差异性，通过挖掘这些差异来构建更强大、更可靠的通用人工智能系统，推动多模态推理从"能看能说"向"逻辑严密且一致"迈进。