DualG-MRAG：解耦宏觀推理與微觀匹配的多模態檢索增強生成框架
針對多模態檢索增強生成（MM-RAG）在處理複雜多跳推理任務時的局限性，本文提出 DualG-MRAG 框架。現有方法多聚焦於獨立實例級匹配，難以捕捉跨模態與文檔間的顯式關係，而基於圖的方法在細粒度視覺特徵引入時易導致圖結構爆炸和檢索噪聲，粗粒度表示則丟失關鍵局部證據。DualG-MRAG 通過解耦架構，構建宏觀推理圖進行全局拓撲路由，以及微觀匹配圖進行精確局部驗證，有效隔離了全局推理與細粒度證據匹配。研究將檢索建模為基於查詢的消息傳遞過程，並通過動態規劃解碼機制從圖神經網絡前向傳播中提取顯式推理路徑，為生成模型提供連貫的結構化指導。實驗表明，該方法在證據召回率和複雜問答準確率上均顯著優於基線模型，為多模態複雜推理提供了新範式。
多模态检索增强生成技术虽然在多个领域展现出巨大潜力，但在面对需要复杂多跳推理的任务时，往往显得力不从心。现有的主流方法大多侧重于独立的实例级匹配，这种处理方式虽然简单直接，却很难有效捕捉跨模态数据以及不同文档之间存在的显式逻辑关系。尽管引入图结构的方法试图通过建模来解决这一问题，但在多模态场景下面临着一个根本性的两难困境：如果引入细粒度的视觉特征，会导致图结构迅速膨胀，进而引发严重的检索噪声；而如果采用粗粒度的特征表示，又不可避免地会丢弃对最终答案至关重要的局部细微证据。为了解决这一核心矛盾，本研究提出了 DualG-MRAG 框架，这是一种创新的双层架构设计，旨在通过解耦宏观推理与微观匹配，为多模态检索增强生成提供更精准的结构化支持。该框架的核心贡献在于它不再试图用单一图结构去兼顾所有层级的信息，而是通过分离不同层级的处理任务，从根本上优化了信息检索与推理的效率与准确性，为后续的多模态复杂任务处理奠定了坚实的理论基础。
在技术实现层面，DualG-MRAG 构建了一个包含宏观推理图和微观匹配图的解耦架构。宏观图负责全局的拓扑路由，旨在从整体上把握文档间的逻辑脉络，而微观图则专注于精确的局部验证，确保关键细节不被遗漏。这种设计有效地隔离了全局结构推理与细粒度证据匹配，从而抑制了检索过程中的噪声干扰。为了进一步实现跨异构证据源的相关性动态传播，研究团队将检索过程形式化为一个由查询驱动的图神经网络消息传递过程。通过 GNN 检索器，系统能够根据查询意图动态调整信息流动的方向和强度，确保相关信息能够高效汇聚。
此外，为了让生成模型获得连贯的结构化指导，研究还引入了一种动态规划解码机制。该机制能够从图神经网络的前向传播过程中直接提取出显式的推理路径，从而取代传统方法中孤立的文档块输入。这种机制不仅保留了推理的逻辑链条，还使得生成过程更加透明和可控，显著提升了模型对复杂问题的理解能力。在实验设置与结果方面，研究团队在多个标准数据集上对 DualG-MRAG 进行了全面评估，重点考察其在证据召回率和复杂问答准确率上的表现。实验结果表明，DualG-MRAG 在各项关键指标上均显著优于现有的基线模型。
特别是在处理需要多步推理的复杂问题时，该方法展现出了更强的鲁棒性和准确性。消融实验进一步揭示了宏观图和微观图各自的作用，证明了这种解耦设计对于平衡全局视野与局部细节的重要性。通过对比不同图结构配置下的性能变化，研究团队发现，当宏观图能够有效引导全局路由，而微观图能够精准定位局部证据时，系统的整体性能达到最优。这些发现不仅验证了 DualG-MRAG 的有效性，也为未来多模态检索增强系统的设计提供了重要的参考依据。从行业意义与潜在影响来看，DualG-MRAG 的提出对开源社区、工业落地以及后续研究都具有深远的影响。
在开源社区，该框架为研究者提供了一个新的视角，即通过解耦宏观与微观推理来提升多模态系统的性能，这可能会激发更多关于结构化推理和多模态对齐的研究。在工业落地方面，随着多模态数据量的爆炸式增长，如何高效、准确地处理复杂查询成为关键挑战。DualG-MRAG 通过减少检索噪声并提高推理准确性，有望在实际应用中显著提升用户体验，特别是在医疗、法律等专业领域，这些领域对信息的准确性和逻辑性要求极高。对于后续研究而言，该框架展示了图神经网络在多模态检索中的巨大潜力，未来可以进一步探索如何将其他类型的结构化知识融入这一框架，或者将其扩展到其他多模态任务中，如视频理解或自动驾驶中的场景推理。总之，DualG-MRAG 不仅是一个技术上的突破，更为多模态人工智能的发展指明了新的方向。