RuleMaze:多模態大模型的規則合規視覺空間規劃基準

Published 2026-08-20 · AI Daily — AI-assisted deep research, methodology & disclosure

這篇論文聚焦多模態大語言模型(MLLM)在顯式或未見規則約束下的視覺空間規劃能力,指出該能力目前尚未被充分研究。作者提出 RuleMaze,一個可控基準,要求模型在迷宮中導航並遵守不同自然語言複雜度的規則,從而隔離出感知、規則解釋與受限動作規劃三項核心能力。為系統化建構規則,作者提出語言-邏輯-函數混合方法(Language-Logic-Function Hybridization),自動生成自然語言規則並翻譯為邏輯表示與可執行驗證器,免去人工規則工程。為提升規則遵循與泛化能力,作者進一步提出解耦多模態規劃(DMP),透過可解釋的推理原語將感知、執行與規則驗證分離,從而系統泛化到更複雜和未見規則,並提供透明的中間規劃軌跡。實驗表明,DMP 在規則合規性與規劃成功率上顯著優於端到端文本規劃基線。RuleMaze 為研究 grounded 與可解釋的規則驅動空間規劃提供了 principled 基準。

多模态大语言模型将语言推理与视觉感知结合在一起,展现出强大的跨模态能力,然而当任务需要模型在显式规则或此前未见规则的约束下进行视觉空间规划时,其表现与内在机制仍未被充分探索。这一设定要求模型同时完成三件事:准确理解空间布局、解释自然语言规则,并据此规划出合法的动作序列。针对这一空白,论文引入了 RuleMaze,一个可控的迷宫导航基准。在 RuleMaze 中,模型必须遵守不同自然语言复杂度的规则穿过迷宫,从而把规则合规的空间规划从一般视觉任务中隔离出来,迫使模型同时依赖精确感知、规则解释与受限动作规划。论文的核心贡献在于同时提供了一个 principled 的评测基准,以及一套对应的方法与训练思路,用于系统性地研究 grounded、可解释的规则驱动规划能力。这一工作把原本模糊的"会不会按规则办事"转化为可量化、可拆解、可复现的科学问题,为后续研究打开了清晰的入口。 在技术方法上,论文首先提出语言-逻辑-函数混合方法(Language-Logic-Function Hybridization),用于系统化、可扩展地构建规则。该方法自动生成自然语言规则,并将其翻译为逻辑表示与可执行验证器,从而彻底免去人工规则工程。这种混合设计让规则既能被人类语言表述,又能被机器逻辑严格校验,保证了规则构造的可扩展性与一致性。为提升规则遵循与泛化能力,论文进一步提出解耦多模态规划(Disentangled Multimodal Planning,简称 DMP)。DMP 通过可解释的推理原语,将感知、执行与规则验证三个环节显式分离。这种解耦使得模型不必把三项任务混在一个端到端的文本流中隐式完成,而是可以分别处理空间感知、动作执行与规则校验。正是由于这种结构化的拆解,DMP 能够系统泛化到更复杂、此前未见过的规则,同时提供透明的中间规划轨迹,让每一步决策都可被追踪与解释。相比把感知、推理与动作全部压缩进单一文本生成的端到端方案,DMP 在可控性与可解释性上具有明显优势。 在实验设置与关键结果方面,论文在 RuleMaze 基准上对多种方法进行了系统评估,重点对比端到端文本规划基线与所提出的 DMP。结果表明,DMP 在规则合规性与规划成功率两项关键指标上均显著优于端到端文本规划基线,验证了解耦设计对规则遵循与泛化的实际帮助。消融层面的发现同样指向同一结论:将感知、执行与规则验证分离,比把它们混在一起隐式建模,能带来更稳定、更可解释的规划表现。RuleMaze 的价值在于它把规则复杂度作为可控变量,从而能够细致观察模型在更复杂、未见规则下的表现衰减与适应情况,为理解 MLLM 的规则遵循能力提供了可量化的分析框架。这些结果共同说明,规划能力的提升不仅依赖模型规模,更依赖任务结构的合理拆解。 在行业意义与潜在影响方面,RuleMaze 为研究 grounded 与可解释的规则驱动空间规划提供了一个有原则的基准,对开源社区、工业落地与后续研究均有参考价值。对于开源社区,论文公开了代码,降低了复现与扩展的门槛,便于后续工作在此基准上对比新方法。对于工业落地,需要严格遵循规则的空间任务——例如机器人导航、自动化操作、游戏 AI 与具身智能——恰恰依赖这种可校验、可解释的规划能力,DMP 提供的透明中间轨迹为此类高风险场景提供了可审计的决策依据。对于后续研究,RuleMaze 把"规则合规规划"从模糊的能力描述转化为可拆解、可量化的科学问题,鼓励研究者进一步探索感知、推理与验证的协同机制。整体而言,这项工作提示业界:多模态大模型的能力评估不应只停留在任务通过率,而应深入到规划过程的结构与可解释性,从而推动模型从"会做题"走向"会按规矩、可信赖地做事"。

Sources