VAORA:透過視覺動作結果推理對齊提升物理推理與任務泛化能力

針對視覺語言模型在交互式物理推理中面臨的泛化難題,本研究提出了一種名為VAORA的新穎獎勵機制,旨在解決幻覺式思維鏈推理與物理現實相悖,以及推理與動作之間不對齊兩大核心缺陷。VAORA通過引入視覺對齊獎勵和視覺-動作對齊獎勵,分別將模型推理錨定於獨立於動作的視覺上下文,並 grounded 於動作引發的視覺結果中,從而有效抑制幻覺並縮小推理與行為的差距。實驗在PHYRE和Virtual Tool基準上進行,結果表明該方法在未見任務和未知環境設定下均能顯著提升性能,證明了通過VAORA誘導出的物理智能具有堅實性和泛化性。

Sources