4DCodeBench：讓智慧體從影片反推可執行的動態場景程式，前沿模型的動態重建仍顯不足

4DCodeBench 是一個面向「4D 逆向圖形學」的新基準。這裡的 4D 指三維空間加上時間。任務設定很直接：給智慧體一段影片，要求它寫出一段可以執行的圖形程式，程式執行後要能重現影片裡的場景結構和動態變化。它和常見的影片理解基準不同。答案不是一句文字描述或一個類別標籤，而是一段程式碼。程式碼可以執行、可以檢查、可以與原影片逐幀對比，所以評測更客觀，也更難靠「說得像」矇混過關。 先說背景。正向圖形學是從場景描述得到影象：給定幾何、材質、光照和物理規則，渲染器輸出畫面。逆向圖形學反過來：給定畫面，還原背後的場景描述。過去的主流做法依賴可微渲染、神經輻射場或高斯潑濺，輸出是一大堆難以解釋的引數。4DCodeBench 走的是另一條路：要求輸出緊湊的程式化表示。智慧體必須把視覺觀察抽象成場景結構與動力學規律，並且在需要時實現物理模擬這樣的抽象，去復現複雜行為。換句話說，它考的不是「看見了什麼」，而是「看懂了為什麼會這樣動」。

資料方面，論文摘要說明作者整理了一組真實世界影片，並構造了覆蓋多種物理現象的合成場景，包括形變、流體流動和斷裂。兩類資料各有用處。真實影片檢驗模型面對噪聲、遮擋和雜亂背景時的泛化能力。合成場景則提供可控的真值：設計者清楚知道底層的物理引數和生成程式，因此可以精確分析模型在哪個環節出錯。形變、流體和斷裂也不是隨意挑選的。它們分別對應彈性力學、連續介質流動和不連續的破壞過程，數值方法、引數含義和視覺特徵都差別很大，一個模型很難靠同一套套路通吃。

關於評測流程，摘要沒有披露細節，下面是對這類任務的一般性推斷，請以原文為準。典型的閉環大致是：感知影片，提出場景與物理假設，編寫圖形程式碼，執行程式得到渲染結果，與目標影片對比，再根據差異修正程式碼。對比可能同時看單幀的外觀相似度和跨幀的時序一致性，前者對應靜態重建，後者才真正觸及動力學。這個閉環裡每一步都可能出錯：假設選錯了物理模型，引數量級不對，時間步長導致模擬發散，或者程式碼根本跑不通。 最核心的發現寫在摘要裡：作者對前沿模型做了廣泛評測，結論是強大的靜態重建能力還沒有轉化為對複雜動態的可靠重建。這個結論很有資訊量。它說明模型能把物體、材質和相機擺對，卻不一定能選對物理機制、估對引數，並把它們在時間上積分正確。靜態場景像一張精確的佈景圖，動態場景則要求模型掌握「因果」。摘要沒有給出具體分數，本文也不會編造數字。想看各模型的排名和各類現象上的差距，需要查閱論文和開源的基準頁面。 成本與延遲方面，摘要同樣沒有資料，以下僅是合理推測。程式碼生成加模擬執行加多輪修正，總成本會隨迭代輪數增長。流體和斷裂模擬本身有算力開銷，評測與智慧體的每一次試錯都要實際執行程式。因此未來比較系統時，除了最終得分，還應該報告輪數、token 消耗和模擬耗時，否則「更強」可能只是「花得更多」。 對開發者和企業的意義主要在三個方面。第一，程式化表示可編輯、可複用、可嵌入物理引擎，這對數字孿生、機器人模擬、遊戲與影視特效、科學視覺化都有吸引力：從影片直接得到一份可以修改引數、再次執行的模擬指令碼，比得到一團黑箱權重有用得多。第二，它為世界模型方向提供了另一種檢驗方式：模型是否真的理解物理，可以透過「能否寫出能跑的模擬」來驗證。第三，基準公開，社群可以用同一把尺子追蹤進展，也便於定位到底是感知、規劃、編碼還是物理知識拖了後腿。

侷限同樣明顯。其一，摘要資訊有限，評分細則、模型清單和任務規模都需要讀全文核實。其二，外觀相似不等於物理正確：不同的程式可能產生看起來差不多的影片，評測指標能否區分「蒙對」和「真懂」，是這類基準必須回答的問題。其三，合成場景和真實影片之間存在差距，在合成資料上的進步未必遷移到真實世界。其四，結果會受所用圖形庫和模擬器限制，模型對特定庫的熟悉程度可能混入分數。 展望未來，幾個方向值得關注：讓智慧體直接使用模擬器反饋做自我修正，用專門的資料訓練物理程式合成，把可微物理與程式碼生成結合，以及為引數估計引入更嚴格的度量。4DCodeBench 的價值在於把「理解動態世界」這件事變成一個可以執行、可以打分的工程問題。它告訴我們，今天的前沿模型在這條路上還有明顯的距離要走。