世界模型該忘記什麼？分層保留讓持續適應不再「一刀切」

這篇來自 arXiv（編號 2610.03713）的論文討論的是一個看似細小、實則根本的問題：持續適應的世界模型到底應該忘記什麼。作者的核心判斷是，持續學習領域沿用多年的評價習慣，在世界模型身上並不成立。需要說明的是，本文只依據論文摘要寫成。摘要沒有給出任何具體的實驗數字，下文也不會編造數字，只分析它提出的概念、機制與評測主張。 一、問題從哪裡來 傳統持續學習的設定裡，預測目標是平穩的。一張貓的圖片，今天是貓，十年後還是貓。在這種前提下，模型在舊任務上的準確率下降，就是明確的失敗訊號，學界稱之為災難性遺忘。幾乎所有遺忘指標，比如平均遺忘量、後向遷移，都建立在這個前提之上：舊資料上的表現越接近當初，模型越好。 世界模型不同。它的預測目標是環境本身，而環境會變。倉庫裡的貨架被重新擺放，路口新增了紅綠燈，某個機器人的夾爪磨損後動力學發生改變。模型曾經學到的「貨架在左邊」在當時是正確的，現在就是錯的。如果模型仍舊堅持舊知識，它才是真正出了問題。因此，遺忘在這裡不是缺陷，而是必需的行為。 二、核心主張：按不變性時間尺度分層保留 作者認為，世界模型裡的知識並不同質。有一類知識永遠不該被修訂，例如物理定律、重力方向、物體恆存性（東西被遮住並不等於消失）。另一類是例項層面的事實，例如某個房間的佈局、某臺裝置的當前狀態，它們應當在環境一變化時就被儘快改寫。兩類知識之間還有中間層，變化的速度各不相同。

這就是「分層保留」的含義：按照知識的不變性時間尺度，給不同層級設定不同的保留策略。越接近不變數，保留要求越嚴格，修訂必須被禁止；越接近具體例項，保留要求越寬鬆，修訂應被鼓勵且要快。 論文還指出，這個問題在相鄰領域已有研究。概念漂移文獻研究非平穩的資料分佈，語言模型的時間事實性研究討論「現任總統是誰」這類會過期的事實。但這些工作沒有被系統地表述到世界模型上，而世界模型有一個特殊之處：它同時編碼了必須永不修訂的知識。語言模型的事實大多可以過期，世界模型的物理常識卻不能。 三、現有指標為什麼會失靈 摘要裡有一個很尖銳的論斷：標準的遺忘指標無法區分兩種完全不同的模型。一種是正確修訂了過時知識的模型，另一種是遭受災難性遺忘的模型。兩者在舊資料上的表現都會下降，指標看到的是同一個訊號。更糟的是，這類指標會把完全凍結的模型排在最高位，因為凍結模型在舊資料上一點都沒變。一個從不適應環境的模型，反而拿了最高分，這顯然違背了評測的初衷。 同樣的問題也出現在現有的物理推理基準上。摘要指出，這些基準只評估凍結的檢查點，也就是隻看某一時刻的模型，而不看模型在一條持續的適應流裡表現如何。這等於沒有測到「持續適應」這件事本身。 四、差異化保留：兩個指標，不做聚合 作者提出的評測方案叫差異化保留（differential retention）。它要求在整條適應流上，同時報告兩樣東西。 第一，不變數回歸測試。在每一個適應階段，都用一組針對物理規律、物體恆存性等不變數的測試檢查模型，確認這些知識沒有被破壞。這對應「該記住的必須記住」。 第二，修訂延遲。環境發生變化之後，模型要多久才能把相關的例項級事實更新到位。這對應「該忘記的必須儘快忘記」。 關鍵在於「不做聚合」。如果把兩項合成一個總分，一個模型可以靠犧牲其一來換取另一項的高分，比如完全凍結可以讓不變數滿分，卻讓修訂延遲無窮大。分開報告，才能暴露這種取捨。這與近年評測領域對單一總分的警惕是一致的。

五、對開發者與企業的影響 對做機器人、自動駕駛、數字孿生和智慧體模擬的團隊來說，這個框架提供了一個可以落地的檢查清單。第一，需要為自己的系統整理出「不變數集合」，並把它做成每次更新都要跑的迴歸測試。第二，需要設計「環境變更」的注入實驗，測量模型的修訂延遲。第三，在選擇持續學習方法時，不能只看舊任務保持率，因為方法如果靠正則化把舊知識鎖死，在這套評測下會暴露出修訂延遲過高的問題。 對基準的製作者而言，意義更大：評測物件應當從靜態檢查點轉向適應流，也就是模型隨時間被不斷更新的整個軌跡。這會提高評測的成本，因為要構造帶有受控變化的環境序列，並且要為每個變化標註哪些知識該被改寫、哪些不該。 六、侷限與未解之處 首先，分層本身並不容易劃定。哪些知識屬於「永不修訂」的不變數，哪些只是在很長時間尺度上穩定的事實，邊界並不總是清楚。物理定律看似永恆，但模型學到的往往是它對物理的近似，而近似也可能需要修正。

其次，修訂延遲的測量依賴對「環境何時改變」的明確標註。在真實部署中，變化常常是漸進的、隱蔽的，沒有人告訴模型發生了什麼。 第三，摘要只提出了概念框架和評測主張，並未給出數字化的實驗結果。這類立場性工作的價值在於重新定義問題，而它的實際效果，需要後續在具體世界模型和具體環境上得到驗證。讀者在引用時應當注意這一點。 七、未來方向 可以預見的方向包括：為世界模型構建帶有變更標註的適應流基準；研究在架構層面把不變數與例項知識分開存放，例如用不同的引數子空間或記憶模組；以及把修訂延遲作為訓練目標之一。更遠一步，模型還需要自己判斷哪些知識已經過期，也就是對「環境是否變了」的檢測能力，這與概念漂移檢測自然銜接。 總的來說，這篇論文沒有提出新的網路結構，而是重新定義了問題與評分標準。它提醒我們：評價一個會自我更新的模型，不能再問「它忘了多少」，而要問「它忘了該忘的，還記著該記的嗎」。