基於驗證器強化微調的推理模型應用於熱能儲存控制

本文提出了一種利用可驗證獎勵的強化學習（RLVR）來微調開源推理模型，以解決建築熱能儲存（TES）調度難題的方法。針對傳統模型預測控制（MPC）和強化學習在跨建築擴展時的局限性，研究團隊將精確的動態規劃（DP）動作值轉化為密集獎勵信號，僅使用30個訓練提示對模型進行強化微調（RFT），使其作為高級調度器輸出熱泵設定值。在包含已知最優解的簡易辦公建築基準測試中，微調後的模型將碳排放從70.5 kg-CO2降至61.2 kg-CO2，接近DP最優值60.8 kg-CO2。相比之下，GPT-4o等非推理模型表現不佳，而GPT-5無需特定訓練即可接近最優。軌跡分析表明，RFT主要穩定了候選比較、前瞻和可行性檢查等規劃模式。該研究為開源推理模型在建築儲能調度及城市級能源管理中的應用提供了務實路徑。