RLVR微调让大模型成为建筑热能存储的高效调度员

随着电网对灵活性需求的增加，建筑需要通过调整冷却负荷来响应电网状况，而热能存储（TES）技术为实现这一负荷转移提供了物理基础。然而，在存储约束下提前数小时进行精确调度是一个复杂的优化问题。传统的模型预测控制（MPC）和强化学习方法虽然有效，但在不同建筑类型和场景间的泛化与扩展上面临巨大挑战，难以规模化部署。本研究另辟蹊径，提出了一种基于验证器强化微调（RLVR）的新范式，旨在利用开源推理模型的强大逻辑能力来解决这一难题。核心贡献在于构建了一个闭环框架，将精确的动态规划（DP）解算出的动作值转化为密集的奖励信号，从而指导推理模型学习最优调度策略。这种方法不仅避免了传统强化学习中奖励稀疏的问题，还使得模型能够像人类专家一样，通过文本形式的状态和预测数据，输出小时级别的热泵设定值，实现了从黑盒优化到可解释推理的转变。这种基于推理模型的调度方式，为构建通用、可扩展的建筑能源管理系统提供了全新的技术路径，特别是在处理复杂约束和长周期规划任务时展现出独特优势。在技术方法层面，本研究详细阐述了如何利用可验证奖励进行强化微调。具体而言，研究者构建了一个离线动态规划求解器，该求解器能够在给定的状态和预测条件下，计算出每个候选动作的精确价值。这些精确的价值被转化为密集奖励，直接反馈给推理模型。

训练过程极其精简，仅使用了30个精心设计的训练提示（prompts），通过强化微调（RFT）技术，将开源推理模型训练为一个高级调度器。该调度器的输入是文本格式的建筑状态信息和能源预测数据，输出则是具体的热泵设定值。这种设计巧妙地利用了大语言模型在逻辑推理和模式识别上的优势，将其转化为解决连续控制问题的工具。与传统的端到端神经网络不同，这种方法不依赖于复杂的网络结构修改，而是通过强化学习策略优化模型的输出分布，使其更倾向于选择那些在DP求解器中被证明为高价值的动作。此外，研究还强调了验证器的作用，即通过DP求解器提供的精确解作为"真理"标准，确保模型的学习方向始终指向全局最优解，从而避免了模型陷入局部最优或产生幻觉。实验设置与结果分析部分，研究者设计了一个刻意简化的办公建筑TES基准测试环境，以确保动态规划（DP）在该环境中是可行的，并且能够获得已知的最优解。这一设计使得研究者能够精确评估微调模型的性能。实验结果显示，经过RLVR微调后的开源推理模型，其碳排放量从初始的70.5 kg-CO2显著降低至61.2 kg-CO2，这一结果非常接近DP求得的最优值60.8 kg-CO2，证明了该方法的有效性。为了进一步验证推理能力的重要性，研究还测试了闭源模型的表现。GPT-5在未进行任何特定任务训练的情况下，其表现几乎与DP和MPC相当，接近最优解；而GPT-4o作为一个非推理型大语言模型，其产生的碳排放甚至高于没有存储设施的基线水平。

这一对比强烈暗示，在能源调度这类需要长周期规划和约束满足的任务中，推理能力至关重要。此外，轨迹分析（Trace Analysis）揭示了RLVR的作用机制：它并没有创造出全新的调度策略，而是稳定了模型在推理过程中自然出现的可观察规划模式，如候选动作比较、前瞻性和可行性检查。这些模式的稳定化，使得模型在面对不确定性时能够保持决策的一致性。从行业意义与潜在影响来看，本研究为开源社区和工业落地提供了重要的启示。首先，DP-based的可验证奖励机制提供了一种实用且高效的方法，用于将开源推理模型适配到建筑储能调度等复杂控制任务中，降低了对昂贵闭源模型或大量标注数据的依赖。其次，鲁棒性和泛化性测试表明，经过强化的规划模式在面临预测误差和未见过的TES条件时依然有效，并且能够迁移到电池储能任务中，尽管由于结构差异，增益有所限制。这说明推理模型具备较强的跨域适应能力。最后，这些结果激发了对更高保真度整栋建筑控制测试的兴趣，并推动了城市级能源管理中可扩展验证器的开发。随着城市能源系统日益复杂，能够利用推理模型进行大规模、多约束调度的技术将成为关键。本研究不仅验证了RLVR在建筑能源管理中的潜力，也为后续研究如何构建更复杂的验证器、处理更大规模的系统以及实现真正的城市级能源优化指明了方向，具有深远的学术价值和实际应用前景。