三十样本即达最优：强化微调重塑建筑热能存储调度范式

建筑电网互动中，响应电网条件转移冷却负荷已成为重要趋势，而热能存储（TES）是实现这一目标的关键技术。然而，在存储约束下提前数小时进行高效调度极具挑战，传统的模型预测控制（MPC）和强化学习方法往往难以在不同建筑间扩展。本研究的核心贡献在于提出了一种基于验证器的强化微调（RLVR）框架，专门用于适配开源推理模型以解决此类复杂调度问题。不同于以往依赖大量数据或复杂环境模拟的方法，该研究巧妙地利用精确的动态规划（DP）解作为"真理"来源，将DP计算出的动作值转化为密集奖励信号。这种方法不仅规避了环境模拟的高昂成本，还为模型提供了明确且可验证的学习目标，使得开源推理模型能够作为高级调度器，直接从文本状态和预测数据中输出小时级的热泵设定值，从而在理论上实现接近最优的能源管理策略。

在技术方法层面，研究团队采用了强化学习中的可验证奖励机制，这是一种将离散动作评估转化为连续学习信号的创新策略。具体而言，系统首先通过离线动态规划计算出每个候选动作的精确价值，随后将这些价值映射为训练过程中的奖励。模型仅使用30个精心设计的训练提示进行强化微调（RFT），这种极简的数据需求极大地降低了训练门槛。模型被训练为能够理解文本形式的建筑状态和气象预测，并据此生成控制指令。与传统的端到端黑盒模型不同，推理模型的优势在于其内在的逻辑推理能力。

通过RLVR，模型不仅学习了如何输出动作，更学习了如何评估动作的长期后果。这种训练策略特别强调了"可验证性"，即奖励信号必须基于确定性的数学解（DP最优解），从而避免了传统强化学习中奖励函数设计不当导致的训练不稳定问题，确保了模型学习到的策略具有坚实的数学基础。实验设置在一个人工构建但逻辑严谨的办公建筑TES基准上进行，该基准的特点在于动态规划是可行的，且全局最优解已知，这使得评估模型性能变得客观且精确。关键结果显示，经过RFT微调的开源推理模型将碳排放从基线的70.5 kg-CO2显著降低至61.2 kg-CO2，这一数值非常接近动态规划的最优值60.8 kg-CO2，证明了微调的有效性。对比实验中，GPT-5等大语言模型无需特定训练即可接近DP和MPC的性能，而GPT-4o等非推理模型甚至产生了高于无存储基线的排放，这表明推理能力在解决此类规划问题中的重要性。

消融研究发现，RFT并未创造全新的控制策略，而是稳定了模型固有的规划模式，如候选动作比较、时间前瞻和可行性检查。此外，鲁棒性测试显示，这些强化后的规划模式在面临预测误差和未见过的存储条件时依然有效，并能在一定程度上迁移到电池存储任务中，尽管由于结构差异，迁移增益有限。该研究的行业意义在于为开源大模型在垂直领域的落地提供了新的范式。它证明了通过精心设计的可验证奖励，可以用极少的数据将通用推理模型转化为特定领域的专家调度器。这对开源社区而言，意味着无需训练专用小模型，即可利用现有强大推理模型的能力解决复杂的物理约束优化问题。在工业落地方面，这种方法降低了建筑能源管理系统（BEMS）的开发和维护成本，因为模型可以适应不同的建筑类型和存储条件。对于后续研究，该工作激发了对更高保真度整栋建筑控制测试的兴趣，并强调了开发可扩展的城市级能源管理验证器的重要性。随着城市能源系统日益复杂，这种基于推理模型的调度方法有望成为实现大规模能源灵活性和碳中和目标的关键技术支撑。