單層足矣？單Transformer層訓練可媲美金全參數強化學習

本文挑戰了大語言模型後訓練中全參數更新均勻貢獻的假設，透過系統性層間分析發現，僅訓練單個Transformer層即可恢復大部分全參數強化學習增益，甚至表現更優。研究提出「層貢獻」量化指標，在Qwen3、Qwen2.5等七款模型及多種算法中驗證，發現高貢獻層集中於網絡中部，且該模式跨任務與算法穩定。這一發現揭示了RL適應性的層間分佈規律，為高效微調提供了新視角，表明無需更新全部參數即可實現顯著性能提升，對降低計算成本和優化模型訓練策略具有深遠影響。