利用程式解釋器推理中的外在與內在屬性提升大模型能力

本文系統研究了程式解釋器（Code Interpreter, CI）增強大型語言模型推理能力的內在機制。研究從外在屬性（關鍵Token）與內在屬性（程式特定認知行為）兩個維度，刻畫了有效程式推理的行為特徵。實驗表明，具備更強CI推理能力的模型展現出更高頻率的關鍵Token以及驗證、回溯和逆向鏈式推理等認知行為。基於這些發現，作者提出在推理階段附加關鍵Token、在訓練階段增強認知行為數據的策略。結果表明，上述方法在數學、排序和優化任務上顯著提升性能，同時減少錯誤回答中的過度思考並提高Token效率。該研究首次系統描繪了有效程式推理的特性，為優化CI推理提供了理論依據與實踐指導。