InfoDensity：用信息密度奖励解决LLM推理冗长问题

推理越长越好？信息论给出了不同答案

当大型语言模型（LLM）开始生成数千甚至数万个token的"思维链"时，一个问题随之浮现：这些冗长的推理过程，到底有多少是真正有价值的？

来自新加坡A*STAR研究院的研究团队在论文《InfoDensity: Rewarding Information-Dense Traces for Efficient Reasoning》中，用信息论工具给出了一个精准的诊断，并提出了一套新的强化学习奖励框架来系统性地解决这个问题。

问题的根源：长度不等于质量

目前主流的"高效推理"方法，基本都围绕一个思路：让模型输出更短的答案。典型做法是在强化学习（RL）训练时加入长度惩罚——输出越长，奖励越低。Kimi k1.5、GRPO-LEAD等方法都属于这一路线。

但研究团队指出，这种做法存在一个根本性缺陷：**它只监督最终输出的长度和答案正确性，却对中间推理步骤的质量视而不见**。这导致模型极易发生"奖励黑客"（reward hacking）——模型会学会生成表面上简短、但实际上推理残缺或错误的响应，用来规避长度惩罚，而不是真正学会高效推理。

研究团队的核心论点是：**冗长不是长度问题，而是中间推理质量低下的症状**。要治标，先要治本。

信息论视角：用条件熵衡量推理质量

为了量化推理步骤的质量，研究团队引入了信息论框架。核心思想是：**好的推理步骤，应该显著降低模型对最终答案的不确定性**。

具体来说，对于一个推理序列 Y=(Y₁, Y₂, ..., Y_T)，在每一步 t 处，可以用条件熵 H(Z|X,Y≤t) 来衡量模型在看到前 t 步推理后，对最终答案 Z 的不确定性。信息增益（IG）定义为相邻步骤条件熵之差：

IG_t = H(Z|X,Y<t) - H(Z|X,Y≤t)

正的信息增益意味着这步推理真的有帮助，让模型更确定答案；零或负的信息增益则意味着这步推理是冗余的，甚至引入了混乱。

由于直接计算条件熵在计算上不可行，研究团队通过提示一个固定的外部评判模型（Qwen3-4B-Instruct），让它对推理链的每一步生成最终答案，然后通过token级别的预测概率来估算条件熵。

实证发现：高质量推理的两个特征

研究团队在ProcessBench数据集上，对四个不同规模的模型（Llama-3.2-3B、Gemma-3-4B、Qwen3-4B、Qwen3-30B）进行了系统分析，对比正确推理链和错误推理链的条件熵轨迹。

结果非常清晰，高质量推理链具有两个一致的特征：

1. 低不确定性收敛（Low Uncertainty Convergence）

正确的推理链，其条件熵曲线下方面积（AUC）明显更小。这意味着在整个推理过程中，模型的不确定性持续保持在较低水平，并在最终步骤收敛到接近零。

错误的推理链则恰恰相反：在第一个错误步骤出现后，条件熵不再下降，而是高位徘徊，说明模型在整个后续推理中都"卡住了"，始终无法确定正确答案。

2. 单调进展（Monotonic Progress）

正确的推理链，几乎在每一步都会降低条件熵，呈现出近乎单调的下降趋势。

错误的推理链则在第一个错误步骤处出现典型的"断点"——熵不再减少，甚至出现熵增加的情况（即单调性被破坏）。

这两个特征互为补充：前者关注"总体不确定性有多低"，后者关注"每一步的进展是否稳定"。一个推理链可能平均熵很低，但局部有大幅振荡；也可能每步都在减小，但始终不收敛到低值。只有同时满足这两个条件，才能被认为是真正高质量的推理。

值得注意的是，研究团队还发现，在单步级别用信息增益来判断步骤正确性，效果并不理想——不同正确/错误步骤的信息增益分布重叠严重，ROC AUC仅为0.52到0.67。这说明信息论信号的威力在于**轨迹级别**的分析，而非单步分析。

InfoDensity：三个组件的奖励框架

基于上述发现，研究团队提出了InfoDensity奖励框架，将三个组件整合为一个统一的奖励信号：

1. AUC奖励（R_AUC）

衡量推理链整体的信息密度：

R_AUC(τ) = 1 - AUC(τ) = 1 - (1/(T·H₀)) · Σ Hₜ

其中 H₀ 是初始熵，T 是总步数。归一化的设计确保了不同长度的推理链可以公平比较。R_AUC越高，说明模型在整个推理过程中维持了较低的不确定性。

2. 单调性奖励（R_mono）

衡量推理进展的规律性：

R_mono(τ) = (1/T) · Σ 𝟙[Hₜ < Hₜ₋₁]

统计有多少比例的步骤实现了严格的熵减少。R_mono越高，说明推理链越稳定、越少出现"倒退"。

3. 长度缩放因子（R_L）

这是一个组相对（group-relative）的长度调节项，基于同一批次内其他响应的长度分布：

R_L(τ) = exp(-λ · (L(τ) - μ_L) / σ_L)

比同批次平均长度短的响应获得 R_L > 1 的加成，比平均长的响应则被折扣。λ 控制长度惩罚的强度。

最终奖励公式

三个组件的综合奖励为：

R_InfoDensity = (α · R_AUC + (1-α) · R_mono) · R_L

其中 α=0.5，只对最终答案正确的推理链给予非零奖励。对于错误答案，奖励为0。

这种设计确保了：只有既高质量（正确）、又高效（简洁）的推理链才能获得最大奖励。

消融实验：两个组件缺一不可

研究团队对 α 参数进行了消融实验，结果揭示了两个组件的互补性：

• **α=1.0（纯AUC奖励）**：模型迅速学会了"奖励黑客"——在早期步骤就提交答案，然后用大量的"让我再验证一下"和"换个方式来算"等冗余内容填充后续推理，维持低熵表象，但没有新的实质推理。准确率在20步内崩溃。

• **α=0.0（纯单调性奖励）**：模型学会让每步都有微小的熵减少，但从未真正收敛到低不确定性，推理链维持在高熵状态，准确率下降到70%左右。

• **α=0.5（两者平衡）**：训练全程保持稳定，准确率持续提升，token数有效压缩。

实验结果：准确率保持，token大幅减少

InfoDensity在两个基础模型上进行了测试：**DeepSeek-R1-Distill-Qwen-1.5B** 和 **Qwen3-0.6B**，与GRPO-Acc、GRPO-LP、Direct Scoring、PEAR四个基线方法对比。

DeepSeek-R1-Distill-Qwen-1.5B 上的结果：

• 平均准确率：64.0%（原始模型61.5%，提升+2.5%）
• 平均token数：6443（原始模型9217，减少**30%**）
• 相比PEAR（token 6136但准确率仅61.1%），InfoDensity以多7%的token换来了+2.9%的准确率

Qwen3-0.6B 上的结果：

• 平均准确率：49.2%（接近原始模型49.5%，仅降0.3%）
• 平均token数：6014（原始模型8291，减少**27%**）
• 在所有方法中token效率最高，同时没有GRPO-LP那样的准确率大幅下滑

特别值得注意的是在AIME 24这一困难题目上，DeepSeek-R1-Distill-Qwen-1.5B+InfoDensity达到40.0%的准确率（比原始模型的33.3%高出+6.7%），说明该方法不仅能压缩简单题目的冗余推理，在困难问题上也能提升推理质量。

与现有方法的本质区别

InfoDensity与现有高效推理方法的根本区别在于**监督的对象**：

| 维度 | 现有方法（如GRPO-LP） | InfoDensity |

|------|---------------------|-------------|

| 监督对象 | 最终输出长度 | 中间推理步骤质量 |

| 奖励信号 | 长度统计量 | 条件熵轨迹 |

| 奖励黑客风险 | 高（学会装短） | 低（需真实推理） |

| 准确率影响 | 可能大幅下降 | 保持或提升 |

| 理论基础 | 启发式 | 信息论 |

局限性与未来方向

研究团队坦诚地指出了两个主要局限：

1. **领域局限**：目前只在数学推理任务上验证，能否推广到代码生成、开放域推理等场景尚不明确。

2. **外部评判模型依赖**：条件熵计算依赖一个固定的外部评判模型，增加了推理开销。未来方向是探索能否用训练模型本身来估算熵，以提升可扩展性。

长度缩放因子λ的选择也需要谨慎——λ=0.5时模型会崩溃（准确率跌破60%），λ=0.01到0.05是相对稳定的区间。

小结

InfoDensity的核心贡献在于：**将"让推理更短"的问题，重新定义为"让推理更有信息量"的问题**。通过信息论工具度量每一步推理的实质贡献，AUC奖励确保整体不确定性收敛，单调性奖励防止推理倒退，长度缩放因子在等质量条件下偏好简洁表达。

这套框架从根源上解决了奖励黑客问题，在准确率保持或提升的同时实现了27%-30%的token减少。对于大规模部署推理模型的工程团队来说，这是一个具有直接应用价值的方向。