預測錯誤，答案正確：從坍塌的LLM序列分數中恢復證據

在大型语言模型（LLM）的应用实践中，当模型未能通过复杂的推理任务时，学术界与工业界往往倾向于归咎于模型本身缺乏相应的底层认知能力。然而，这种普遍假设混淆了"能力缺失"与"晚期输出瓶颈"这两个截然不同的概念。本研究的核心贡献在于通过实证观察揭示了一种被称为"读出差距"（readout gap）的普遍现象。研究团队指出，在许多多样化的推理基准测试中，尽管模型生成的原生序列评分因固有的结构偏差而完全崩溃，导致表面上的预测错误，但其内部的隐藏状态探针却能够成功解码出正确的答案。这一发现挑战了传统上仅依赖最终输出序列来评估模型推理能力的范式，表明模型内部可能已经形成了完整的逻辑链条，只是在最终的概率映射或解码阶段发生了信息丢失或扭曲。因此，论文主张重新审视那些被判定为"零样本推理失败"的案例，认为其中许多实际上是表达层面的失败，而非逻辑层面的无能，这为理解LLM的内部工作机制提供了新的视角。为了验证这种实例特定的逻辑是否在评分崩溃后依然存活，作者设计了一套精密的诊断协议，并引入了一种极简的、无需目标标签的加法校正方法。

该方法的技术核心在于其极简主义的设计哲学：它不需要大量的标注数据进行监督微调，而是通过在极少量的未标记样本（最少仅需25个）上进行参数拟合，仅调整两个关键参数即可实现对模型输出的修正。这种策略避免了传统微调方法带来的高昂计算成本和灾难性遗忘风险。在具体实现上，该方法不依赖于复杂的网络结构修改，而是作用于序列评分的校正环节，旨在补偿因结构偏差导致的概率分布偏移。研究特别强调了该方法的通用性与可迁移性，通过在不同架构和规模的模型上进行测试，证明了这种轻量级的校正机制能够有效地从崩溃的序列评分中恢复出正确的推理路径，从而在不改变模型主体权重的情况下，显著提升其表面表现。在实验设置与关键结果方面，研究团队在多个主流推理基准上进行了广泛的评估。以Qwen3.5系列模型为例，应用该诊断协议后，模型的准确率惊人地恢复了9至34个百分点，这一提升幅度在统计上具有显著意义。更为关键的是，这种恢复效果展现出了强大的跨模型迁移能力，成功应用于OLMo-2-1B和Llama-3.1-8B等不同架构和大小的模型，证明了该现象和方法的普适性。

消融实验进一步揭示，恢复后的决策不仅在简单样本上有效，在那些无法通过简单词汇重叠解决的困难实例上，其表现也显著超过了保持计数不变的置换基线（count-preserving permutation baselines）。这意味着恢复出的逻辑并非简单的统计巧合或表面模式匹配，而是真正捕获了任务所需的深层推理结构。这些结果有力地支持了论文的核心论点，即许多被误判的推理缺陷实际上是模型在输出表达上的局限性所致。从行业意义与潜在影响来看，这项研究对开源社区和工业落地具有深远的启示。首先，它提示我们在评估LLM能力时，应更加谨慎地解读基准测试结果，避免将表达瓶颈误判为能力上限，从而可能导致对模型潜力的低估。其次，这种轻量级的校正方法为提升现有模型性能提供了一条低成本、高效率的路径，特别是在资源受限的场景下，无需重新训练即可显著改善模型表现。对于后续研究而言，这一发现打开了探索模型内部表示与最终输出之间映射关系的新方向，鼓励研究者开发更多基于隐藏状态分析的评估工具和修正机制。此外，它也促使开发者在构建推理密集型应用时，考虑引入多层级的验证与校正机制，以弥补单一输出评分的不足，从而构建更加鲁棒和可靠的智能系统。