破解长文本幻觉：GEAR算法以证据感知强化学习重塑大模型推理逻辑

随着大语言模型在复杂任务中展现出强大的逐步推理能力，将其扩展至长上下文场景已成为当前人工智能研究的重要前沿。然而，本研究揭示了一个被忽视的关键失效模式：重复复制（repetitive copying）。在实际应用中，许多前沿长上下文大语言模型倾向于大量复制输入文本中的内容到其推理轨迹中，而非真正通过逻辑推导解决问题。这种低效行为不仅浪费计算资源，更导致模型无法准确回答复杂问题。研究指出，随着上下文长度的增加，这种复制行为显著加剧。

通过深入分析，作者发现问题的根源在于模型缺乏足够的"接地"能力，即无法有效区分提示词中的关键证据与无关干扰信息。那些无法聚焦于关键证据的模型，不仅更容易产生重复复制，其回答错误的概率也远高于其他模型。这一诊断为改进长上下文推理能力提供了新的切入点，即必须强化模型对核心信息的定位与利用能力，而非仅仅依赖上下文长度的堆砌。为了解决上述问题，研究团队提出了 GEAR（Grounding Evidence-Aware Reward，接地证据感知奖励）方法。这是一种创新的奖励塑形策略，旨在通过强化学习优化模型的推理行为。

GEAR 的核心思想是将传统的仅基于答案准确性的奖励信号，扩展为包含两个维度的复合奖励：一是接地奖励，用于鼓励模型在推理过程中与任务相关的关键证据产生重叠；二是干扰项惩罚，用于抑制模型对无关上下文的复制行为。为了使 GEAR 能够应用于自然语言数据，研究团队开发了一套自动化的数据构建流水线。该流水线能够从任意文档中自动提取并标注关键证据与干扰上下文，从而生成高质量的训练数据。在训练策略上，模型在强化学习阶段同时接受准确性、接地奖励和干扰惩罚的多重指导，从而在优化答案正确率的同时，强制模型建立对关键信息的敏感性。这种机制使得模型在生成长推理链时，能够有意识地筛选和引用相关证据，避免无意义的文本复制。

研究团队在多个模型规模和基准测试上对 GEAR 进行了全面验证，实验设置涵盖了不同长度的上下文场景。结果表明，GEAR 在各项指标上均展现出一致且显著的性能提升，平均得分比仅使用基于准确性奖励的标准强化学习方法高出 4.6 分。特别是在长上下文场景中，GEAR 带来的增益更为巨大，证明了其在处理复杂长文本时的独特优势。消融实验进一步揭示了各组件的贡献：接地奖励显著提高了模型对关键信息的利用率，而干扰项惩罚则有效降低了推理轨迹中的冗余内容。此外，研究还发现，经过 GEAR 训练的模型不仅回答更准确，其生成的推理长度也显著缩短，这表明模型学会了更高效、更聚焦的推理策略，而非通过堆砌步骤来掩盖逻辑缺陷。

这些结果有力地证明了，在长上下文推理中，对证据的精准接地是提升性能的关键因素。这项研究对开源社区、工业落地及后续研究具有深远意义。对于开源社区而言，GEAR 提供的自动化证据标注流水线为其他研究者提供了可复现的工具，降低了长上下文强化学习的门槛。在工业落地方面，减少重复复制和缩短推理长度意味着更低的推理成本和更快的响应速度，这对于需要处理海量文档的企业级应用至关重要。此外，研究指出，随着长上下文评估从简单的信息检索向复杂推理转变，准确接地于相关证据的能力将成为不可或缺的核心技能。这一发现为后续研究指明了方向，即未来的模型优化不应仅关注上下文长度的扩展，更应深入探索如何增强模型对信息结构的理解与利用。GEAR 方法的成功实践，为构建更高效、更可靠的长上下文推理系统奠定了坚实基础，有望推动大语言模型在专业领域应用中的进一步突破。