SkillComposer：面向LLM智慧體的结构化技能組合生成方法

在大型语言模型（LLM）向现实应用部署的过程中，理解并推理超长上下文已成为一项关键且极具挑战性的需求。尽管当前的主流模型不断扩展上下文窗口至数十万甚至百万级别，但在实际测试中，模型往往表现出"上下文访问"与"有效上下文利用"之间的巨大鸿沟。具体而言，模型虽然能够接收并存储大量信息，却难以在复杂的推理任务中精准定位并利用输入中相关的证据片段，导致性能随上下文长度增加而出现显著衰减。针对这一核心难题，本研究提出了一种名为ReContext（递归证据重放作为长上下文推理的LLM工具）的创新方法。其核心贡献在于设计了一种完全无需训练的推理时增强策略，通过解耦证据组织与答案生成两个阶段，使得模型能够在保留完整原始上下文的前提下，主动筛选并强化关键信息，从而从根本上改善长上下文下的推理表现，为提升模型在复杂任务中的可靠性提供了新的技术视角。从技术实现的细节来看，ReContext的核心机制在于利用模型内部的注意力机制作为相关性信号源。在推理过程中，该方法首先分析输入上下文与当前查询之间的关联度，构建一个动态的、查询条件化的证据池。

这一过程并非简单地截断或压缩上下文，而是通过递归的方式，将筛选出的高相关性证据片段在最终生成阶段之前进行重放。这种重放机制相当于在模型的内部状态中再次激活关键信息的痕迹，从而强化模型对重要内容的关注。从理论层面分析，本研究基于联想记忆框架对这一过程进行了形式化刻画：将长上下文视为一个巨大的记忆存储库，将用户问题视为检索线索，将注意力机制视为线索与记忆痕迹之间的关联过程，而证据重放则被定义为痕迹的再激活。这种设计巧妙地利用了Transformer架构固有的注意力特性，无需引入外部记忆模块，也不需要对模型参数进行微调或进行粗暴的上下文剪枝，实现了在原生架构上的高效增强。为了验证ReContext的有效性，研究团队在八个涵盖不同长上下文任务的基准数据集上进行了广泛的实验，所有实验均设定在128K的长上下文长度下进行，以模拟真实场景中的长文本处理需求。实验涵盖了包括Qwen3-4B、Qwen3-8B以及Llama3-8B在内的多种主流开源模型架构。结果表明，ReContext能够 consistently（一致地）提升各模型在证据利用方面的表现，并在所有测试的后端模型上取得了最佳平均排名。

消融实验进一步揭示了递归选择过程的重要性，证明了动态构建证据池相较于静态筛选具有显著优势。这些关键结果不仅证实了该方法在不同参数规模模型上的通用性，也展示了其在无需额外训练成本的情况下，如何有效地挖掘模型内部潜力，解决长上下文推理中的信息遗忘与干扰问题，为后续研究提供了坚实的实证基础。从行业意义与潜在影响来看，ReContext提出了一种低成本、高效率的长上下文优化范式，对开源社区和工业落地均具有深远影响。对于开源社区而言，这种无需训练、仅通过推理策略调整即可提升性能的方法，极大地降低了长上下文优化的门槛，使得资源受限的研究者也能轻松复现和提升模型性能。对于工业落地场景，该方法无需修改模型权重或部署额外的记忆系统，可以直接集成到现有的推理管线中，显著提升了模型在处理法律文档、代码库分析、长篇报告总结等长文本任务时的准确性和鲁棒性。此外，其基于联想记忆的理论解释也为理解大模型内部的信息处理机制提供了新的窗口，可能启发后续更多关于注意力机制优化和记忆增强的研究方向。随着代码的开源，ReContext有望成为长上下文推理领域的一个重要基准工具，推动LLM向更复杂、更真实的长文本应用场景迈进。