Inject、Align、Recover：免检索文档知识内化的分阶段后训练方法

这篇论文聚焦一个常见却棘手的问题：大语言模型在推理时如果不检索源文档，就很难准确回答关于有限文档集合的问题。作者把这一场景正式定义为文档知识内化，即把一份固定语料转化为模型内部可用的参数化知识，从而在免检索条件下完成问答。与依赖外部检索系统的做法不同，内化路径让模型自身"记住"文档内容，从而避免检索缺失、延迟与索引维护等开销。针对这一目标，作者提出名为 IAR（Inject、Align、Recover）的三阶段后训练框架，其核心思想是把原本混在一起的过程拆成三个职责单一的环节：结构化文档知识注入、问答行为对齐，以及通用能力恢复。作者指出，传统继续预训练往往把注入与行为调整混在同一目标里，容易导致通用能力被领域知识覆盖，而分阶段解耦正是为了缓解这一冲突。

论文的主要贡献在于这一框架设计，以及它在多个模型族与多个数据集上系统性验证其有效性，并给出与多种基线方法的对比结果。在技术方法上，IAR 的第一阶段 Inject 负责把源文档转化为模型可学习的知识。作者没有采用单一的继续预训练方式，而是设计了三类目标：续写目标让模型在给定上下文后补全文档内容，改写目标让模型用不同表达复述文档，指令条件重建目标则让模型在指令引导下重建文档信息。这三类目标共同作用，帮助模型以多种视角消化结构化文档知识。第二阶段 Align 对注入后的模型进行问答行为对齐，其关键特点是使用仅答案的问答监督，即只以标准答案作为学习目标，而非让模型生成冗长的推理过程，从而更聚焦地塑造检索-free 的问答行为。

第三阶段 Recover 旨在恢复被领域适配削弱的通用能力，做法是把领域适配后的模型与基础指令模型进行合并，从而在保留领域知识的同时找回模型原有的通用表现。作者强调，这种分阶段设计让注入、对齐与恢复各司其职，彼此之间形成互补而非相互干扰，这是它区别于一次性继续预训练或简单监督微调的核心所在。在实验设置与关键结果方面，论文在 Common Corpus（CC）与 CCI 两个数据集上进行评估，并覆盖 Llama、Phi、Qwen 与 SmolLM 四类主流模型族，以检验方法的普适性。核心结论是 IAR 提升了检索-free 文档内化的领域主效与通用主效前沿。在与 Vanilla SFT 的主对比中，IAR 在 8 组数据集-模型设定里的 7 组实现了四项指标全部提升，领域问答准确率平均提高 3.6 个百分点，同时在 IFEval、MMLU 与 MSBench 上的平均通用表现提高 12.1 个百分点，显示出在强化领域知识的同时并未牺牲通用能力。

作者还扩展了 CC 上的基线方法对比，发现 LoRA 与 FAPM 等方案虽然能在个别通用指标上占优，但在那些同样达到领先或接近领先领域内化水平的方法中，IAR 依然保持较强的通用表现。这一消融式观察说明，单纯追求通用或单纯强化领域都不够，IAR 在两者之间取得了更均衡的前沿。在行业意义与潜在影响方面，本文的价值在于为"把私有或有限文档转化为模型内在知识"提供了一条免检索的可行路径。对于不希望依赖外部检索系统、索引维护或推理期延迟的应用场景，内化方案能够直接让模型具备文档知识，从而简化部署架构。分阶段解耦的设计思路对后续研究也有启发意义，它把注入、对齐与恢复拆成可独立优化与调参的环节，为探索更精细的知识管理提供了框架。论文在多个模型族与多个数据集上的一致性结果，也增强了方法在开源社区与工业落地中的可信度。需要指出的是，内化方案受限于固定语料规模，适合边界清晰的文档集合，而非无限扩展的知识库，因此其适用场景值得在实践中进一步权衡。综合来看，本文在方法设计、实验覆盖与通用-领域平衡上都给出了扎实证据，为文档知识内化这一方向提供了有价值的参考。