自精炼流水线中的非对称容量分配研究

自精炼（self-refinement）是当前大语言模型领域被广泛采用的核心范式之一，其基本结构由生成、批评与修订三个阶段构成。生成阶段负责产出初始答案，批评阶段对生成结果进行审查并指出缺陷，修订阶段则根据批评意见改进输出。这一范式不仅用于提升单一任务的生成质量，更被内建为众多 LLM agent 的关键机制，在复杂推理与工具调用场景中发挥着重要作用。然而，作者指出一个被长期忽视的问题：尽管这三个阶段对认知能力的要求存在本质差异，既有研究却普遍将模型规模（model size）仅仅当作实现细节，而非一个值得系统研究的问题。这种处理方式可能导致严重的计算资源浪费。

基于这一观察，本文的核心贡献在于首次对自精炼流水线进行了逐阶段、系统性的模型规模研究，明确检验了模型大小如何影响每个阶段，以及有效的自精炼是否要求生成、批评与修订使用能力对等的模型。这一问题的提出填补了领域内的重要空白，为后续的资源分配设计奠定了实证基础。在技术方法上，本文构建了一个覆盖完整自精炼流程的实验框架，将流水线解耦为生成、批评、修订三个独立可控的阶段，从而允许研究者以正交的方式替换每个阶段所使用的模型规模。实验覆盖了五个来自不同领域的数据集，以确保结论的普适性而非局限于单一任务。模型方面，研究选用了 Qwen3 的六种不同规模以及 Gemma 3 的四种不同规模，形成了足够宽泛的规模梯度，使得各阶段对容量的响应特征得以被充分观测。

训练与评估策略上，作者通过枚举不同阶段模型规模的组合，系统地测量了各配置下的流水线性能，而非仅依赖单一固定规模。这种设计使得研究能够分离出每个阶段各自的规模效应，进而识别出哪些阶段对容量敏感、哪些阶段相对不敏感。整个实验框架的核心思想在于承认各阶段认知需求的异质性，并通过可控的规模替换来量化这种异质性对最终结果的影响。在实验结果方面，研究揭示了若干具有反直觉意味的关键发现。首先，更大的生成器（generator）与修订器（refiner）通常能够持续提升流水线的整体性能，说明这两个阶段对模型容量表现出正向的规模扩展特性。

然而，一个过小的修订器反而可能损害性能，表明修订阶段若容量不足，不仅无法带来增益，还可能引入负面效应。其次，流水线性能对批评者（critic）的规模高度不敏感，即无论使用何种规模的批评模型，最终结果都相对稳定。但值得注意的是，即便只使用一个很小的批评者，其表现也始终优于完全省略批评环节，这说明批评步骤本身具有独立价值，其意义并不完全取决于批评者的强弱。这些消融式发现共同指向一个结论：自精炼各阶段对模型容量的需求存在显著差异，并非所有阶段都同等依赖大规模模型。这一结论直接挑战了将统一大模型部署于全流程的常见做法，为资源的差异化配置提供了坚实的实证依据。

从行业意义来看，本文的研究成果对开源社区与工业落地均具有指导价值。在资源分配层面，作者明确指出模型容量不应在自精炼流水线中均匀分配，而应依据各阶段的规模扩展特性进行非对称投放。这意味着实践者可以在批评阶段使用轻量模型以节省算力，同时将节省下来的资源投入到生成与修订这类对容量更敏感的阶段，从而在不牺牲甚至提升效果的前提下显著降低计算成本。对于构建大规模 LLM agent 的系统而言，这种精细化的容量分配策略有助于在有限预算下实现更好的整体性能。对后续研究而言，本文首次建立的逐阶段规模研究框架为理解多阶段语言模型系统提供了新的分析视角，启发研究者进一步探索不同阶段之间的交互效应以及更优的资源配置方案。总体而言，这项工作将模型规模从被忽视的实现细节提升为值得主动设计的核心变量，为设计计算效率更高的多阶段语言模型系统提供了清晰而实用的指导原则。