弹性潜在循环（ELR）：同一个检查点，循环一次与同尺寸普通模型一样快，多循环几次就换来更高准确率

“循环式语言模型”的想法很直接：不是把几十层各自独立地堆起来，而是让一小块层重复使用多次，每多循环一次就多花一份推理算力。这样同一个检查点就能在速度与准确率之间调节，循环次数少就快，多就更准。但这个思路有个长期的尴尬：只循环一次时，模型通常明显不如同尺寸的普通非循环模型。论文 2610.12582 把这个差距称为“单循环税”，并指出一旦延迟要紧，人们只好另用一个非循环模型，循环模型的“一个检查点多种用法”也就失去了意义。论文提出的弹性潜在循环（Elastic Latent Recurrence，简称 ELR）想做的就是：一次循环的成本和准确率与同尺寸、同数据训练的普通模型相当，之后每多一次循环就用更多推理算力换更高的准确率。

作者认为有三个设计起作用。第一，带有可学习步长的门控状态更新，使每一轮是在已有状态上做受控的修改。第二，在同一次优化更新里混合不同的循环次数：每个微批次均匀采样一个循环次数，并通过所有循环做反向传播；为了不丢掉一次循环的准确率，还强制一部分数据并行的计算单元轮换着只做一次循环，使一次循环出现的概率约为三分之一，并且一次循环和多次循环的梯度会在同一次更新里被平均。第三，让每一轮以自己在循环中的进度和总预算为条件，这样同一块层在不同轮次里可以做不同的事。消融实验显示，常见的其他做法不能同时保住一次循环的准确率，前两项负责保住它，第三项则降低每增加一次循环后的损失。

论文也关心成本。其一，混合深度训练可以放到预训练最后四分之一再引入，估计只比基线多约 16% 的训练算力，如果在切换处加入零初始化的条件，这种后期方案的损失反而比一开始就混合深度训练更低。其二，在混合专家模型里，让后面的循环重复使用第一次循环已经选出的专家路由，可把混合深度的更新时间缩短 11.7%，而准确率没有可测的变化。其三，推理时标准做法要为每一次循环保存各自的注意力 KV 缓存，显存随深度增长。在后训练得到的 Koi-4B 里，六个注意力层中有三层位于循环块，所以四次循环需要一次循环的 2.5 倍 KV 内存，即每个 128K 词元请求 7.5 GiB 对 3.0 GiB（BF16）。改成只保留最后一次循环的 KV 缓存，不需要重新训练，就能把注意力 KV 内存固定在一次循环的水平，四次循环时分数相对按循环缓存只下降 0 到 3%。

主要结果如下。在 4B 稠密和 30B-A3B 混合专家混合模型上，ELR 一次循环时在十项任务平均上比匹配基线低 0.52 分和高 1.04 分，四次循环再分别多出 7.25 和 4.75 分；4B 模型上最大的单项收益是 GSM8K 提高 11.8 分和 MATH-500 提高 11.3 分，30B-A3B 上是 MMLU-Pro 提高 7.5 分和 GSM8K 提高 6.5 分。代价体现在延迟上：一次循环的前向每一层只执行一次，因此首词元时间和每词元解码延迟与非循环基线相同；每多一次循环只重复循环块，在 4B 上四次循环时首词元时间是基线的 2.33 倍，解码延迟是 2.06 倍；三次循环就能拿到一到四次循环收益的 96%，首词元时间为基线的 1.87 倍。把这套配方带进后训练，得到单个检查点 Koi-4B：一次循环的估计得分约 18，与 Qwen3.5-4B 相当，四次循环约 29，这里用的是人工分析智能指数 v4.1 的权重。

怎样读这些结果？首先，所有数字都来自论文自己的实验。作者在文中说明，Koi-4B 以及对照模型的分数都用的是自己的评测框架，而不是人工分析的官方数字，可能与已公布的数值不同，也没有同尺寸匹配的非循环模型可比。其次，“更多循环换更高准确率”并不是免费的：延迟、训练复杂度和部署侧的支持都要考虑，最后四次循环让首词元时间翻了一倍多。再次，论文的消融主要在较小的模型上做，能否推广到更大规模，需要后续验证。但如果你的产品既要低延迟的快速回答、又要在难题上多想几轮，这个“一个检查点、可调深度”的思路，比同时维护两个模型要吸引人得多。