DPT：用路径多样性破解并行思考的模式坍塌

并行思考（parallel thinking）近来被视为提升大语言模型推理能力的一条新路径：模型不再沿着单一思维链一路写到底，而是同时展开多条推理路径，再把各路结果汇总成最终答案。这样做的初衷很朴素，就是同时保留多个假设，避免过早押注在某个次优解上。可是这篇论文指出，用强化学习（RL）训练并行思考时，会出现一个被忽视的问题：推理路径的模式坍塌。训练久了，原本应该各走各路的几条并行轨迹会逐渐趋同，写出来的东西越来越像。路径一旦同质化，并行就只剩下算力上的重复，多假设并存的价值也就消失了，这与并行思考的根本动机是相悖的。针对这一问题，作者提出了 Diverse Parallel Thinking，简称 DPT。它是一种简单而有效的强化学习方法，核心想法是在奖励中显式鼓励路径多样性，让模型学会发展出彼此不同的推理策略，从而更全面地探索推理空间。论文的主要贡献可以概括为三点：第一，指出并刻画了并行思考在RL训练中的路径模式坍塌现象；第二，给出一个基于前缀相似度惩罚的多样性奖励设计；第三，在多个推理基准上验证了路径多样性确实是提升并行思考的关键要素，并公开了代码。DPT 的方法本身并不复杂，这也是论文强调简单而有效的原因。它建立在已有的并行思考强化学习框架之上：模型针对同一个问题一次性生成多条并行的推理路径，最后整合出答案，整个过程用RL来优化。DPT 在这个框架里加入了一项关键的奖励塑形，即对并行路径之间的前缀相似度进行惩罚。

直觉上，一条推理路径走向何方，往往在开头几步就已经定了：先设什么变量、选哪种解法、从哪个角度切入。如果几条路径的开头几乎一样，后面再怎么展开也多半是同一思路的变体。因此作者没有去比较整条路径的最终文本，而是盯住前缀，让相似的开头付出代价，迫使模型在起步阶段就选择不同的策略。这样设计有两点好处：一是信号出现得早，能直接作用于分叉点；二是它不依赖额外的人工标注或外部多样性评判模型，可以自然地嵌入现有的RL训练流程。需要说明的是，摘要没有披露相似度的具体度量方式、惩罚系数以及与答案正确性奖励的组合细节，这些要以论文正文和开源代码为准。读者可以把 DPT 理解为在答对这个目标之外，再加一条别和兄弟路径长得一样的约束。在实验部分，作者在多个推理基准上做了各类实验与分析，用来检验 DPT 的有效性。从摘要给出的结论看，DPT 的表现超过了此前的并行思考方法，在对比的基线之中取得了当前最好的成绩。摘要没有给出具体的基准名称和提升幅度，所以这里不宜妄加数字，具体对比请参考原文表格。除了主结果，论文更看重的是分析：作者希望回答的并不只是分数有没有涨，而是涨分是不是确实来自路径多样性。为此，他们围绕路径多样性做了专门的验证，并得出结论，路径多样性是提升并行思考的一个关键要素。

这一点很重要，因为很多方法的提升可能来自训练技巧或更多的算力，而这项工作试图把增益归因到一个可解释的因素上。换句话说，实验既要证明 DPT 比基线强，也要说明基线的问题确实出在模式坍塌上，两者合在一起，论证链条才算完整。同时，作者公开了代码，仓库地址在摘要中已经给出，研究者可以复现实验，进一步查看相似度惩罚的实现、训练配置以及在不同基准上的表现，也能在此基础上做更细的消融。对于想把并行思考落地的团队，这些细节往往比一个汇总分数更有参考价值。从行业角度看，这篇论文的价值在于提醒我们：并行推理的并行二字不会自动带来多样性。工业界在做测试时扩展（test-time scaling）时，常常默认多开几条路径就能获得更好的覆盖，但如果训练过程本身让这些路径趋同，多出来的算力就被浪费了。DPT 给出了一个低成本的修正思路，只需在奖励里加入对前缀相似度的惩罚，不需要重新设计模型结构，因此对已经在做RL推理训练的团队来说，接入门槛较低。对开源社区而言，代码公开意味着可以直接复现，也方便与其他并行思考方案做公平比较。对后续研究来说，至少有几个方向值得追问：除了前缀相似度，是否还有更贴近语义的多样性度量；多样性与正确性之间如何权衡，过度追求不同会不会牺牲质量；这一思路能否推广到智能体的规划、代码生成等需要多假设探索的场景。当然，也要保持审慎：摘要只说明了在若干推理基准上有效，是否能泛化到更开放的任务，还需要更多独立验证。无论如何，把路径多样性从隐含假设变成可度量、可优化的训练目标，这个视角本身就值得关注。