前沿语言模型复制困境：为何二维位置编码能突破一维局限

大语言模型在数学推理、代码生成等高级认知任务中展现出惊人的能力，然而本文发现了一个令人惊讶的短板：即使是当前最先进的前沿模型，在面对简单的字符串复制任务时也常常失败。具体而言，当要求模型精确复制输入字符串中位于其上下文窗口内的部分时，模型往往无法准确执行这一操作。这一现象并非由于模型能力不足或上下文窗口限制，而是根植于Transformer架构的核心设计。研究团队深入分析后指出，传统的一维位置编码存在特定的归纳偏置，这种偏置使得模型在处理复制任务时，倾向于寻找局部上下文的相似性作为捷径，而不是真正理解并定位输入文本的绝对位置。这种机制导致模型在长距离依赖或精确复制任务中表现不佳，因为局部匹配无法保证全局位置的准确性，从而引发了复制错误。这一发现挑战了人们对大模型通用能力的认知，表明其在基础序列操作上的脆弱性可能比预想的更为严重，亟需从架构层面进行反思与改进。

为了解决这一根本性问题，作者提出了一种名为2D-RoPE的新型位置编码方法。该方法的核心思想是将传统的文本一维序列重构为二维网格结构。在这种新的表示方式下，每个词元不再仅拥有一个线性位置索引，而是被分配了行ID和列ID两个坐标维度。通过这种二维视角的转换，复制任务的本质发生了改变：它不再是一个需要复杂位置推理的序列匹配问题，而简化为在固定列偏移量下检索输入词元的操作。例如，如果复制目标位于输入序列的特定列，模型只需关注对应行在偏移列上的词元即可。这种结构化的表示极大地降低了任务的学习难度，因为固定偏移的检索模式符合神经网络中注意力机制的自然偏好。

2D-RoPE保留了旋转位置编码（RoPE）的良好特性，同时通过引入二维坐标空间，使得模型能够更直观地捕捉到复制任务所需的几何关系，从而在理论上和实践中都展现出更强的位置感知能力。在实验验证部分，研究团队首先在合成复制任务上进行了详细评估。结果显示，采用2D-RoPE的浅层Transformer模型在输入长度达到训练时数百倍的情况下，依然能够实现完美的复制准确率，而使用标准一维位置编码的模型则在长序列上表现急剧下降。这一对比鲜明地证明了2D-RoPE在长距离位置建模上的优势。为了进一步验证该方法在真实大规模预训练中的有效性，作者将2D-RoPE应用于DCLM（Data Compilations for Language Models）数据集上的预训练实验，模型规模最高达到1.4B参数。实验结果表明，即使在大规模预训练场景下，采用2D-RoPE的语言模型在复制任务上的表现依然显著优于基线模型，且这种优势具有持续性。

消融实验进一步确认，二维坐标的引入是性能提升的关键因素，而非其他超参数调整的结果。这些结果不仅证实了2D-RoPE在特定任务上的有效性，也暗示了其在更广泛语言建模任务中的潜在价值。这项研究对自然语言处理领域具有重要的理论意义和工业应用价值。首先，它揭示了当前主流Transformer架构在基础序列操作上的局限性，提醒研究者不能仅关注高级推理能力，而忽视模型对基本位置信息的处理能力。其次，2D-RoPE的提出为位置编码的设计提供了新的思路，即通过改变文本的拓扑结构来简化特定任务的学习难度，这一理念可能适用于其他需要精确位置感知的任务，如代码补全、文档检索或长文本摘要。对于开源社区而言，2D-RoPE作为一种轻量级的修改方案，易于集成到现有框架中，可能迅速引发后续研究对二维位置编码的探索。在工业落地方面，提升模型的复制和精确引用能力有助于增强AI助手在事实核查、代码生成等场景下的可靠性。未来，随着对位置编码机制理解的深入，二维或多维表示可能成为下一代语言模型架构的重要组成部分，推动大模型向更精准、更可控的方向发展。