分子领域的既视感：前沿语言模型在回归基准中的逐字检索行为审计

在人工智能加速科学发现的背景下，大语言模型（LLMs）被广泛应用于分子性质预测等回归任务中。然而，当前的评估体系存在一个根本性的盲点：准确率指标无法有效区分模型是真正理解了分子结构与性质之间的物理化学规律，还是仅仅从训练数据中检索并复述了已发表的数值。这种"知其然不知其所以然"的现象严重影响了我们对模型科学推理能力的判断。本研究的核心贡献在于首次系统性地审计了22个前沿语言模型在12个分子回归基准上的行为，揭示了"逐字检索"现象的普遍性与隐蔽性。研究团队指出，许多模型的高准确率可能源于对训练语料中公开数据库的机械记忆，而非泛化能力的体现。

通过引入严格的审计机制，本研究旨在剥离记忆效应的干扰，还原模型在科学计算任务中的真实认知水平，从而为构建更可靠的科学AI评估框架奠定基础。这一工作不仅挑战了现有基准的有效性，也促使社区重新思考如何设计实验以验证模型是否具备真正的因果推理能力，而非仅仅是模式匹配专家。在技术方法层面，研究采用了多维度的审计策略来量化逐字检索行为。研究人员首先构建了包含12个不同分子回归基准的测试集，涵盖了从简单到复杂的多种分子性质预测任务。为了精确捕捉模型的内部行为，实验设计了两种不同层级的推理模式，并对比了在同一分子、同一提示词（prompt）条件下，模型在不同推理深度下的输出差异。

技术细节显示，研究通过检测模型输出是否与训练数据中的已知数值完全一致，来判定是否存在逐字检索。此外，研究还探索了通过变换输入表示（如使用变换后的SMILES字符串）来干扰模型检索机制的方法，以测试模型是否依赖特定的字符串匹配而非语义理解。实验发现，推理层级的提升显著改变了检索行为，高级推理过程似乎激活了更多的记忆检索路径，导致标记为逐字检索的比例大幅上升。这种技术路径不仅量化了检索的频率，还揭示了推理机制与记忆检索之间的复杂互动关系，为理解大模型在科学领域的认知机制提供了微观视角。实验设置涵盖了广泛的基准测试，关键结果揭示了检索行为的分布特征与影响因素。

审计结果显示，逐字检索现象并非均匀分布，而是具有强烈的基准特异性。在五个特定的数据集中，超过50%的模型表现出明显的逐字检索行为，而在其余数据集中，该现象仅出现在孤立的样本中。这一发现表明，某些基准可能更容易被训练数据覆盖，从而诱发模型的记忆效应。更引人注目的是，当实验从低级推理切换到高级推理时，同一组分子和提示词下的逐字检索标记率增加了89%。这一数据有力地证明了推理过程本身可能加剧对预存知识的依赖，而非促进逻辑推导。

此外，研究还发现，尽管最强模型在某些情况下仍能识别变换后的输入与原始标签的组合，但抑制检索行为后，不同模型间的预测误差在相对意义上变得更加接近。这意味着，虽然记忆数值导致了模型性能的表象差异，但在去除记忆干扰后，模型潜在的通用预测能力差异并未如预期那样巨大，暗示了当前基准可能高估了部分模型的泛化优势。这项研究对开源社区、工业落地及后续研究具有深远的意义。首先，它警示了科学AI领域在评估模型时不能仅依赖准确率指标，必须引入针对记忆效应的审计机制，以防止"虚假进步"。对于工业落地而言，特别是在药物发现和材料科学等高风险领域，依赖记忆而非推理的模型可能导致严重的预测偏差，因此需要开发更鲁棒的评估协议。其次，该研究为后续工作提供了新的方向，即如何设计抗记忆的基准测试，以及如何通过架构改进或训练策略来抑制不必要的检索行为，从而激发模型真正的推理潜能。最后，研究结论指出，通用预测能力并非仅由记忆数值决定，这为未来研究如何平衡记忆与推理提供了理论依据。通过深入理解这一"既视感"现象，社区可以构建更透明、更可信的科学AI系统，确保人工智能在解决复杂科学问题时的可靠性与可解释性，推动AI for Science向更深层次发展。