ReproBAIT：编码智能体能否自己重建生物AI工具

大语言模型越来越擅长调动科学知识和现有的计算工具，去完成复杂的工作流程。但有一个问题很少有人回答：当只给出一份有限的工具描述时，它们能不能自己把这个工具重新造出来？这篇论文就是要回答这个问题。作者提出了名为 ReproBAIT（Reproducing Biological AI Tools）的评测，专门衡量编码智能体（coding agent）能否设计、实现并训练取自已发表研究的生物 AI 工具。这件事和普通的代码生成基准很不一样。它要求智能体不只是写出能运行的程序，还要在固定的时间和算力预算内，把模型真正训练到可用的水平。论文的贡献可以概括为三点：第一，给出一套在不同信息获取条件下比较智能体复现能力的评测框架；第二，选取了复杂度各不相同的真实工具作为测试对象；第三，设计了检查记忆化（memorisation）的方法，因为开源工具很可能已经进入模型的预训练语料，如果不做这一步，高分就可能只是背诵的结果。在方法设计上，作者把智能体放进一个安全的沙箱，彻底切断互联网访问，这样它无法直接下载原始代码或权重。

智能体会拿到训练数据、一个固定的时间与算力预算，以及关于目标工具的有限信息。这些信息的多少是可以调节的，论文因此能够观察智能体在不同信息获取条件下的表现差异。智能体需要自己决定网络结构，写出数据处理与训练代码，并在预算内完成训练。评分不看代码写得像不像，而是把复现出的工具放到留出数据上，用该工具自己的专属指标来衡量表现。被测对象有三个。ProteinMPNN 是一个逆蛋白折叠工具，即根据给定的蛋白结构设计序列。RFdiffusion3 是全原子的生成式扩散工具，结构和训练都更复杂。第三个是闭源的分子设计工具，它几乎不可能出现在模型的训练语料里，因此可以作为对照，帮助区分真正的复现能力与记忆。

围绕记忆化，作者建立了专门的检查方法，用来判断智能体的表现是否与它见过原始实现的情形相一致。实验在一组领先的闭源与开源编码智能体上进行。总体结果是分层的。对于所选的一部分工具，智能体表现出相当可观的复现能力，说明在资料有限的情况下，它们已经能独立完成从设计到训练的完整闭环。但对于那个高度复杂的工具，复现能力明显有限，这提示当前智能体在面对更庞大的系统时，仍然会在设计、实现或训练预算的约束下掉队。在记忆化方面，作者发现了中等强度的证据，与记忆化相一致，并且不同智能体之间差异很大。需要注意的是，论文的措辞是证据与记忆化相一致，并没有宣称已经证实。也就是说，开源工具上的好成绩有一部分可能来自预训练时见过的内容，但这个比例并不统一。

闭源工具作为一个不会被记住的对照，使整个评估更有说服力，因为它能检验智能体在没有先验的情况下还剩多少真本事。摘要没有给出具体的分数，所以这里不做数字上的比较。这项工作的意义首先落在知识产权与安全治理上。作者明确指出，工具开发者在公开发布工具信息时需要越来越谨慎。原因很直接：如果一个智能体只靠公开的描述就能把工具重新做出来，那么这个工具的商业价值就可能被削弱。更严重的是，一些工具带有双重用途风险，开发者常用受控访问的方式来管理，一旦别人能依据公开信息自行复现，这类管理策略就可能失效。对开源社区来说，这篇论文提供了一个可复用的评测思路，可以持续追踪智能体自主研发生物 AI 工具的能力边界。对工业界来说，它提醒团队在论文、技术报告和文档里披露多少细节，应当被当作一个需要评估的风险决策。对后续研究来说，如何更可靠地区分复现与记忆、如何覆盖更多更复杂的工具，都是留给社区的开放问题。