IdeaAMBIG：揭示研究想法「说不清、做不出」的复现基准

这篇论文直击一个科研与工程交界处的痛点：许多研究想法在直觉上合理、在叙述上自洽，甚至看起来科学上完全可信，可一旦有人要真正把它写成代码，就会发现方法描述缺了关键一环。作者把这种现象精确地命名为 codification readiness 的缺失，也就是面向实现的规范没有提供足够的方法学信息，导致一个合格的实现者或编码智能体在构建目标方法时不得不依赖未经支持的假设。论文的核心贡献正是把这种模糊性从模糊的抱怨变成可量化、可评测的对象。作者从论文正文、代码库、GitHub issue 线程以及复现产物四类来源中，系统性地构建出有证据支撑的规范文本，以及与之对应的、被证据支持的实现方案，从而让每一个缺口都能被追溯、被验证。基于这些材料，作者推出 IdeaAMBIG 基准，共 660 个实例，其中 163 个来自真实复现报告和 GitHub issue 的真实缺口，497 个是通过向可实现参考注入而受控合成的缺口，兼顾真实性和可控性。这一设计让后续研究既能评估模型在真实模糊场景下的表现，也能在受控条件下检验特定类型的缺陷。

在技术方法上，作者把问题拆解为三项可评测的能力。第一项是 codification-readiness assessment，即判断一段规范是否已经足够清晰、足以被忠实实现。第二项是 defect localization，模型只拿到规范文本，需要自行定位其中哪些地方存在实现关键缺口，这里不预先告知缺陷位置。第三项是 clarification action generation，模型在已知缺陷的前提下生成澄清动作，也就是针对该缺口提出需要补充或澄清的具体信息。作者特别强调前两项与第三项的差异：defect localization 只给规范，clarification 则额外给出标注好的缺陷，因此可以单独衡量定位能力本身带来的影响。这种拆分非常关键，因为它让研究者能够看清模型究竟卡在发现问题上，还是卡在表达解决方案上。

整个评测框架建立在证据支撑的标注之上，每一个缺口和对应的澄清动作都有来自论文、代码或 issue 的证据背书，从而避免评测沦为对语言流畅度的打分。在实验设置与关键结果方面，论文在 13 个 LLM 上进行了系统评测，覆盖了真实缺口与合成缺口两类场景。最关键的一组对比极具说服力：在 163 个真实世界实例上，最强模型的可实现性缺陷恢复率 Macro Defect Recovery Rate 只有 9.6%，几乎接近于零；然而在已知缺陷的情况下，澄清动作的成功率 Macro Clarification Action Success Rate 却高达 80.6%。这一巨大落差直接指向结论：缺陷定位才是模型的主要瓶颈，而不是澄清能力本身。此外，论文还做了一组 oracle 研究，向下游流程提供 gold resolution，结果把下游的可实现率从 14% 一举提升到 98%。这个对比进一步说明，只要把缺失的关键信息补齐，复现的可行性就会发生质的飞跃。

消融层面的发现则集中在能力解耦上：当不预先给出缺陷时，模型的整体表现显著下降，证明定位环节是整个链条中最脆弱的一环。这些结果共同描绘出一幅清晰的图景，当前大语言模型在面对实现关键缺口时，最大的短板不是不会提出合理的澄清方案，而是根本无法准确找出问题究竟出在哪里。在行业意义与潜在影响方面，这篇论文的价值在于它把科研复现这一长期依赖人工经验的难题，转化为了一个可自动化评测的基准。随着编码智能体越来越多地承担把研究想法落地为代码的工作，codification readiness 实际上成为连接研究与工程的关键闸门。如果规范本身含糊，智能体要么陷入无休止的澄清循环，要么在未经支持的假设下生成看似合理却偏离原意的代码。IdeaAMBIG 为此提供了一个标准化的试金石，让研究者能够系统衡量模型在可实现性评估、缺陷定位和澄清动作生成三项能力上的真实水平。对于开源社区而言，这个基准鼓励研究者更认真地对待方法描述的完整性，也促使工具链在实现前主动检测缺口。对于工业落地而言，它提示团队在把研究转化为产品时，应当把证据支撑的实现规范作为一等公民。对于后续研究而言，论文揭示的定位瓶颈指明了明确方向，未来的工作可以更聚焦于如何让模型在只看到规范时更准确地发现实现关键缺口，从而真正提升从想法到代码的自动化复现能力。