OpenVLHarness：用持久多模态记忆与工具能力层增强视觉智能体

这篇论文要回答的问题很具体：多模态大模型在视觉推理上已经很强，为什么遇到一部分任务还是不行？作者的判断是，这些任务缺的不是思考时间，而是证据。有的需要精确的感知定位，有的需要外部知识，有的需要靠工具量出来的数值，这些东西光靠模型在脑子里推演，是推不出来的。作者做了一个对照研究来支撑这个判断：在 22 个基准上，只是把基座模型的推理预算加大，平均得分只有不大的提升。既然多想没有多大用，就得让模型去外面取证，而且取回来的证据要看得懂、留得住、算得了。基于这个思路，论文提出 OpenVLHarness，一套面向多模态推理的 harness。它的核心贡献不是某个新模型，而是一套围绕能力层和持久多模态记忆搭起来的运行框架，让模型在一次查询里反复完成获取证据、检查证据、组合证据这三件事。

技术上，框架由几块互相配合的部分组成。第一块是能力层。它把任务级的工具接口和证据渲染放在一起：前者让模型用统一的方式调用各种异构后端，后者负责把这些后端返回的原始输出转换成模型可以直接阅读的观察。这一点很关键，因为不同工具返回的东西差别很大，有图像，有结构化数据，有网页内容，如果原样塞给模型，模型往往读不懂，也容易被淹没。第二块是持久多模态记忆。每一次工具调用产生的图像、结构化数据和网页引用，都会被保存成可寻址的产物，并在整个查询过程中一直保留。模型后面的步骤可以按地址回头引用某张图或某张表，而不用把它们重新塞进上下文，也不会因为对话变长而丢掉早先的证据。

第三块是编码接口。模型可以生成程序，并让程序直接在记忆里存好的数据上运行，于是需要把多个工具结果合在一起做的计算，比如对不同来源的数值做比较或汇总，就能交给代码精确完成，而不是靠模型心算。三者合起来，形成一个不断迭代的循环：先取证，再检查，再用代码把证据拼成答案。实验部分的规模比较大。作者在 22 个基准上评测，覆盖八个开源和闭源的骨干模型。和配置相同、但不使用工具的基线相比，OpenVLHarness 的平均得分提高了 9.7 到 12.6 分。具体到单个模型，Qwen3-VL-8B 提高 11.2 分，Kimi K3 提高 9.7 分，GPT-6 Astra 提高 9.9 分。

这说明收益不只出现在某一类模型上，小参数的开源模型和强大的闭源模型都能受益。更值得注意的是成本对比：用 GPT-6 Luna 并把推理强度设在中等，OpenVLHarness 比三个对手都高，对手包括最高强度下的基座模型、Codex 和 Visual Sketchpad，领先幅度为 7.7 到 8.5 分，而模型 token 的花费最多只有它们的 37%。也就是说，把预算花在取证和组合证据上，比把预算花在更长的内部推理上划算得多，这与开头那个对照研究的结论互相呼应。摘要没有给出各组件的逐项消融数字，所以每个部分各自贡献多少，这里不做推断。从行业角度看，这项工作给智能体系统的设计提了一个很实在的方向：与其不断堆大模型的推理时长，不如把工程重心放在工具如何接入、结果如何呈现、证据如何保存上。对工业落地来说，这意味着可以用中等强度的模型，加上一套设计良好的 harness，在更低的 token 成本下拿到更好的效果，这对预算敏感的场景很有吸引力。从名字和定位看，它也面向开源社区，统一的工具接口和可寻址的记忆产物，让不同后端更容易被替换和扩展。对后续研究而言，持久多模态记忆这个思路提示了一类新问题：怎样组织和检索长流程里的图像与数据产物，怎样让代码与感知工具更紧密地协作，怎样在真实世界任务里衡量证据的质量。需要留意的是，摘要主要展示了平均得分和成本，对失败案例和各组件的独立贡献没有展开，后续工作还需要把这些补清楚。