HGM-Dual:让规划智能体的 Harness 学会看家谱、分两路改
这篇 arXiv 论文面向规划任务,提出 HGM-Dual 方法,用来自动优化冻结或闭源大模型外围的提示词、工具和工作流。它把演化历史整理成谱系感知上下文,并按错误条件生成一个通用子代和若干针对违反约束最多组件的专用子代。论文称,其 case accuracy 相对最强基线最多提升 14.45%,并能以少 2 到 4 倍的评估预算追平 HGM 各变体的最终性能。
这篇论文关注智能体的 harness 优化问题。所谓 harness,指围绕一个冻结或闭源大语言模型搭建的提示词、工具和工作流。模型权重改不了,能改的只剩这层外壳,所以 harness 优化成了提升智能体能力的一条现实路径。已有的代表性方法,如 Darwin-Godel Machine 和 Huxley-Godel Machine(HGM),依靠递归式自我改进,让智能体反复修改自己。这些方法主要在编程任务上发展起来,原因在于编程场景里有一个巧合:改进智能体所需要的能力,恰好就是被改进的那种能力。换到规划任务,这种对齐就破裂了。规划任务要求智能体给出一串工具调用,并让彼此相互作用的多个约束同时成立。在这类任务里,开放式的自我修改会一再探索无效的改动,白白消耗大量评估预算。作者因此提出 HGM-Dual,一个由诊断信息引导的框架,目标是让规划智能体的 harness 演化更省预算。
它有两个核心设计:把演化过程表示成带谱系信息的上下文,以及按错误类型生成双路径的子代。HGM-Dual 的第一个设计是 lineage-aware context,即谱系感知的上下文。传统做法常把历史上的智能体堆成一个没有结构的档案,交给编辑器自己去翻。HGM-Dual 改为显式记录每个祖先改了什么,哪些行为变好了,哪些行为变差了,以及哪些修改根本没有效果。这样编辑器拿到的是改动与结果之间的归因关系,能够看出哪类编辑有用,哪类只是白费力气,也就不会在同一条死路上反复尝试。第二个设计是 error-conditioned dual-path child generation,即按错误条件展开的双路径子代生成。对每个被选中的父代,系统生成两类子代。一类是 general child,保持开放式探索,不限定修改方向,保留发现意外改进的可能。另一类是 specialized children,针对父代违反次数最多、排名最靠前的那些约束,先判断 harness 中哪些组件最可能造成这些违规,再只对这些组件动手。
前者保证探索的广度,后者把有限的评估预算压在最可能见效的地方。两条路径合在一起,既不像纯粹的开放式自我修改那样漫无目的,也不会退化成只会局部打补丁的窄搜索。这里的关键在于,诊断信息来自父代自己的失败案例,而不是让编辑器凭空猜测该改哪里。在实验部分,论文以 case accuracy 作为核心指标,也就是在规划任务中,有多少个案例能够让全部约束同时被满足。对比对象包括最强的基线方法,以及 HGM 的多个变体。摘要给出了两组结论。第一组是最终效果:HGM-Dual 相对最强基线,case accuracy 最多提升 14.45%。这里的「最多」说明提升幅度随设置而变化,14.45% 是最好的一档,并不代表每个设置都能达到。第二组是预算效率:要追平 HGM 各变体的最终性能,HGM-Dual 所需的评估预算少 2 倍到 4 倍。
这一点对规划任务尤其重要,因为评估一个候选 harness 往往要把整批案例完整跑一遍,每个候选都很贵,省下的预算可以直接换成更多轮演化或更低的成本。需要说明的是,摘要没有列出具体的基准名称、所用的底层模型,也没有交代消融实验的细节。谱系上下文与双路径生成各自贡献了多少,读者需要回到原文去核对,不宜仅凭摘要下结论。从行业角度看,这项工作回答了一个很实际的问题:当模型本身是闭源或被冻结的,团队只能靠调整提示词、工具和流程来提升智能体,这个调整过程能不能做得更有章法、更省钱。论文的判断是,在编程任务上行得通的递归自我改进,不能原样搬到规划任务上,因为两者对能力的要求不再重合。这提醒工程团队,选择自动化优化方法时,要先看任务本身的性质。谱系感知上下文的思路也有通用价值:给编辑器一份带归因的修改历史,比丢给它一堆历史版本更容易让它学到有效的经验。双路径生成则提供了一种平衡探索与利用的朴素办法,即一部分子代保持开放,另一部分子代对准最突出的错误。对开源社区而言,这类方法可以作为构建可自我演化的智能体系统的参考,用在客服流程、行程安排、资源调度等需要同时满足多重约束的场景。对后续研究而言,值得继续追问的是:诊断信息能否更细致,谱系记录能否压缩而不丢失关键归因,以及这套思路在更长程的任务上是否依然成立。
Sources
FAQ
HGM-Dual 是什么方法?
HGM-Dual 是一篇 arXiv 论文提出的方法,用来自动优化冻结或闭源大模型外围的提示词、工具和工作流,面向规划任务。它把演化历史整理成谱系感知上下文,并按错误条件生成一个通用子代和若干专用子代。
为什么规划任务需要专门的 harness 优化方法?
规划任务要求多个相互作用的约束同时成立,开放式自我修改易反复尝试无效改动,浪费评估预算。论文称 HGM-Dual 的 case accuracy 相对最强基线最多提升 14.45%,且追平 HGM 变体所需评估预算少 2 到 4 倍。
阅读这篇论文时接下来该关注什么?
摘要没有列出具体基准名称、底层模型和消融实验细节,谱系上下文与双路径生成各自贡献多少仍不清楚。读者应回到原文核对这些内容,并关注诊断信息能否更细致、谱系记录能否压缩。