HGM-Dual: 계보 인식 기반 계획 에이전트 Harness 최적화
Harness 최적화는 프롬프트, 도구, 워크플로를 개선해 고정되었거나 비공개인 대규모 언어 모델 기반 에이전트를 강화합니다. Darwin-Godel Machine과 Huxley-Godel Machine은 재귀적 자기 개선에 의존하며 주로 코딩 과제를 다룹니다. 계획 과제는 서로 영향을 주는 여러 제약을 동시에 만족해야 합니다. 개방형 자기 수정은 효과 없는 변경을 반복해 평가 예산을 낭비하기 쉽습니다. 이 논문은 두 가지 설계를 가진 HGM-Dual을 제안합니다. 첫째, 진화 과정을 계보 인식 컨텍스트로 표현해 조상의 변경, 행동의 개선과 퇴보, 효과 없는 수정을 기록합니다. 둘째, 오류 조건에 따라 이중 경로 자손을 생성합니다. general child는 열린 탐색을 유지하고, 여러 specialized children은 가장 많은 제약을 위반한 관련 구성 요소를 겨냥합니다. 결과적으로 HGM-Dual은 가장 강한 기준선 대비 case accuracy를 최대 14.45% 높였고, HGM 각 변형의 최종 성능을 2~4배 적은 평가 예산으로 따라잡았습니다.
배경
이 논문은 계획 에이전트의 harness 최적화를 다룬다. harness는 고정되었거나 비공개인 대규모 언어 모델 주위에 두른 프롬프트, 도구, 워크플로의 층이다. 모델 가중치를 바꿀 수 없으므로 팀이 손댈 수 있는 곳은 이 바깥층뿐이다.
대표적인 기존 방법은 Darwin-Godel Machine과 Huxley-Godel Machine(HGM)이다. 둘 다 재귀적 자기 개선에 의존한다. 에이전트가 스스로를 고치고 효과가 있는 변경만 남기는 방식이며, 주로 코딩 과제에서 발전했다. 코딩에서는 에이전트를 개선하는 데 필요한 능력과 개선 대상 능력이 같아서 수정 루프가 과제와 잘 맞물린다.
계획 과제에서는 이 정렬이 깨진다. 계획 에이전트는 도구 호출의 열을 만들어야 하고, 서로 영향을 주는 여러 제약이 동시에 성립해야 한다. 저자들은 이런 환경에서 개방형 자기 수정이 효과 없는 변경을 되풀이하고 평가 예산을 낭비한다고 본다. 그래서 진단 정보로 안내하는 HGM-Dual을 제안했다.
심층 분석
첫 번째 설계는 계보 인식 컨텍스트다. 기존에는 과거 에이전트를 구조 없는 보관소에 쌓아 두고 편집기가 알아서 뒤지게 했다. HGM-Dual은 각 조상이 무엇을 바꿨는지, 어떤 행동이 좋아졌고 나빠졌는지, 어떤 수정이 효과가 없었는지를 명시적으로 기록한다. 편집기는 변경과 결과의 연결을 보고, 이미 막힌 길을 다시 가지 않는다. 두 번째 설계는 오류 조건에 따른 이중 경로 자손 생성이다. 선택된 부모마다 두 종류의 자손을 만든다. general child는 수정 방향을 제한하지 않아 뜻밖의 개선을 찾을 여지를 남긴다. specialized children은 부모가 가장 자주 위반한 제약을 겨냥한다. 먼저 어떤 harness 구성 요소가 그 위반을 일으킬 가능성이 큰지 판단하고, 그 요소만 고친다.
HGM-Dual은 계획 harness에서 어디를 고칠지 어떻게 정할까? 부모 자신의 실패 사례에서 얻은 진단 신호로 정한다. 가장 많이 위반된 제약의 순위를 매기고, 원인일 가능성이 큰 구성 요소와 연결한다. 편집기가 추측하지 않으므로 한정된 평가 예산이 효과 가능성이 높은 수정에 쓰인다. 핵심 지표는 case accuracy, 곧 모든 제약이 동시에 만족된 계획 사례의 비율이다. 초록은 두 결과를 제시한다. 가장 강한 기준선 대비 최대 14.45% 높았고, HGM 각 변형의 최종 성능을 2~4배 적은 평가 예산으로 따라잡았다. '최대'라는 표현은 설정에 따라 폭이 달라진다는 뜻이다. 벤치마크 이름, 기반 모델, 절제 실험은 초록에 없어서 각 설계의 기여도는 본문에서 확인해야 한다.
산업 영향
비공개 모델 위에서 에이전트를 만드는 팀에게 이 논문은 구체적인 질문에 답한다. 모델이 고정되어 있을 때 프롬프트, 도구, 워크플로 조정을 더 체계적이고 싸게 할 수 있는가. 저자들의 판단은, 코딩에서 통하는 재귀적 자기 개선을 계획 과제에 그대로 옮길 수 없다는 것이다. 자동 최적화 방법을 고르기 전에 과제의 성격부터 봐야 한다.
예산 결과는 무게가 있다. 후보 harness 하나를 평가하려면 보통 사례 묶음 전체를 끝까지 돌려야 해서 후보마다 비용이 크다. 같은 최종 성능을 2~4배 적은 예산으로 얻으면 절약분을 더 많은 진화 라운드나 낮은 비용으로 바꿀 수 있다. 호출당 비용을 내는 팀에게는 차이가 곧바로 드러난다.
계보 아이디어는 이 논문 밖에서도 쓸모가 있다. 편집기에 옛 버전 더미 대신 귀인이 붙은 수정 이력을 주는 편이 낫다. 이중 경로는 탐색과 활용을 맞추는 단순한 방법이다. 일정 구성, 자원 배정, 상담 흐름처럼 제약이 얽힌 업무가 시험해 볼 만한 자리다.
전망
초록만으로도 열린 질문이 남는다. 진단 신호는 지금 가장 많이 위반된 제약과 관련 구성 요소를 가리킨다. 더 세밀해지면 한 구성 요소 안의 원인까지 가를 수 있을지 모른다. 또 진화가 길어질수록 계보 기록은 커진다. 핵심 귀인을 잃지 않고 압축할 수 있는지는 확인 가능한 자료에 나오지 않는다.
더 긴 과제에서도 방법이 통하는지, 제약을 자동으로 찾기 어려울 때 어떻게 동작하는지도 초록은 말하지 않는다. 이는 본문과 독립적인 재현으로 확인해야 한다. 실무자는 먼저 논문의 벤치마크 목록, 모델 선택, 절제 표를 읽는 것이 좋다.
최대 14.45% 향상과 2~4배 적은 평가 예산은 강한 신호지만 초록 수준의 보고다. 도입 전에 시험 환경이 자기 계획 업무와 닮았는지 확인하고, 예산 절감을 자기 사례로 직접 재 보아야 한다.
Sources
FAQ
HGM-Dual은 무엇인가요?
HGM-Dual은 arXiv 논문이 제안한 방법으로, 고정되었거나 비공개인 대규모 언어 모델 주변의 프롬프트, 도구, 워크플로를 계획 과제에서 자동으로 최적화합니다. 진화 과정을 계보 인식 컨텍스트로 정리하고 오류에 따라 general child 하나와 여러 specialized children을 생성합니다.
HGM-Dual은 계획 에이전트에 왜 중요한가요?
계획 과제는 서로 영향을 주는 여러 제약을 동시에 만족해야 하며, 개방형 자기 수정은 효과 없는 변경을 반복해 평가 예산을 낭비합니다. HGM-Dual은 가장 강한 기준선 대비 case accuracy를 최대 14.45% 높였고 HGM 변형의 최종 성능을 2~4배 적은 평가 예산으로 따라잡았습니다.
HGM-Dual 결과를 볼 때 무엇을 확인해야 하나요?
요약에는 구체적인 벤치마크 이름, 기반 모델, 소거 실험 세부 내용이 나와 있지 않습니다. 계보 인식 컨텍스트와 이중 경로 생성이 각각 얼마나 기여했는지 알 수 없으므로, HGM-Dual에 대한 결론을 내리기 전에 논문 본문을 확인해야 합니다.