OpenVLHarness: 멀티모달 메모리 기반 시각 에이전트

배경

OpenVLHarness 논문은 멀티모달 대형 모델이 시각 추론에서 빠르게 발전했는데도 풀지 못하는 작업이 남아 있다는 점에서 출발합니다. 저자들은 이런 작업에 부족한 것이 생각할 시간이 아니라 증거라고 봅니다. 정밀한 지각 위치 확인, 외부 지식, 도구로 직접 측정해야 하는 수치는 모델이 머릿속 추론만으로 만들어 내기 어렵습니다.

저자들은 이 판단을 22개 벤치마크의 대조 연구로 확인했습니다. 기반 모델의 추론 예산을 늘려도 평균 점수는 제한적으로만 올랐습니다. 내부 추론을 더 길게 해도 격차가 좁혀지지 않았다는 뜻입니다. 이 결과에서 나온 것이 OpenVLHarness입니다. 새 모델이 아니라 능력 계층과 지속적 멀티모달 메모리를 중심으로 짠 추론 프레임워크이며, 모델은 한 번의 쿼리 안에서 증거를 얻고, 살펴보고, 결합합니다.

심층 분석

능력 계층은 작업 단위 도구 인터페이스와 증거 렌더링을 결합합니다. 인터페이스는 이기종 백엔드를 같은 방식으로 호출하게 하고, 렌더링은 각 백엔드의 원시 출력을 모델이 읽을 수 있는 관찰로 바꿉니다. 도구마다 이미지, 구조화 데이터, 웹 내용처럼 출력 형태가 크게 달라서 이 변환이 필요합니다. 원시 출력을 그대로 넘기면 모델이 읽기 어렵고 맥락이 넘칠 수 있습니다.

지속적 멀티모달 메모리는 도구 호출에서 나온 이미지, 구조화 데이터, 웹 참조를 주소 지정 가능한 산출물로 저장합니다. 산출물은 쿼리 전체에서 유지됩니다. 그래서 뒤 단계에서 주소로 앞선 이미지나 표를 다시 불러 쓸 수 있고, 대화가 길어져도 초기 증거가 사라지지 않습니다. 코드 인터페이스는 모델이 생성한 프로그램을 저장된 데이터 위에서 실행하고 여러 도구의 결과를 합칩니다. 수치 비교나 집계는 모델의 암산 대신 코드가 맡습니다.

OpenVLHarness는 도구 없는 기준선보다 얼마나 좋아졌을까요? 22개 벤치마크와 오픈·클로즈드 백본 8개에서, 동일 설정의 도구 없는 기준선보다 평균 9.7~12.6점 높았습니다. Qwen3-VL-8B는 11.2점, Kimi K3는 9.7점, GPT-6 Astra는 9.9점 향상되었습니다. 작은 오픈 모델과 강력한 클로즈드 모델이 모두 이득을 봤으므로, 효과가 특정 모델 계열에 묶여 있지 않습니다.

산업 영향

비용 비교가 가장 눈에 띕니다. GPT-6 Luna를 중간 추론 강도로 쓰면 최고 강도의 기반 모델, Codex, Visual Sketchpad보다 7.7~8.5점 높았고, 모델 토큰 비용은 최대 37%에 그쳤습니다. 긴 내부 추론보다 증거 확보와 결합에 예산을 쓰는 편이 효율적이라는 뜻이며, 논문 첫머리의 대조 연구와 맞아떨어집니다.

에이전트 시스템을 만드는 팀에는 공학의 무게중심이 옮겨 갑니다. 도구를 어떻게 연결하고, 결과를 어떻게 보여 주고, 증거를 어떻게 저장할지가 핵심 질문이 됩니다. 통일된 도구 인터페이스와 주소 지정형 산출물은 백엔드 교체와 확장도 쉽게 만듭니다. 추론 비용이 빠듯한 팀에는 중간 강도 모델에 잘 설계한 harness를 얹는 방식이 현실적인 선택지입니다.

전망

아직 열린 질문이 있습니다. 제공된 요약에는 평균 점수와 비용만 있고 구성 요소별 제거 실험 수치는 없습니다. 능력 계층, 메모리, 코드 인터페이스가 각각 얼마나 기여하는지는 알 수 없고, 실패 사례도 설명되지 않았습니다. 이 글은 그 부분에 결론을 내리지 않습니다.

후속 연구 과제도 분명합니다. 긴 작업 흐름에서 이미지와 데이터 산출물을 어떻게 정리하고 검색할지, 코드와 지각 도구가 어떻게 더 긴밀히 협력할지, 실제 과제에서 증거의 질을 어떻게 잴지입니다. 실무자에게 당장의 교훈은 하나입니다. 최고 추론 강도에 비용을 쓰기 전에, 그 작업이 증거 부족 때문에 막힌 것은 아닌지 먼저 확인해 보라는 것입니다.