OmniVerifier-C1: 규칙 세계 모델링용 단계별 시각 검증기

배경

OmniVerifier-C1은 생성된 이미지를 점검하는 단계형 시각 검증기입니다. 기존 이진 시각 검증기는 이미지를 보고 True 또는 False만 돌려줍니다. 조건이 하나뿐인 프롬프트에는 충분하지만, 여러 요구가 한꺼번에 얽힌 프롬프트에서는 정보가 거의 없습니다. 이미지가 대부분의 조건을 만족해도 오답으로 처리되기 때문에, 보상 신호는 거칠고 드문드문해집니다.

논문은 다른 설계를 내놓습니다. OmniVerifier-C1은 복잡한 프롬프트나 환경 규칙을 세분화된 하위 질문으로 자동 분해하고, 단일 판정 대신 항목별 연속 점수를 매깁니다. 저자들은 이렇게 하면 비평 신호가 풍부해지고 해석도 쉬워진다고 말합니다. 도메인 밖 멀티모달 critic 과제에서의 일반화도 좋아졌다고 보고합니다.

기여는 세 가지입니다. 분해형 단계 검증기 자체, Decoupled RL이라는 학습 방식, 그리고 텍스트-이미지 생성에서 규칙 제약이 있는 생성형 세계 모델링으로의 확장입니다. 확장 부분에서는 항목별 검증과 쌍별 검증을 이론적으로 비교합니다.

심층 분석

OmniVerifier-C1의 Decoupled RL은 무엇일까요? Decoupled RL은 두 목표를 함께 최적화하는 학습 방법입니다. 하나는 각 하위 질문에 대한 이진 판단이고, 다른 하나는 이미지 전체의 정렬 점수입니다. 두 목표를 분리하면 각각 자기 보상을 받으면서도 동시에 학습됩니다. 하위 질문 목표는 정밀한 국소 피드백으로 보상을 받아 세밀한 점검 능력을 키웁니다. 전체 점수는 믿을 만한 국소 판단 위에 놓이므로, 연속 숫자가 추측이 아니라 근거를 갖습니다. 전체 점수만으로 보상하면 모델이 지름길을 배워 그럴듯한 숫자를 내놓을 수 있습니다. 하위 질문을 따로 감독하면 모델이 모든 요구를 실제로 확인하게 됩니다.

세계 모델링 부분은 규칙이 명확한 환경에 같은 발상을 적용합니다. Maze의 이동 규칙과 Sudoku의 숫자 배치 제약이 예입니다. 저자들은 정답 이미지가 있을 때 쌍별 검증이 항목별 검증보다 정확하다고 이론적으로 증명합니다. 후보 이미지를 참조 이미지와 나란히 비교하면 참조가 기준점 역할을 해서, 한 장을 절대 점수로 매길 때 생기는 불확실성이 줄어듭니다. 실험은 세 질문에 따로 답합니다. 텍스트-이미지 생성에서는 항목별 단계형 검증기가 이진 검증기를 크게 앞섭니다. 도메인 밖 critic 과제에서는 구조화된 출력이 성능을 높입니다. Maze, Sudoku 등에서는 쌍별 방식의 유효성이 확인되어 이론과 맞아떨어집니다. 다만 요약에는 구체적인 지표 수치가 없으므로, 이 글은 결과의 방향만 전합니다. 개선 폭은 원문 표에서 확인해야 합니다.

산업 영향

이 연구는 검증기를 평가 도구에서 학습과 추론의 핵심 부품으로 끌어올립니다. 오픈소스 쪽에서는 분해한 뒤 채점하는 방식을 재사용하기 쉽습니다. 이미지 편집, 레이아웃 생성, 제약이 있는 장면 합성처럼 조건이 여럿인 작업은 요구를 하위 질문으로 쪼개 True 또는 False보다 촘촘한 보상을 얻을 수 있습니다.

실무에서는 하위 질문별 판단을 열어 볼 수 있다는 점이 중요합니다. 어느 요구에서 점수가 깎였는지 보이므로 디버깅과 감사가 쉬워집니다. 블랙박스 이진 판정으로는 얻을 수 없는 시야입니다. 강화학습으로 이미지 생성기를 훈련하는 팀에는 점수의 이유를 설명하는 검증기가 더 믿을 만하고 고치기도 쉽습니다.

한계도 있습니다. 쌍별 검증은 정답 이미지가 필요한데, 열린 형태의 생성에는 정답이 없는 경우가 많습니다. 그때는 항목별 검증이 보완책으로 남아야 합니다.

전망

저자들의 결론은 분명합니다. 생성 모델에서 구조화된 세계 모델링 에이전트로 나아가려면 정확한 쌍별 단계형 시각 검증기가 핵심이라는 것입니다. 규칙을 따르는 시뮬레이션과 추론의 중심에 생성기만이 아니라 검증기를 놓는 주장입니다.

열린 질문도 남습니다. 이득이 분해에서 얼마나 오고 연속 점수에서 얼마나 오는지, 규칙이 모호하거나 매우 길 때 하위 질문 생성이 얼마나 버티는지, 근사 참조만 있을 때 쌍별 우위가 유지되는지입니다. 요약은 이 부분을 다루지 않으므로 전체 논문이 필요합니다.

실용적인 다음 걸음은 단순합니다. Maze나 Sudoku처럼 참조 이미지가 있는 규칙 과제는 쌍별 단계 검증을 먼저 시험할 수 있습니다. 열린 텍스트-이미지 생성은 항목별 단계 검증을 지금 도입할 수 있습니다. 두 길 모두 요구를 작은 점검으로 쪼개고, 각각 채점하며, 모든 부분에 정직한 검증기를 훈련한다는 같은 발상에 기댑니다.