4DCodeBench: 동적 장면의 역그래픽스로 에이전트를 평가하다

4DCodeBench는 코드 생성을 통해 4D 역그래픽스를 평가하는 새로운 벤치마크입니다. 여기서 4D는 3차원 공간에 시간을 더한 것을 뜻합니다. 과제는 간단합니다. 에이전트는 영상을 받아 실행 가능한 그래픽스 프로그램을 작성합니다. 이 프로그램을 실행하면 영상 속 장면의 구조와 움직임이 재현되어야 합니다. 일반적인 영상 이해 벤치마크와는 다릅니다. 정답은 설명문이나 라벨이 아니라 코드입니다. 코드는 실행하고 검사할 수 있으며 원본 영상과 프레임 단위로 비교할 수 있습니다. 그래서 평가를 얼버무리기 어렵습니다. 배경을 짚어 보겠습니다. 순방향 그래픽스는 장면 설명에서 이미지를 만듭니다. 형상, 재질, 조명, 물리 법칙이 주어지면 렌더러가 픽셀을 출력합니다. 역그래픽스는 반대로 이미지에서 장면 설명을 복원합니다. 기존에는 미분 가능 렌더링, NeRF, 가우시안 스플래팅이 주로 쓰였습니다. 이 방법들은 사람이 읽거나 고치기 어려운 방대한 파라미터를 내놓습니다. 4DCodeBench는 다른 길을 택했습니다. 간결한 프로그램 형태의 표현을 요구합니다. 에이전트는 시각적 관찰을 장면 구조와 동역학의 추상으로 옮겨야 합니다. 필요하면 물리 시뮬레이션 같은 추상을 직접 구현해 복잡한 거동을 재현합니다. 즉 무엇이 보이는지가 아니라, 왜 그렇게 움직이는지를 이해했는지를 묻습니다.

데이터에 관해, 논문 초록에 따르면 저자들은 실제 영상을 모으고 다양한 물리 현상을 담은 합성 장면을 구성했습니다. 현상에는 변형, 유체 흐름, 파괴가 포함됩니다. 두 데이터는 역할이 다릅니다. 실제 영상은 잡음, 가림, 복잡한 배경 속에서의 일반화 능력을 시험합니다. 합성 장면은 통제된 정답을 제공합니다. 설계자는 물리 파라미터와 생성 프로그램을 알고 있으므로 모델이 어디에서 틀렸는지 정확히 짚을 수 있습니다. 세 현상의 선택도 의도적입니다. 변형은 탄성, 유체는 연속체 역학, 파괴는 불연속적 붕괴에 대응합니다. 수치 기법, 파라미터의 의미, 시각적 특징이 크게 달라서 하나의 요령으로 모두 해결하기는 어렵습니다.

평가 절차는 초록에 설명되어 있지 않습니다. 다음 내용은 이런 유형의 과제에 대한 일반적인 추론이므로 정확한 내용은 본문을 확인하십시오. 전형적인 흐름은 이렇습니다. 영상을 관찰하고, 장면과 물리 가설을 세우고, 그래픽스 코드를 쓰고, 실행해 렌더링을 얻고, 목표와 비교하고, 차이에 따라 코드를 고칩니다. 비교는 프레임별 외형 유사도와 프레임 간 시간적 일관성을 볼 수 있습니다. 외형은 주로 정적 복원을 반영하고, 시간적 일관성에서 동역학이 드러납니다. 각 단계가 실패할 수 있습니다. 물리 모델을 잘못 고르거나, 파라미터 규모가 틀리거나, 시간 간격 때문에 시뮬레이션이 발산하거나, 코드가 아예 실행되지 않을 수 있습니다.

핵심 발견은 초록에 적혀 있습니다. 저자들은 최전선 모델을 폭넓게 평가했고, 강한 정적 복원 능력이 아직 복잡한 동적 장면의 신뢰할 만한 복원으로 이어지지 않는다고 결론지었습니다. 시사하는 바가 큽니다. 모델은 물체, 재질, 카메라를 제대로 배치하고도 알맞은 물리 메커니즘을 고르고, 파라미터를 추정하고, 시간에 따라 올바르게 적분하는 데는 실패할 수 있습니다. 정적 장면은 정교한 무대 세트와 같고, 동적 장면은 인과를 이해해야 합니다. 초록에는 구체적인 점수가 없으며, 이 글도 수치를 지어내지 않습니다. 모델별 순위와 현상별 격차는 논문과 공개 벤치마크 페이지에서 확인하십시오.

비용과 지연도 초록에 없습니다. 아래는 합리적 추측입니다. 코드 생성, 시뮬레이션 실행, 여러 차례의 수정이 쌓이므로 총비용은 반복 횟수에 따라 늘어납니다. 유체와 파괴 시뮬레이션은 계산 비용이 들고, 에이전트가 시도할 때마다 프로그램을 실제로 실행합니다. 이 벤치마크로 시스템을 비교할 때는 최종 점수와 함께 반복 횟수, 토큰 사용량, 시뮬레이션 시간도 보고해야 합니다. 그렇지 않으면 더 강하다는 말이 단지 예산이 더 크다는 뜻일 수 있습니다. 개발자와 기업에게는 세 가지 의미가 있습니다. 첫째, 프로그램 표현은 편집과 재사용이 가능하고 물리 엔진에 연결할 수 있습니다. 디지털 트윈, 로봇 시뮬레이션, 게임과 영상 효과, 과학 시각화에 쓸모가 있습니다. 영상에서 조정하고 다시 실행할 수 있는 시뮬레이션 스크립트를 얻는다면, 속을 알 수 없는 가중치 덩어리보다 훨씬 유용합니다. 둘째, 월드 모델을 검증하는 또 다른 방법이 됩니다. 물리를 이해하는지는 실행되고 일치하는 시뮬레이션을 쓸 수 있는지로 확인할 수 있습니다. 셋째, 벤치마크가 공개되어 있어 커뮤니티가 같은 잣대로 진전을 추적할 수 있고, 병목이 지각, 계획, 코딩, 물리 지식 중 어디인지 가려내기 쉽습니다.

한계도 분명합니다. 초록의 정보는 제한적이므로 채점 기준, 대상 모델, 과제 규모는 본문에서 확인해야 합니다. 외형이 비슷하다고 물리적으로 옳은 것은 아닙니다. 서로 다른 프로그램이 비슷한 영상을 만들 수 있고, 지표는 우연한 일치와 진짜 이해를 구분해야 합니다. 합성 장면과 실제 영상 사이에는 차이가 있어 한쪽의 향상이 다른 쪽으로 이어지지 않을 수 있습니다. 또한 사용하는 그래픽스 라이브러리와 시뮬레이터에 따라 결과가 달라지고, 특정 라이브러리에 대한 숙련도가 점수에 섞일 수 있습니다. 앞으로는 시뮬레이터 피드백으로 스스로 수정하는 에이전트, 물리 프로그램 합성에 맞춘 학습 데이터, 미분 가능 물리와 코드 생성의 결합, 파라미터 추정을 위한 더 엄격한 지표가 주목할 방향입니다. 4DCodeBench의 가치는 동적 세계를 이해하는 일을 실행하고 채점할 수 있는 공학 문제로 바꾼 데 있습니다. 오늘의 최전선 모델에게는 이 길에서 아직 뚜렷한 거리가 남아 있습니다.