3DCodeVerse: 실행·검증 가능한 3D 코드 에이전트

배경

대규모 언어 모델은 웹 페이지나 스크립트는 잘 작성하지만, 3D 콘텐츠를 안정적으로 만들어 내기는 여전히 어렵습니다. 3D 장면은 코드가 실행되는 것만으로는 충분하지 않고, 공간적으로도 말이 되어야 합니다. 물체의 비율, 위치 관계, 방향, 의도하지 않은 겹침은 모두 기하 구조에 담겨 있어서 코드 텍스트만 읽어서는 옳고 그름을 판단하기 어렵습니다.

기존 방식은 크게 두 갈래입니다. 하나는 전용 모델링 소프트웨어와 폐쇄적인 형식에 의존하는 방식이고, 다른 하나는 이미지나 메시만 출력하는 방식입니다. 둘 다 생성 뒤에 수정하기도, 검사하기도 어렵습니다. 3DCodeVerse는 이 빈틈을 겨냥해 3D 콘텐츠를 코드로 다룹니다. 실행 가능한 프로그램은 편집과 재현이 가능하고 자동 검증도 할 수 있기 때문입니다.

3DCodeVerse란 무엇일까요? 코딩 에이전트가 편집 가능하고 검증 가능한 3D 콘텐츠를 대규모로 생성하도록 돕는 연구 생태계입니다. 독립 실행형 3D 프로그램 데이터셋 3DCodeVerse-2M, 멀티 에이전트 방향성 비순환 그래프(DAG) 프레임워크 3DCodeVerse Harness, 그리고 체계적인 실증 연구의 세 부분으로 이루어지며, 데이터에서 생성, 검증까지 이어지는 흐름을 한 번에 다룹니다.

심층 분석

먼저 데이터입니다. 3DCodeVerse-2M은 독립적으로 실행되는 3D 프로그램을 엄선한 대규모 데이터셋입니다. 출처는 세 가지입니다. 오픈소스 수집, 전용 3D 표현을 코드로 바꾸는 변환, 코딩 에이전트가 새로 생성한 프로그램입니다. 각 프로그램은 소스 파일과, 선언된 실행 환경에서 돌아가는 데 필요한 리소스를 함께 담고 있어 받자마자 실행할 수 있습니다.

각 샘플에는 활용 가능한 텍스트 설명과 검증 기록도 붙습니다. 설명은 언어와 동작하는 코드를 짝지어 주므로 학습에 쓰이고, 검증 기록은 샘플이 어떤 검사를 통과했는지 추적하게 해 줍니다. 다만 요약에는 출처별 비중이 나와 있지 않아, 세 출처가 각각 얼마나 되는지는 여기서 말할 수 없습니다.

검증이 실제로 작동하는 곳은 3DCodeVerse Harness입니다. 이 프레임워크는 세 가지 신호를 수정 루프에 연결합니다. 실행 검사는 프로그램이 돌아가는지 확인하고, 공간 측정은 크기와 위치 같은 기하 관계가 타당한지 확인하며, 시각 피드백은 렌더링 결과가 의도에 맞는지 판단합니다. 사람의 피드백 없이 생성 과정에서 프로그램을 스스로 평가하고 수정합니다. 검증을 사후 점검이 아니라 흐름 속의 고정 단계로 둔 점이 한 번에 끝내는 생성 방식과의 가장 큰 차이입니다.

산업 영향

실험은 두 갈래로 진행되었습니다. 첫째는 데이터의 가치입니다. 미세 조정한 오픈소스 모델로 기준선을 세웠고, 3DCodeVerse로 미세 조정하면 오픈소스 모델의 3D 코딩 능력이 크게 향상되었습니다. 병목의 일부가 모델 규모만이 아니라 데이터에 있음을 시사합니다.

둘째는 harness의 효과입니다. 쌍대 인간 평가에서 양쪽 모두 Claude Opus 5.5로 구동했을 때, 3DCodeVerse harness는 Claude Design(3D Object)을 상대로 90%의 승률을 기록했습니다. 두 쪽의 기반 모델이 같으므로 차이는 멀티 에이전트 분업과 자동 검증이라는 주변 설계에서 나옵니다. 저자들은 harness 구성 요소도 분석해 3D 프로그래밍의 실용적인 교훈을 정리했지만, 요약에는 구성 요소별 수치가 없어 어떤 모듈의 기여가 가장 큰지는 논문의 제거 실험 결과를 봐야 알 수 있습니다.

소스 파일, 리소스, 검증 기록을 갖춘 실행형 말뭉치는 오픈소스 연구자에게 귀합니다. 각자 데이터를 따로 모으지 않고 같은 기반에서 3D 코딩 모델을 학습하고 비교할 수 있습니다. 게임, 시뮬레이션, 디지털 트윈, 디자인 도구 현장에서도 코드 형태의 출력은 버전 관리, 매개변수 수정, 일괄 재사용, 자동 테스트 연동이 가능해 고정된 메시보다 쓸모가 큽니다.

전망

실행 검사, 공간 측정, 시각 피드백으로 이루어진 폐쇄 루프는 사람의 감독 없이 스스로 수정하는 재사용 가능한 방식을 보여 줍니다. 같은 발상은 CAD 스크립트나 로봇용 장면 생성처럼 결과가 실행되면서 기하학적으로도 맞아야 하는 인접 분야로 넓힐 수 있을 것입니다. 다만 이는 편집자의 추정이며 논문의 주장이 아닙니다.

한계도 눈여겨봐야 합니다. 90%의 승률은 특정 제품인 Claude Design(3D Object)을 상대로 한 쌍대 인간 평가에서 나왔고, 강력한 기반 모델 Claude Opus 5.5에 기대고 있습니다. 더 약한 모델이나 더 복잡한 장면에서 성능이 어떨지는 독립적인 추가 검증이 필요합니다.

다음 확인 지점은 분명합니다. harness 구성 요소별 기여를 제거 실험 표에서 확인하고, 미세 조정한 오픈소스 모델이 harness 안에서 최상위 모델과의 격차를 줄이는지 살피며, 다른 연구 그룹이 3DCodeVerse-2M을 공통 벤치마크로 채택하는지 지켜보면 됩니다. 데이터, 흐름, 교훈을 한자리에 모은 이 연구는 이 방향의 탄탄한 출발점이 되었습니다.