3DCodeVerse：実行・検証できる3Dコード生成

背景と概要

大規模言語モデルはWebページやスクリプトを書く力を伸ばしてきました。しかし、三次元コンテンツを安定して書かせる作業は今も難題です。3Dシーンは、動くコードであるだけでは足りません。空間として筋が通っている必要があります。物体の比率、位置関係、向き、意図しない貫通は、形状の中に隠れています。コードの文面を読むだけでは、正しいかどうか判断しにくいのです。

従来の手法は二つに分かれます。専用のモデリングソフトと閉じた形式に頼る方法と、画像やメッシュだけを出力する方法です。どちらも、生成後に修正することも検査することも困難です。arXivで公開された3DCodeVerseの論文は、この空白を狙っています。3Dコンテンツを「コード」として扱うという発想です。実行できるプログラムなら、編集でき、再現でき、自動検証もできると考えます。

3DCodeVerseとは何でしょうか。コーディングエージェントが、編集可能で検証可能な3Dコンテンツを大規模に生成できるようにする研究エコシステムです。構成は三つです。単体で実行できる3Dプログラムのデータセット3DCodeVerse-2M、マルチエージェントの有向非巡回グラフ（DAG）フレームワークである3DCodeVerse Harness、そして体系的な実証研究です。データ、生成、検証までの一連の流れを、まとめて扱います。

深掘り分析

まずデータです。3DCodeVerse-2Mは、単体で実行できる3Dプログラムを厳選した大規模データセットです。収集元は三つあります。オープンソースの収集、専用の3D表現からコードへの変換、そしてコーディングエージェントによる新規生成です。各プログラムは、ソースファイルと、宣言された実行環境で動かすために必要なアセットをひとまとめにして提供されます。そのため、受け取ってすぐに実行でき、依存関係の不足で止まることがありません。

さらに各サンプルには、利用可能なテキスト説明と検証記録が付きます。説明文は言語と動作するコードの対応を与えるので、学習に使えます。検証記録は、そのサンプルがどの検査を通過したかをたどる手がかりになります。なお、要約には三つの収集元ごとの内訳が示されていません。そのため、構成比についてはここでは触れません。

検証が生成ループに入るのが3DCodeVerse Harnessです。3Dコンテンツの生成と改善を担う、マルチエージェントのDAGフレームワークです。修正のサイクルには三種類の信号が入ります。実行チェックは、プログラムが動くかを確かめます。空間計測は、寸法や位置などの幾何学的な関係が妥当かを調べます。視覚フィードバックは、レンダリング結果が意図に合っているかを判断します。人手のフィードバックは使わず、生成中にシステム自身が評価と修正を繰り返します。検証を後からの抜き取りではなく、工程の固定ノードに置いている点が、一発生成型の方式との大きな違いです。

業界への影響

実験は二本立てです。一本目はデータの価値を確かめるものです。ファインチューニングしたオープンソースモデルでベースラインを作ったところ、3DCodeVerseでの微調整により、3Dコーディング能力が大きく向上しました。課題の一部はモデル規模だけでなく、データにあることを示唆します。

二本目はharnessの効果です。ペアワイズの人手評価で、双方をClaude Opus 5.5で動かした場合、3DCodeVerse harnessはClaude Design（3D Object）に対して90%の勝率でした。この比較設計には意味があります。土台のモデルが同じなので、差は外側の工程設計から生まれます。つまり、マルチエージェントによる分業と自動検証そのものの効果です。著者らはharnessの各構成要素も分析し、3Dプログラミングの実践的な知見をまとめています。ただし要約には構成要素ごとの数値がないため、どのモジュールの寄与が最大かは、論文本文のアブレーション結果で確認する必要があります。

オープンソースの研究者にとって、ソース、アセット、検証記録がそろった実行可能なコーパスは貴重です。各チームがデータを個別に集めなくても、同じ土台で3Dコーディングモデルを学習し、比較できます。ゲーム、シミュレーション、デジタルツイン、設計ツールの現場にとっても、コード形式の出力には利点があります。バージョン管理ができ、パラメータで編集でき、まとめて再利用でき、自動テストにも組み込めます。固定されたメッシュにはできないことです。

今後の展望

実行チェック、空間計測、視覚フィードバックを組み合わせた閉ループは、人手の監督なしで自己修正する再利用可能な型を示しています。同じ考え方は、実行できて幾何学的にも正しいことが求められる隣接分野にも応用できそうです。たとえばCADスクリプトや、ロボティクス向けのシーン生成が考えられます。ただしこれは編集部の推測であり、論文の主張ではありません。

留意すべき限界もあります。90%の勝率は、特定製品であるClaude Design（3D Object）を相手にした、ペアワイズの人手評価の結果です。しかも強力な土台モデルであるClaude Opus 5.5に依存しています。より弱いモデルや複雑なシーンでharnessがどこまで通用するかは、独立した検証がさらに必要です。

今後の確認点は明快です。アブレーション表でharnessの各構成要素の寄与を見ること。微調整したオープンソースモデルをharness内で動かしたとき、先端モデルとの差が縮まるかを試すこと。そして、他の研究グループが3DCodeVerse-2Mを共通ベンチマークとして採用するかを見守ることです。データ、工程、知見を一か所にまとめて示した今回の成果は、この分野に確かな出発点を与えています。