3DCodeVerse:把三維世界寫成可執行、可驗證的程式碼
3DCodeVerse 是一個讓程式設計智慧體大規模生成可編輯、可驗證 3D 內容的研究生態,包含三個部分。其一是 3DCodeVerse-2M,一個大規模、經過篩選的獨立可執行 3D 程式碼資料集,資料來自開源蒐集、專用表示轉換以及程式設計智慧體新生成,每個程式都附帶原始檔、執行所需資源、可用的文字描述和驗證紀錄。其二是 3DCodeVerse Harness,一個多智慧體有向無環圖框架,利用執行檢查、空間測量和視覺回饋,在生成過程中無需人工回饋就能自動評估並修訂程式。其三是系統性的實證研究,以微調後的開源模型建立基線,並透過對 harness 各元件的分析,提出 3D 程式設計的實用經驗。實驗顯示,在該資料集上微調能顯著提升開源模型的 3D 程式設計能力。在成對人工評測中,當雙方都由 Claude Opus 5.5 驅動時,3DCodeVerse harness 對 Claude Design(3D Object)的勝率達 90%。
过去几年,大模型写网页、写脚本的能力进步很快,但让它们稳定地写出三维内容仍然很难。原因不难理解:3D 场景不只是一段能跑通的代码,它还要在空间上说得通。物体的比例、位置关系、朝向、是否穿模,这些都藏在几何里,光看代码文本很难判断对错。已有的做法要么依赖专门的建模软件和封闭的格式,要么只能输出一张图或一个网格,生成之后既不好修改,也不好检查。3DCodeVerse 针对的就是这个缺口。论文把 3D 内容看成"代码",认为可执行程序天然可编辑、可复现,也可以被自动验证。作者因此提出一个完整的研究生态,包含三个相互配合的部分:大规模高质量的可执行 3D 代码数据集、一套负责空间推理与自动验证的编程 harness,以及一组面向实践的系统性经验研究。这样一来,社区得到的不是单个模型或单个数据集,而是一条从数据、生成到验证的完整链路。先看数据。作者构建了 3DCodeVerse-2M,一个大规模、经过筛选的独立 3D 可执行代码数据集。语料有三条来源:直接收集开源数据;把专用的 3D 表示转换成代码;让编程智能体生成全新的程序。
数据的组织方式很讲究。每个程序都连同源文件,以及在其声明的运行环境里执行所需的关联资源一起打包,因此拿到手就能运行,不会缺依赖。同时,样本还附带可用的文字描述和验证记录,既能用于训练,也能用于追溯质量。再看 harness。3DCodeVerse Harness 是一个多智能体的有向无环图(DAG)框架,专门负责生成与迭代改进 3D 内容。它把三类信号接进了修订循环:执行检查,确认程序能跑通;空间测量,检查物体的尺寸、位置等几何关系是否合理;视觉反馈,从渲染结果判断画面是否符合预期。整个生成过程不需要人工反馈,系统自己评估、自己修订,直到结果满足要求。把验证做成流程里的固定节点,而不是事后抽查,这是它与一次性生成方案最大的区别。实验分两条线。第一条线是数据的价值:作者用微调后的开源模型建立了基线,结果显示,在 3DCodeVerse 数据上微调,可以显著提升开源模型的 3D 编程能力。这说明瓶颈确实有一部分在数据,而不只是模型规模。
第二条线是 harness 的效果:在成对的人工评测中,当两边都由 Claude Opus 5.5 来驱动时,3DCodeVerse harness 对 Claude Design(3D Object)的胜率达到 90%。这个对比的设计值得留意,因为底层模型相同,差异就来自外围的流程设计,也就是多智能体分工与自动验证本身。此外,作者还对 harness 做了组件级分析,逐个考察各部分的作用,并据此总结出 3D 编程的实用指南。摘要没有给出更细的组件数字,所以具体哪一个模块贡献最大,要看正文的消融表格才能确认。可以肯定的是,这项工作把"怎么搭一个好用的 3D 编程智能体"从经验之谈变成了有实验支撑的结论。从行业角度看,这项工作的意义主要有三点。首先,对开源社区而言,一份带源文件、资源和验证记录的可执行语料很稀缺,它让研究者能在同一基准上训练和比较 3D 编程模型,而不必各自重新收集数据。其次,对工业落地而言,游戏、数字孪生、仿真和设计工具都需要可编辑的 3D 资产。代码形式的输出可以被版本管理、参数化修改、批量复用,也更容易接入自动化测试,这比只给一个不可改的网格实用得多。再次,对后续研究而言,执行检查加空间测量加视觉反馈的闭环,给"无需人工监督的自我修订"提供了一个可复用的范式,这个思路也可以迁移到 CAD、机器人场景生成等相邻方向。当然也要留意边界:90% 的胜率来自成对人工评测,对手是特定产品,并且依赖强大的底座模型,换到更弱的模型或更复杂的场景时效果如何,还需要更多独立验证。即便如此,3DCodeVerse 把数据、流程和经验放在一起公开讨论,为这个方向搭好了一个扎实的起点。
Sources
FAQ
3DCodeVerse 是什么?
3DCodeVerse 是一个让编程智能体大规模生成可编辑、可验证 3D 内容的研究生态,包含 3DCodeVerse-2M 数据集、多智能体 DAG 框架 Harness 和系统性实证研究。
3DCodeVerse Harness 为什么重要?
3DCodeVerse Harness 用执行检查、空间测量和视觉反馈自动评估并修订程序,无需人工反馈。双方都用 Claude Opus 5.5 时,它对 Claude Design(3D Object)的人工评测胜率达 90%。
接下来应该关注 3DCodeVerse 的哪些方面?
关注 90% 胜率的适用范围:它来自成对人工评测,对手是 Claude Design(3D Object),且两边都依赖 Claude Opus 5.5。更弱的模型或更复杂的场景表现如何,文章认为还需要更多独立验证。