OmniVerifier-C1:面向規則世界建模的分級視覺驗證器
傳統二元視覺驗證器只輸出 True/False,面對帶有多個組合要求的複雜提示時資訊量不足。OmniVerifier-C1 能自動把複雜提示詞或環境規則拆成細粒度子問題,再給出逐點的連續分數,讓批評訊號更豐富、更可解釋,並提升在域外多模態 critic 任務上的泛化。訓練採用 Decoupled RL,聯合優化子問題級二元判斷與全域對齊打分。實驗顯示,在文生圖場景中,逐點分級驗證器顯著優於二元驗證器。作者還把研究擴展到規則約束的生成式世界建模,從理論上證明有真值圖像時成對驗證比逐點驗證更準確,並在 Maze、Sudoku 等任務上得到驗證。結論是:從生成模型走向結構化世界建模智能體,關鍵在於準確的成對分級視覺驗證器。
这篇论文关注的是生成式视觉验证器(verifier)在复杂多模态场景中的鲁棒性问题。传统做法让验证器对一张图像只输出 True 或 False,这在提示词包含多个组合要求时信息量太少:一张图可能满足大部分要求,仍然被判为错误,训练信号也因此变得粗糙而稀疏。作者提出 OmniVerifier-C1,让验证器先把复杂的提示词或环境规则自动拆解成细粒度的子问题,再给出逐点(pointwise)的连续分数,从而提供更丰富、更可解释的批评信号。论文的核心贡献有三点:第一,分解式分级验证器的设计;第二,一种解耦的强化学习训练策略;第三,把研究从传统文生图推进到由明确规则约束的生成式世界建模,并从理论上比较了逐点验证与成对(pairwise)验证的差异。作者最终给出的判断是,生成模型要走向结构化的世界建模智能体,关键取决于是否有准确的成对分级视觉验证器。在方法上,验证器的输出是结构化的:先分解,再对每个子成分做判断,最后给出全局对齐分数。
训练使用 Decoupled RL,也就是把两个目标解耦后联合优化。一个目标是子问题级别的二元判断,它的奖励来自精确的局部反馈,用来培养细粒度的核查能力。另一个目标是全局对齐打分,它建立在局部判断可靠的基础上,因此连续分数不是凭空猜出来的,而是有局部证据支撑。这一设计的道理很直观:如果只用全局分数做奖励,模型很容易学会走捷径,给出看似合理却没有依据的数值;把局部判断单独拿出来监督,就等于逼迫模型真正去检查每一条要求。整个训练放在通用的强化学习框架下进行。在世界建模部分,生成模型被用来做世界模拟与世界推理,规则是明确给定的,比如迷宫的通行规则、数独的填数约束。
作者还从理论角度论证:当真值图像(ground-truth image)可用时,成对验证,即把候选图与参考图放在一起比较,比逐点打分能给出更准确的批评,因为参考图直接提供了锚点,减少了单图绝对打分的不确定性。实验分三层展开。第一层是传统文生图场景,作者在通用强化学习框架下做对比,结果显示逐点分级验证器显著优于二元验证器,说明连续、分解后的信号确实更适合作为奖励。第二层是泛化测试:结构化、可解释的输出提升了验证器在域外(out-of-domain)多模态 critic 任务上的表现,也就是说,分解能力不只对训练分布有效,还能迁移到没见过的评判任务。第三层是规则约束的世界建模,任务包括 Maze 和 Sudoku 等多种结构化任务,实验验证了成对验证范式的有效性,与前面的理论结论互相印证。需要说明的是,摘要没有给出具体的指标数值,所以这里只能转述结论的方向:分级优于二元,有真值图像时成对优于逐点。
读者若要引用具体提升幅度,应回到原文的表格核对。这样的实验设计也有一个好处,它把「分级是否有用」「分解是否泛化」「成对是否更准」这三个问题拆开,逐一回答,而不是只给一个总分。从行业角度看,这项工作把验证器从评测工具提升为训练与推理中的核心部件。对开源社区来说,分解加分级的思路很容易复用:任何带有多条件要求的生成任务,比如图像编辑、布局生成、带约束的场景合成,都可以用同样的方式把要求拆成子问题,得到更密的奖励信号。对工业落地而言,可解释的子问题判断让人能看到验证器究竟在哪一条要求上扣了分,便于调试和审计,这比一个黑箱的 True/False 更有价值。对后续研究,论文的结论指向一个具体方向:在有参考答案的结构化任务里,成对验证更准,因此值得投入资源构建高质量的成对分级验证器。同时也要看到局限:成对验证依赖真值图像,在开放式生成里未必能获得,这时仍需要逐点验证作为补充。总体来看,这篇论文为生成模型迈向遵守规则的世界模拟与推理,提供了一条以验证器为抓手的清晰路径。
Sources
FAQ
OmniVerifier-C1 是什么?
OmniVerifier-C1 是一种分级视觉验证器。它把复杂提示词或环境规则自动拆成细粒度子问题,再逐点给出连续分数,取代只输出 True 或 False 的二元判断,让批评信号更丰富、更可解释。
为什么分级视觉验证器比二元验证器更重要?
二元验证器对含多个组合要求的提示词信息量太少:一张图满足大部分要求仍可能被判错,训练信号因此粗糙稀疏。OmniVerifier-C1 的逐点连续分数让奖励更密、更可解释,文生图实验中明显优于二元验证器。
OmniVerifier-C1 之后还需要关注什么?
作者把方法推广到规则约束的世界建模,在 Maze、Sudoku 等任务上验证:有真值图像时,成对验证比逐点验证更准确。摘要未给出具体指标数值,引用提升幅度须回看原文表格。成对验证依赖真值图像,开放式生成中未必可得。