CPI-Bench：重构真实场景图像编辑评估体系，破解模型性能区分度难题

随着图像编辑模型的快速进步及其在各个领域的广泛应用，将这些模型能力直接部署到真实世界场景中的需求日益迫切。然而，现有的评估基准主要局限于简单的单图像任务，存在覆盖维度有限且无法有效区分不同模型性能的问题。这导致它们无法可靠地评估模型在复杂多图编辑、高要求推理指令以及实际部署设置下的表现。为了解决这些局限性，本文提出了 CPI-Bench，这是一个面向真实世界图像编辑的综合、实用且智能的基准。该基准旨在填补现有评估体系在复杂性和实用性方面的空白，通过引入更贴近实际应用场景的测试集，为研究者提供更具区分度和指导意义的评估工具，从而推动图像编辑技术从实验室走向实际应用的关键一步。这一研究不仅回应了工业界对模型实际落地能力的关切，也为学术界提供了更严谨的性能对比框架，使得不同架构和训练策略的模型能够在统一且更具挑战性的标准下接受检验，进而促进整个领域向更高水平的智能化和实用化方向发展。 CPI-Bench 的技术核心在于其精心设计的三个子集结构，每个子集都针对特定的能力维度进行深度挖掘。首先是 CPI-General-Bench，它全面覆盖了多样化的编辑任务，并开创性地引入了多图编辑评估，突破了传统单图评估的局限，能够测试模型在处理复杂视觉关系和多对象交互时的稳定性。其次是 CPI-Practical-Bench，该子集专注于高频的真实用户应用场景，模拟了用户在日常生活中可能遇到的具体编辑需求，如背景替换、对象移除或风格迁移等，强调模型在实际操作中的可用性和鲁棒性。最后是 CPI-Intelligent-Bench，它专门致力于评估高难度推理型编辑能力，要求模型不仅仅是执行简单的像素级修改，还需要理解复杂的语义指令并进行逻辑推理，例如根据上下文推断合理的编辑结果。这种分层设计使得基准能够全面捕捉模型在通用性、实用性和智能性三个维度的表现，避免了单一指标带来的偏差，为深入分析模型的优缺点提供了细粒度的数据支持。 在实验设置与关键结果方面，研究团队基于 CPI-Bench 对主流图像编辑模型进行了全面评估。结果显示，CPI-Bench 显著增强了模型之间的性能区分度，能够更清晰地揭示不同模型在通用编辑能力、实际部署效能以及高级推理编辑方面的差距。这种区分度的提升意味着该基准能够更准确地反映模型的真实水平，避免了以往基准中常见的"分数饱和"或"区分度不足"问题。更为重要的是，排名分析表明 CPI-Bench 与 Arena Image Edit Leaderboard 达到了最高的一致性。这一发现极具说服力，因为它表明 CPI-Bench 的评估结果能够忠实捕捉人类评估者的偏好和感知判断。作为真实用户体验的稳健代理指标，CPI-Bench 不仅验证了其自身的可靠性，也证明了其在预测模型实际用户满意度方面的有效性。这种与人类判断的高度对齐，使得 CPI-Bench 成为连接技术指标与用户感知的重要桥梁，为模型优化提供了直接且可靠的反馈信号。 CPI-Bench 的提出对开源社区和工业落地具有深远的行业意义。对于开源社区而言，它提供了一个开放、全面且贴近实际的评估标准，有助于研究者更公平地比较不同模型的性能，促进算法的透明化和可复现性。在工业落地方面，CPI-Practical-Bench 和 CPI-Intelligent-Bench 的设计直接回应了企业对模型实际部署能力的关切，帮助开发者识别模型在真实场景中的短板，从而有针对性地进行优化。此外，该基准对推理型编辑能力的强调，预示着图像编辑技术正从简单的像素操作向语义理解和逻辑推理转变，这一趋势将推动未来模型在更复杂任务上的突破。对于后续研究，CPI-Bench 不仅是一个评估工具，更是一个研究平台，它揭示了当前模型在多图处理和复杂推理方面的不足，为未来的研究方向指明了路径。通过提供可靠的量化指标和与人类偏好对齐的排名，CPI-Bench 有望成为图像编辑领域新的标准基准，加速该技术的成熟和应用普及。