GB/T-Bench发布：多智能体框架填补国家标准文档审查基准空白，AI合规能力面临严峻考验

当前，大型语言模型在复杂专业任务中的应用日益广泛，但在规则密集型文档审查领域的表现尚未得到充分评估。国家标准文档，如中国的GB/T标准，具有篇幅长、结构高度规范且受明确规则约束的特点，包括范围界定、术语使用、规范性措辞及章节间的一致性要求。现有的基准测试主要关注领域知识和问答能力，往往忽视了专业文档内在质量的审查需求。这类审查传统上依赖人类专家，成本高昂且难以规模化扩展。为了填补这一空白，本研究引入了GB/T-Bench，这是首个专注于国家标准文档结构化审查的基准数据集。其核心贡献在于构建了GB/T审查分类体系，这是一个分层架构，涵盖了文档结构、范围一致性、规范情态、术语一致性和规范引用五个关键维度，并细分为25种可诊断的错误类型。

这一分类体系不仅为评估提供了细粒度的标准，也为后续的错误诊断和模型优化提供了明确的指导方向，使得机器能够像专家一样系统地识别和定位文档中的细微违规之处。在技术方法上，研究设计了一种可控的反例生成机制，结合了确定性规则与受限的大语言模型重写技术。该机制首先对488份真实的国家标准文档进行深度处理，通过注入特定的规则违反模式，生成了7306个可追溯的审查错误实例。这些实例不仅包含错误内容，还精确标注了错误位置、所属维度及具体类型，确保了评估的可解释性和可复现性。此外，研究提出了一种面向诊断的评估协议，要求模型在预测时必须精确匹配错误的位置、审查维度以及错误类型，并引入了文档级别的覆盖率指标，以全面衡量模型对文档整体质量的把控能力。为了进一步提升审查效果，作者开发了GB/T-Reviewer多智能体框架。

该框架将审查知识转化为专门的技能模块，包括全局检查、针对性诊断、规则扫描和结果验证。通过协调这些智能体的工作流，系统能够模拟人类专家的审查思维，先进行宏观结构把控，再深入微观细节诊断，最后通过规则扫描和交叉验证确保结果的准确性，从而有效提升了复杂规则文档的审查精度。实验部分在GB/T-Bench上对14种主流大语言模型进行了全面评估。结果显示，当前最强的大语言模型在综合匹配精度与覆盖率评分上仅为0.3280，而人类专家的平均得分高达0.6640，揭示了当前AI模型在专业文档审查任务中与人类专家之间存在巨大的性能鸿沟。这一差距主要源于模型对长上下文依赖、复杂规则逻辑以及细微语义差异的理解不足。为了缩小这一差距，研究应用了GB/T-Reviewer框架进行增强实验。

结果表明，通过多智能体的协作与技能协调，最佳模型的CMCS指标显著提升至0.5094。消融实验进一步证实，各个智能体模块在审查流程中发挥着不可替代的作用，特别是规则扫描和结果验证模块对于降低误报率至关重要。这些发现不仅量化了现有模型的局限性，也验证了结构化技能协调在规则密集型任务中的巨大潜力，为后续模型优化提供了明确的方向。这项研究对开源社区、工业落地及后续研究具有深远的意义。首先，GB/T-Bench作为首个此类基准，为学术界提供了标准化的评估工具，推动了大语言模型在专业文档处理领域的公平比较与进步。其次，GB/T-Reviewer框架展示了多智能体系统在复杂逻辑任务中的有效性，为工业界开发自动化文档审查工具提供了可行的技术路径，有望降低标准化工作的成本并提高效率。最后，该工作强调了可信AI在高风险文档领域的重要性，提醒研究者在追求模型性能的同时，需关注其可解释性、准确性及对领域规则的严格遵守。未来，这一框架可扩展至其他行业标准、法律法规或医疗指南等文档的审查，促进AI技术在更广泛的垂直领域落地，推动人机协作向更深层次发展。