对抗语用学：重构大模型安全评估的底层逻辑与分类体系

当前大语言模型的安全评估正面临一个日益严峻的挑战：如何准确解读和处理自然语言中的模糊行为。随着模型能力的提升，评估不再仅仅关注模型是否执行了指令，更在于判断其是否恰当遵循了安全策略、抵抗了隐含命令或在多轮代理任务中如实报告进度。然而，现有的主流基准测试往往将这些复杂的语义细微差别简化为非黑即白的"通过"或"失败"标签。这种简化的处理方式掩盖了失败背后的真实原因，使得研究人员难以区分模型失败是由于底层能力不足、安全策略本身的模糊性、指令之间的内在冲突，还是评估器自身判断的不稳定。针对这一痛点，本研究提出了"对抗语用学"（Adversarial Pragmatics）这一全新的评估框架，旨在通过精细化的语言学视角，深入剖析模型在复杂语境下的行为逻辑，为构建更可靠的安全评估体系奠定理论基础。在技术方法层面，本研究并未止步于提出概念，而是构建了一套严密的方法论体系。

核心贡献包括一个语言学控制的分类法，该分类法细致地涵盖了指令冲突、隐含命令、引语、范围歧义、指示词、间接言语行为以及多轮代理转录等关键语用学维度。为了落地这一分类法，作者开发了一个包含18个项目的种子基准测试，并辅以54行的本地种子试点数据，确保了评估样本的多样性和可控性。更为关键的是，研究设计了一套专家评估协议，该协议强制要求对元数据进行验证，并明确区分五个维度的评估结果：任务成功与否、策略合规性、潜在安全风险、拒绝执行的结果以及评估者的置信度。这种多维度的评估视角，结合针对评估者有效性、诊断模糊度和分类漂移的量化指标，使得原本主观的语言学判断转化为可量化、可复现的工程实践，极大地提升了评估过程的科学性和透明度。实验设置与结果部分展示了该框架在实证研究中的价值。虽然具体的数值指标在摘要中未详尽列出，但研究通过构建包含18项种子基准和54行试点数据的本地测试集，验证了该协议在区分不同失败类型上的有效性。

关键发现在于，该框架成功揭示了传统评估中常被忽视的"诊断模糊性"问题，即许多看似失败的案例实际上源于策略定义的模糊或指令的内在矛盾，而非模型的安全漏洞。通过引入评估者置信度指标，研究进一步量化了人类专家在判断模糊指令时的不确定性，证明了现有评估方法在应对复杂语用场景时的局限性。消融实验的逻辑隐含在对比中：相较于传统的二元标签评估，采用对抗语用学框架后，研究人员能够更精准地定位模型失效的具体环节，无论是能力边界、策略冲突还是评估器偏差，从而为后续的模型优化提供了更具指向性的反馈。从行业意义与潜在影响来看，对抗语用学框架的提出标志着AI安全评估从粗放式向精细化、语言学化的重要转变。对于开源社区而言，该框架提供了一套标准化的评估协议和分类体系，有助于统一不同研究团队对安全失败的定义，促进结果的可比性。在工业落地方面，该工具可直接用于验证LLM裁判（LLM Judges）的可靠性，优化黄金测试集（Gold-set Construction）的构建质量，并作为提示注入攻击测试的深层检测手段。此外，它为安全文档的编写提供了实证依据，帮助开发者更清晰地理解模型在复杂指令下的行为边界。长远来看，这一方法论不仅服务于当前的安全评估，更为后续研究如何构建更具鲁棒性、可解释性的AI系统提供了重要的理论支撑和实践工具，推动AI安全研究进入一个更加严谨和深入的阶段。