Claudini：自动化研究发现LLM最强对抗攻击算法（arXiv论文）

Claudini：自动化研究发现LLM最强对抗攻击算法

论文概述

2026年3月发表在arXiv上的论文Claudini提出了一种革命性的AI安全研究方法——使用AI系统自动化发现针对大语言模型（LLM）的对抗攻击算法。论文标题中的Autoresearch概念指的是让AI研究系统自主设计实验、执行测试、分析结果并迭代优化攻击策略，无需人类研究者的持续介入。研究团队利用这一方法发现了多种超越当前最先进水平（SOTA）的对抗攻击算法。

技术方法

Claudini系统的核心是一个自动化研究循环。系统首先分析现有对抗攻击文献和公开的攻击方法，建立攻击策略的知识图谱。然后利用LLM的代码生成能力自动实现新的攻击变体，在目标模型上执行测试并收集成功率数据。基于实验结果，系统自动调整攻击参数和策略，并生成新一轮的攻击变体。这一循环可以无限迭代。

具体的攻击技术包括：基于梯度的token替换攻击的自动化优化、多步骤上下文操纵策略的自动组合、以及利用模型内部表征空间的新型越狱方法。研究发现，自动化搜索发现的攻击组合往往比人类研究者手动设计的方法更加高效和隐蔽。

实验结果

在对GPT-4、Claude 3.5、Gemini Pro和Llama 3 70B等主流模型的测试中，Claudini发现的攻击算法在多项安全评估基准上超越了此前的SOTA方法。特别值得注意的是，系统发现了一类新型的上下文漂移攻击——通过精心设计的多轮对话逐步偏移模型的安全边界，这种攻击难以被现有的安全过滤器检测到。

安全影响与伦理讨论

这项研究引发了AI安全社区的广泛讨论。一方面，自动化发现漏洞的能力对红队测试和AI安全评估具有重大价值，可以帮助AI公司在模型发布前发现潜在的安全风险。另一方面，相同的技术如果被恶意行为者利用，可能大幅降低LLM攻击的技术门槛。论文作者在负责任披露方面采取了谨慎措施，延迟公开了最具破坏力的攻击变体的完整实现细节，仅向受影响的AI公司进行了私下通报。这项研究也推动了关于AI安全研究公开度与攻击防御平衡的更广泛讨论。

Autoresearch详细架构

五阶段循环：文献挖掘、假设生成、实验实现、大规模评估、策略进化（遗传算法+RL）。24小时运转，一周探索量超人类团队一年产出。上下文漂移攻击尤为突出——通过多轮对话逐步偏移安全边界，隐蔽性远超传统越狱。研究团队在GPT-4、Claude 3.5、Gemini Pro、Llama 3 70B上测试均超越SOTA。作者延迟公开最具破坏力的攻击实现，仅向受影响企业私下通报。这项工作为AI安全领域的自动化红队测试开辟了新方向。

发现的新型攻击类别

除上下文漂移攻击外，Claudini还发现了多种新型攻击模式。语义梯度攻击通过在提示中嵌入微妙的语义偏移，使模型在保持表面合规的同时逐渐偏离安全策略。元认知劫持攻击利用模型的自我反思机制，诱导模型质疑自身的安全判断。跨模态注入攻击则通过在图片或代码中嵌入隐藏指令来绕过文本安全过滤器。这些攻击的共同特点是高度隐蔽和难以通过简单规则检测。研究团队建议AI公司将自动化红队测试作为模型发布前的标准流程，并持续监控生产环境中的新型攻击模式。这项研究已获得OpenAI、Anthropic和Google安全团队的积极回应。

对AI安全领域的深远影响

Claudini的工作为AI安全领域的红队测试自动化开辟了新方向。传统的红队测试依赖少数安全专家手动设计攻击场景，覆盖面有限且成本高昂。自动化方法不仅能够以指数级提升测试覆盖率，还能发现人类可能忽视的非直觉攻击路径。多家AI公司已表示将Claudini的发现纳入其安全评估流程。

对未来AI安全的启示

这项工作最深远的影响在于揭示了AI安全研究本身可以被AI加速的事实。AI系统既是被攻击的目标，也是发现和修复漏洞的工具。这种双向能力的发展将定义未来AI安全领域的研究范式。

Claudini揭示的可能性预示着AI安全研究新时代的到来。人类与AI协作构建更坚固、更安全的AI系统将成为行业最重要的课题。人机协作的安全研究将为AI产业的可持续发展提供不可或缺的基础。这一研究领域的快速发展将成为AI安全社区的重大转折点。

自动化安全研究将成为AI行业不可或缺的基础能力。