当文字安全但行动致命:在隐藏状态风险空间中探测物理危险
大型语言模型作为具身智能体高层规划器时存在安全悖论:语言上良性的指令在物理世界中可能转化为危险行动。研究通过隐藏状态方向分析与随机分割零测试,证实内容危险与物理危险在模型内部表示中是可分离的信号,并在多个主流模型中验证了该现象。作者提出PRISM方法——一种基于全隐藏状态的单层L2正则化逻辑探针。实验表明,PRISM在SafeAgentBench上达到86.2%至87.7%的准确率,同时保持极低误报率,显著优于同等规模LLM裁判。研究同时引入PhysicalSafetyBench-1K基准,专门测试对无直接危害关键词的物理风险检测能力。结果表明PRISM几乎完美区分安全与危险任务,而传统LLM裁判存在严重过度拦截问题。这项工作为超越文本审核的表示层物理安全检测提供了新范式。
随着大型语言模型逐渐从单纯的内容生成工具演变为具身智能体的高层规划器,其安全性评估的维度发生了根本性变化。传统的文本安全研究主要关注语言层面的不当内容,如仇恨言论或非法指令,但在物理世界中,许多语言上完全中性甚至积极的指令,一旦转化为机器人动作,可能导致灾难性后果。本文的核心贡献在于揭示了这一现象背后的机制,即语言层面的内容危险与物理层面的物理危险在模型内部表示中并非同一回事。研究团队通过系统的隐藏状态方向分析和随机分割零测试,证明了这两种危险信号在Qwen2.5、Phi-3.5和SmolLM2等多个主流大模型中是相互分离的。这一发现打破了以往将物理安全简单等同于文本内容安全的假设,为开发更精准的安全检测机制奠定了理论基础。研究指出,仅仅依靠文本审核无法有效识别那些"言语无害但行动危险"的复杂场景,必须深入到模型的内部表示层进行探测。
在技术方法上,作者提出了一种名为PRISM的新型检测框架,旨在通过挖掘模型隐藏状态中的物理危险信号来实现高效识别。PRISM的核心设计是一个单层的L2正则化逻辑回归探针,它直接作用于模型的全隐藏状态,而非仅仅依赖输出层的概率分布。这种设计使得PRISM能够捕捉到模型在处理指令时内部表征的细微差异,从而区分出哪些指令虽然文本安全,但在物理执行层面存在风险。与传统的基于大语言模型裁判的方法不同,PRISM不依赖于生成式模型的推理能力,而是采用判别式的分类策略,这大大降低了计算开销并提高了检测的稳定性。训练过程中,PRISM利用精心构建的数据集进行监督学习,学习如何将隐藏状态映射到物理安全标签上。该方法的优势在于其通用性,它不针对特定模型架构进行微调,而是作为一种通用的表示层分析工具,适用于多种不同规模和架构的大语言模型,从而为物理安全检测提供了一种轻量级且高效的解决方案。
实验部分涵盖了广泛的基准测试和对比分析,以验证PRISM的有效性和优越性。研究在SafeAgentBench上进行了主要评估,结果显示PRISM的准确率达到了86.2%至87.7%,同时将误报率控制在11.7%至13.7%的低水平。相比之下,同等规模的Qwen2.5-3B等LLM裁判在安全任务上的误报率高达24.7%至39.0%,表明传统方法容易将大量安全指令误判为危险。为了进一步测试方法对物理风险的敏感度而非对关键词的依赖,作者引入了全新的PhysicalSafetyBench-1K(PSB-1K)基准。该基准包含1000对物理风险对比样本,这些样本不包含直接的危害关键词,旨在测试模型是否真正理解了物理世界的因果关系。在PSB-1K上,PRISM取得了99.6%的准确率和仅0.7%的误报率,而Qwen2.5-3B裁判则错误地拒绝了67.8%的安全任务。
此外,PRISM在SafeText和EARBench等其他基准上也表现稳健,证实了隐藏状态探测作为一种表示层方法在物理安全领域的广泛适用性。这项研究对开源社区和工业落地具有深远意义。首先,它挑战了当前基于文本审核的主流安全范式,指出在具身智能时代,必须建立独立的物理安全评估体系。对于工业界而言,PRISM提供了一种低成本的部署方案,无需重新训练庞大的基座模型,即可通过轻量级探针实时监控智能体的潜在风险,这对于自动驾驶、家庭服务机器人等高风险应用场景至关重要。其次,引入的PSB-1K基准填补了物理安全评估的空白,为后续研究提供了标准化的测试平台。最后,研究揭示的内容危险与物理危险的可分离性,为理解大模型内部知识表征提供了新的视角,可能启发后续关于模型可解释性和对齐技术的研究。总体而言,这项工作不仅提升了具身智能的安全性,也为构建更可信、更智能的人机交互系统指明了方向。