Wenn Wörter sicher, aber Handlungen tödlich sind: Physische Gefahren in latenten Zustandsrisikoräumen erkennen
Große Sprachmodelle als Hochplanungssysteme für verkörperte Agenten stehen vor einem Sicherheitsparadox: textuell harmlose Anweisungen können sich in physisch gefährliche Handlungen übersetzen. Durch Richtungsanalyse verborgener Zustände und Zero-Shot-Tests mit zufälligen Aufteilungen zeigen die Autoren, dass inhaltliche Gefährlichkeit und physische Gefährlichkeit trennbare Signale in den Modellrepräsentationen sind — ein über mehrere Mainstream-Modelle hinweg konsistent beobachtetes Phänomen. Sie präsentieren PRISM, einen einlagigen logistischen Prozessor mit L2-Regularisierung, der auf vollständigen verborgenen Zuständen operiert. Experimente belegen, dass PRISM auf SafeAgentBench eine Genauigkeit von 86,2 % bis 87,7 % erreicht bei extrem niedrigen False-Positive-Raten und同等große LLM-Richter deutlich übertrifft. Die Studie führt zudem PhysicalSafetyBench-1K ein, ein Benchmark-Set, das speziell für die Erkennung physischer Risiken ohne Rückgriff auf explizite Gefährlichkeitsbegriffe konzipiert wurde. PRISM unterscheidet auf diesem Benchmark sichere von gefährlichen Aufgaben nahezu perfekt, während traditionelle LLM-Richter unter schwerwiegender Überzensur leiden. Diese Arbeit etabliert ein neues Paradigma für die physische Sicherheitsdetektion auf Repräsentationsebene, das über die Text-Inhaltsmoderation hinausgeht.
Hintergrund
Die rasante Entwicklung von Large Language Models (LLMs) hat dazu geführt, dass diese Systeme nicht mehr nur passive Generatoren von Textinhalten sind, sondern zunehmend als hochrangige Planer für verkörperte KI-Agenten (Embodied AI) fungieren. Dieser Wandel verändert die Landschaft der KI-Sicherheit grundlegend. Während traditionelle Sicherheitsforschung sich vorwiegend auf die Moderation von Textinhalten konzentrierte – mit dem Ziel, Hassrede, illegale Anweisungen oder toxische Sprache zu identifizieren –, berücksichtigt dieser textzentrierte Ansatz nicht die physischen Konsequenzen der Handlungen, die von Robotern oder autonomen Systemen ausgeführt werden. Es hat sich ein kritisches Sicherheitsparadox ergeben: Anweisungen, die auf sprachlicher Ebene harmlos oder sogar positiv sind, können sich in katastrophale physische Ergebnisse übersetzen, sobald sie von einem Roboter ausgeführt werden. Ein Beispiel hierfür ist der Befehl, eine Oberfläche zu reinigen.
Wenn das Modell kein Verständnis für Materialverträglichkeiten besitzt, könnte es planen, eine ätzende Chemikalie zu verwenden, obwohl der Text selbst keine schädlichen Schlüsselwörter enthält. Diese Diskrepanz offenbart eine signifikante Lücke in aktuellen Sicherheitsparadigmen. Die Annahme, dass textuelle Sicherheit physische Sicherheit garantiert, ist falsch. Die internen Repräsentationen von LLMs wie Qwen2.5, Phi-3.5 und SmolLM2 richten die linguistische Semantik nicht automatisch mit der physischen Kausalität aus. Daher ist ein Shift von der oberflächlichen Inhaltsfilterung hin zu einer tieferen Analyse des internen Zustands des Modells notwendig, wo die wahre Absicht und die potenziellen physischen Implikationen eines Plans kodiert sind.
Tiefenanalyse
Um diese Herausforderung zu adressieren, haben Forscher systematische Analysen der verborgenen Zustände (Hidden States) sowie Zero-Shot-Tests mit zufälligen Datenaufteilungen durchgeführt, um die Trennbarkeit von inhaltlicher Gefährlichkeit und physischer Gefährlichkeit innerhalb der Modellrepräsentationen zu untersuchen. Das zentrale Ergebnis ist, dass diese beiden Risikotypen in dem latenten Raum des Modells als distincte Signale auftreten. Diese Trennung ist über mehrere Mainstream-Architekturen hinweg konsistent beobachtbar, was darauf hindeutet, dass das Wissen des Modells über sprachliche Schädlichkeit nicht mit seinem Verständnis für physische Risiken vermischt wird. Auf dieser Erkenntnis aufbauend, präsentieren die Autoren PRISM, ein neuartiges Erkennungsframework.
PRISM nutzt einen einlagigen logistischen Regressions-Prozessor mit L2-Regularisierung, der direkt auf den internen Aktivierungen des Modells operiert. Im Gegensatz zu traditionellen Methoden, die auf probabilistischen Ausgaben von LLMs als Richter basieren, employs PRISM eine diskriminative Klassifizierungsstrategie. Dies reduziert den Rechenaufwand erheblich und erhöht die Stabilität. Durch das Training auf sorgfältig konstruierten Datensätzen lernt PRISM, verborgene Zustände physischen Sicherheitslabels zuzuordnen, wodurch es sichere von gefährlichen Aufgaben unterscheidet, ohne auf generatives Reasoning angewiesen zu sein. Das Design von PRISM betont Allgemeingültigkeit und Effizienz; es erfordert kein Feintuning für spezifische Modellarchitekturen und kann als leichtgewichtiges Werkzeug zur Echtzeitüberwachung von Agenten eingesetzt werden.
Branchenwirkung
Experimentelle Bewertungen demonstrieren die überlegene Leistung von PRISM über mehrere Benchmarks hinweg. Auf SafeAgentBench erzielte PRISM eine Genauigkeit von 86,2 % bis 87,7 % bei einer sehr niedrigen False-Positive-Rate zwischen 11,7 % und 13,7 %. Im Gegensatz dazu zeigten LLM-Richter ähnlicher Größe, wie Qwen2.5-3B, deutlich höhere False-Positive-Raten von 24,7 % bis 39,0 %. Diese Diskrepanz zeigt, dass traditionelle, auf LLMs basierende Richter anfällig für Überzensur sind und sichere Anweisungen häufig fälschlicherweise als gefährlich einstufen, was zu ineffizienten Agentenoperationen führt. Um die Sensitivität von PRISM für physische Risiken gegenüber der Abhängigkeit von Schlüsselwörtern weiter zu testen, führte die Studie PhysicalSafetyBench-1K (PSB-1K) ein.
Dieser Benchmark besteht aus 1.000 Paaren von physischen Risikovergleichsbeispielen ohne explizite Schädlichkeitsbegriffe. PSB-1K bewertet, ob ein Modell die kausalen Zusammenhänge der physischen Welt wirklich versteht. Auf diesem Benchmark erreichte PRISM eine beeindruckende Genauigkeit von 99,6 % bei einer False-Positive-Rate von nur 0,7 %. Der Qwen2.5-3B-Richter lehnte hingegen 67,8 % der sicheren Aufgaben fälschlicherweise ab. Die Einführung von PSB-1K schließt eine kritische Lücke in der Bewertung physischer Sicherheit und bietet eine standardisierte Plattform für zukünftige Forschung. Die robuste Leistung von PRISM auf SafeText und EAR-Bench bestätigt die breite Anwendbarkeit der Hidden-State-Probe als Methode auf Repräsentationsebene.
Ausblick
Diese Forschung hat tiefgreifende Auswirkungen auf die Open-Source-Community und industrielle Anwendungen. Sie hinterfragt das vorherrschende, textzentrierte Sicherheitsparadigma und plädiert für die Entwicklung unabhängiger physischer Sicherheitsbewertungssysteme, die auf die Ära der verkörperten Intelligenz zugeschnitten sind. Für die Industrie bietet PRISM eine kostengünstige Bereitstellungsstrategie, die eine Echtzeitüberwachung potenzieller Risiken ermöglicht, ohne dass große Foundation-Modelle neu trainiert werden müssen. Diese Fähigkeit ist für Hochrisikoanwendungen wie autonomes Fahren und Haushaltsroboter entscheidend, wo Sicherheitsversagen schwerwiegende Folgen haben kann.
Darüber hinaus liefert die Entdeckung der Trennbarkeit zwischen inhaltlicher und physischer Gefährlichkeit neue Perspektiven für das Verständnis der internen Wissensrepräsentationen von LLMs. Diese Erkenntnis könnte zukünftige Forschung zu Modellinterpretierbarkeit und Alignment-Techniken inspirieren und zu robusteren, vertrauenswürdigeren KI-Systemen führen. Durch die Etablierung eines neuen Paradigmas für die physische Sicherheitsdetektion auf Repräsentationsebene ebnet diese Arbeit den Weg für zuverlässigere Mensch-Maschine-Interaktionen. Da verkörperte Agenten zunehmend in den Alltag integriert werden, wird die Fähigkeit, physische Gefahren auf Repräsentationsebene zu erkennen und zu mindern, ein Grundpfeiler einer sicheren und effektiven KI-Bereitstellung sein. Der Übergang von textueller zu physischer Sicherheit stellt einen fundamentalen Wandel in der KI-Regulierung dar, der über einfache Schlüsselwortfilterung hinausgeht.