단어는 안전하지만 행동은 치명적일 때: 잠재 상태 위험 공간에서 물리적 위험 감지

배경

대형 언어 모델이 단순한 텍스트 생성 도구를 넘어 구동형 에이전트의 상위 계획자로 진화함에 따라, 인공지능 안전성의 평가 기준은 근본적인 전환점을 맞이하고 있습니다. 기존의 안전 연구는 주로 혐오 발언이나 불법 지시와 같은 언어적 수준의 유해 콘텐츠를 차단하는 데 초점을 맞추어 왔습니다. 그러나 물리적 세계에서 이러한 언어적 지시사항이 로봇의 물리적 행동으로 변환될 경우, 언어적으로는 전혀 중립적이거나 심지어 긍정적인 문장이라도 치명적인 결과를 초래할 수 있습니다. 예를 들어, 표면의 '청소'를 지시하는 문장은 모델이 재료의 화학적 상용성을 이해하지 못할 경우 부식성 화학물질 사용으로 이어져 재난적인 물리적 손상을 야기할 수 있습니다. 이는 언어적 안전성이 반드시 물리적 안전성을 보장하지 않는다는 안전 역설을 드러냅니다.

이러한 현상은 현재 널리 퍼져 있는 안전 패러다임의 중요한 공백을 지적합니다. 텍스트 수준의 콘텐츠 검열만으로는 '언어는 무해하지만 행동은 위험한' 복잡한 시나리오를 효과적으로 식별할 수 없습니다. 연구에 따르면, Qwen2.5, Phi-3.5, SmolLM2와 같은 주요 대형 언어 모델들의 내부 표현에서 콘텐츠 위험과 물리적 위험은 서로 다른 신호로 분리되어 존재합니다. 이는 모델이 언어적 해악에 대한 지식을 물리적 위험에 대한 이해와 혼동하지 않음을 의미하며, 표면적인 텍스트 필터링을 넘어 모델의 내부 상태, 즉 표현 레이어에서 진정한 의도와 잠재적 물리적 결과를 분석해야 함을 시사합니다.

심층 분석

연구팀은 콘텐츠 위험과 물리적 위험이 모델의 잠재 공간에서 분리 가능한 신호임을 입증하기 위해 체계적인 은닉 상태 방향 분석과 랜덤 분할 제로샷 테스트를 수행했습니다. 이 분석의 핵심 발견은 두 가지 유형의 위험이 모델 내부에서 독립적으로 인코딩되어 있다는 사실입니다. 이러한 통찰력을 바탕으로 저자들은 PRISM이라는 새로운 탐지 프레임워크를 제안했습니다. PRISM은 모델의 전체 은닉 상태에 직접 작용하는 단일 레이어 L2 정규화 로지스틱 회귀 프로브로 구성됩니다. 이는 생성형 모델의 확률적 출력을 사용하는 기존 LLM 심사자 방식과 달리, 판별적 분류 전략을 채택하여 계산 오버헤드를 대폭 줄이고 안정성을 높였습니다.

PRISM의 설계는 특정 모델 아키텍처에 대한 파인튜닝 없이도 다양한 규모와 구조의 대형 언어 모델에 적용할 수 있는 범용성과 효율성을 강조합니다. 이 가벼운 프로브는 모델이 명령어를 처리할 때 내부 표현에서 나타나는 미묘한 차이를 포착할 수 있어, 언어적 콘텐츠에는 위험이 없지만 물리적 실행 단계에서만 위험이 드러나는 상황을 식별할 수 있습니다. 훈련 과정에서 PRISM은 신중하게 구성된 데이터셋을 사용하여 은닉 상태를 물리적 안전 레이블로 매핑하는 법을 학습하며, 생성적 추론에 의존하지 않고도 안전하고 위험한 작업을 효과적으로 구분합니다. 이는 모델의 결정 과정을 더 깊이 이해할 수 있는 새로운 해석 가능성을 제공합니다.

산업 영향

실험 결과는 PRISM의 뛰어난 성능을 여러 벤치마크에서 입증했습니다. SafeAgentBench에서 PRISM은 86.2%에서 87.7%의 정확도를 달성하면서도 11.7%에서 13.7%의 낮은 오탐률을 유지했습니다. 반면, 동일한 규모의 Qwen2.5-3B와 같은 LLM 심사자는 24.7%에서 39.0%에 달하는 높은 오탐률을 보였으며, 이는 전통적인 방법이 안전하지 않은 지시사항을 과도하게 차단할 수 있음을 보여줍니다. 이러한 높은 오탐률은 에이전트의 운영 효율성을 저하시키고 자동화된 시스템에 대한 신뢰를 떨어뜨리는 원인이 됩니다. 특히 명시적 위해 키워드에 의존하지 않는 PhysicalSafetyBench-1K(PSB-1K) 벤치마크에서는 PRISM이 99.6%의 정확도와 0.7%의 오탐률을 기록하는 반면, Qwen2.5-3B는 안전 작업의 67.8%를 잘못 거부하는 심각한 과검열 문제를 보였습니다.

PSB-1K 벤치마크의 도입은 물리적 안전 평가 분야의 중요한 공백을 메우며, 향후 연구를 위한 표준화된 테스트 플랫폼을 제공합니다. PRISM은 SafeText 및 EAR-Bench와 같은 다른 벤치마크에서도 견고한 성능을 보여, 은닉 상태 탐지가 표현 레이어 방법으로서 물리적 안전 분야에서 광범위하게 적용될 수 있음을 확인시켰습니다. 이는 산업계, 특히 자율 주행 및 가정용 서비스 로봇과 같은 고위험 애플리케이션에서 대형 기반 모델을 재훈련하지 않고도 경량화된 프로브를 통해 실시간으로 잠재적 위험을 모니터링할 수 있는 저비용 배포 전략을 가능하게 합니다. 이는 안전 실패가 치명적인 결과를 초래할 수 있는 분야에서 실시간 안전 보장 솔루션으로서 PRISM의 실용적 가치를 강조합니다.

전망

이 연구는 오픈소스 커뮤니티와 산업 모두에 지대한 영향을 미칠 것으로 예상됩니다. 텍스트 중심의 안전 패러다임을 도전하며, 구동형 지능 시대에 맞춘 독립적인 물리적 안전 평가 체계의 개발을 촉구합니다. 모델의 내부 지식 표현에 대한 새로운 관점을 제시하는 이 발견은 모델의 해석 가능성과 정렬 기술에 대한 후속 연구를 자극하여, 더 강력하고 신뢰할 수 있는 인공지능 시스템 개발을 이끌 수 있습니다. 표현 레이어에서의 물리적 안전 탐지를 위한 새로운 패러다임을 확립함으로써, 이 작업은 더 신뢰할 수 있는 인간-기계 상호작용의 길을 열었습니다.

텍스트 안전성에서 물리적 안전성으로의 전환은 인공지능 거버넌스의 근본적인 변화를 의미합니다. 모델이 복잡한 작업을 계획하고 실행하는 능력이 향상됨에 따라, 단순한 키워드 필터링에 대한 의존성은 점점 더 부적절해질 것입니다. PRISM 프레임워크와 PhysicalSafetyBench-1K 벤치마크는 이러한 증가하는 도전에 대해 확장 가능하고 효과적인 솔루션을 제공합니다. 모델의 내부 상태에 집중함으로써 연구자와 개발자는 AI 에이전트의 의사 결정 과정에 대한 더 깊은 통찰력을 얻어, 그들의 행동이 인간의 가치와 물리적 현실과 일치하도록 보장할 수 있습니다. 구동형 에이전트가 일상생활에 점점 더 통합됨에 따라, 표현 레이어에서 물리적 위험을 감지하고 완화하는 능력은 안전하고 효과적인 인공지능 배포의 핵심 기반이 될 것입니다.