어텐션은 보고 MLP는 거부한다: LLM 안전성에서 '유해성 인식'에서 '거부 기록'까지의 내부 경로를 추적하고 Sentinel 라우터를 설계

논문 2610.13078 「어텐션은 보고 MLP는 거부한다: LLM에서 어텐션에서 MLP로 이어지는 안전 경로 추적」은 2026년 10월 중순 arXiv에 올라왔다. 기본적으로 들리지만 자주 뒤섞이는 질문을 던진다. 안전 정렬을 거친 LLM은 탈옥될 수 있고 무해한 요청을 과잉 거부하기도 하는데, 이 두 실패가 같은 곳에서 나오는가. 저자들은 '요청이 유해하다는 것을 알아보는 일'과 '실제로 거부를 쓰는 일'을 나누어, 잔차 스트림 업데이트 위에서 측정 가능한 두 가지로 만들었다. 먼저 측정 방법이다. 연구 단위는 모듈(어텐션 또는 MLP)이 한 층에서 잔차 스트림에 더하는 업데이트다. 두 가지를 따로 잰다. 그 업데이트가 유해성 정보를 얼마나 드러내는지, 그리고 읽을 수 있는 거부 증거를 얼마나 바꾸는지다. 비교는 Qwen, Llama, Gemma 세 계열의 Base·Instruct 18쌍, 총 36개 체크포인트에서 이뤄졌고, 층 수가 다른 모델은 상대 깊이로 맞췄다. 첫 번째 결과. 36개 체크포인트 모두에서 유해성은 MLP 업데이트보다 어텐션 업데이트에서 더 잘 읽힌다(프로브 AUC의 층 평균). 차이는 초기 층에서 가장 크고 깊어질수록 줄어든다. MLP 업데이트에도 우연 수준을 넘는 유해성 정보가 있지만 더 약하다. 두 번째, 유해한 요청에 대한 거부 증거를 잔차 스트림에 쓰는 일에서는 18개 Instruct 모델 모두에서 MLP의 순 기록이 어텐션을 앞섰고, 가장 큰 양의 기여는 Instruct와 Thinking 체크포인트 모두에서 네트워크 끝부분에 있었다. 합치면 제목 그대로다. 초기 어텐션이 유해성을 드러내고 후기 MLP가 거부를 쓴다.

세 번째 발견은 후속 학습이 무엇을 바꾸느냐다. 유해성 정보는 이미 기반 모델에 있고, 프로브 AUC는 후속 학습 뒤에도 체계적으로 오르지 않는다. 오르는 것은 기록이다. MLP의 순 거부 기록은 18쌍 모두에서 늘었고 어텐션은 12쌍에서만 늘었다. 거부 어휘에 대한 MLP 기록의 특이성은 16개의 짝지은 대조 어휘와 비교해 1.10에서 4.20으로, 어텐션은 0.77에서 1.63으로 올랐다. 위치의 변화도 있다. MLP의 유해 특이적 양의 기록 중 네트워크 마지막 4분의 1이 차지하는 비율은 중앙값 기준 23.01%에서 63.86%로 올랐다. 다시 말해 후속 학습은 모델이 유해성을 알아보는 능력보다 거부를 써 내는 능력을 주로 키운다. 생성 중에도 비슷한 모습이 보인다. 추론 기능이 있는 6개 모델에서 유해성은 추론 내내 읽히고, 강한 거부 기록은 답변이 시작되는 지점에 몰려 있으며, 추론을 꺼도 이 패턴이 유지된다. 이것이 인과적 경로인지 확인하기 위해 저자들은 개입을 했다. 짝지은 유해-무해 프롬프트 사이에서 상류 어텐션 업데이트를 기증자의 것으로 바꾸고 거부의 변화를 본 뒤, 하류 MLP 업데이트를 수혜자의 원래 깨끗한 값으로 되돌렸다. 하류 MLP 업데이트를 되돌리자 상류 어텐션 개입이 만든 거부 변화가 크게 약해졌고, 이는 '어텐션이 알아보고 MLP가 쓴다'는 경로를 뒷받침한다. 뒷받침일 뿐 이것이 유일한 경로임을 증명하지는 않는다. 이를 토대로 저자들은 Sentinel을 제안한다. 프리필이 끝난 뒤 첫 응답 토큰 이전에 뽑는, 어텐션에서 나온 인지 점수 P와 MLP에서 나온 결정 점수 D를 결합한다. 두 점수의 결합 분포가 서로 다른 실패를 구분해 준다. 어떤 탈옥은 두 단계 모두 신호가 약하고, 다른 탈옥은 인식은 비교적 강하지만 올바르게 거부된 유해 프롬프트보다 기록이 약하다. 과잉 거부된 무해 입력은 정상 응답된 무해 입력보다 인식 점수가 높고 기록도 대개 더 강하다. 출력 라벨만으로는 보이지 않는 내부 차이다. 그 위에서 요청의 행동 상태(유해 또는 무해, 순응 또는 거부)를 예측하는 4분류기를 훈련하고, 원래 요청의 프리필 중 계산한 특징으로 라우터가 리마인더를 붙일지 고른다. 평가는 8개 모델에서 중첩 교차 검증으로 하며 근본 요청 단위로 묶었다.

결과를 보면, 리마인더가 없을 때와 비교해 탈옥 공격 성공률은 95.97%에서 35.17%로, 무해한 요청에 대한 과잉 거부는 88.73%에서 55.72%로 내려가고, 무해 요청 오거부는 0.00%에서 0.13%로만 오른다. 세 항목의 산술 평균(AVG)은 30.34%다. 고정 리마인더는 안전성과 유용성의 뚜렷한 맞바꿈을 보인다. '안전' 리마인더는 탈옥 성공률을 30.45%로 낮추지만 과잉 거부가 85.24%이고, '유용성' 리마인더는 과잉 거부를 59.95%로 줄이지만 탈옥 성공률은 68.22%로 남는다. '안전' 리마인더와 비교해 Sentinel은 탈옥 성공률이 4.72포인트 높고 과잉 거부는 29.52포인트 낮다. 기존 방어 중 Llama Guard 3는 탈옥 성공률이 가장 낮지만(26.58%) 과잉 거부가 가장 높아(92.53%) AVG가 40.06%이며 별도의 순전파가 필요하다. Sentinel은 주 모델의 프리필 이후 내부 특징을 재사용해 디코딩 전에 결정한다. Self-Reminder와 ICD의 AVG는 41.60%와 41.14%로 둘 다 Sentinel보다 나쁘다.

우리의 판단은 이 논문의 가치가 '거부'를 관찰 가능한 두 단계로 나누고 그 분해가 공학에 쓰일 수 있음을 보인 데 있다는 것이다. 가중치를 바꾸지 않고 별도의 가드 모델도 부르지 않은 채, 주 모델 자체의 내부 신호로 생성 전에 조건부 리마인더를 낸다. 유보할 점도 분명하다. 실험은 세 계열의 오픈 웨이트 모델과 논문 자체 평가 세트에 한정되어 클로즈드 모델에 곧바로 확장할 수 없다. Sentinel을 써도 탈옥 성공률 35.17%, 과잉 거부 55.72%가 남아, 문제를 없애는 것이 아니라 맞바꿈을 개선한다. 또 내부 활성에 접근할 수 있어야 하므로 적용 범위가 제한된다. 모델을 평가하고 방어하는 팀에 주는 실질적 시사점은 얼마나 많이 거부하는지만이 아니라 인식과 기록이 모두 갖춰져 있는지를 보라는 것이다.