YOPO: 동결된 언어 모델의 단일 포워드 패스로 추론 및 거부 구현

배경

동결된 대규모 언어 모델(LLM)은 추론 작업에서 두 가지 핵심적인 한계를 안고 있습니다. 첫째, 모델은 잔류 스트림(residual stream)에 이미 인코딩된 증거 정보를 충분히 활용하지 못해 추론 정확도가 제한됩니다. 둘째, 입력 정보의 충분성을 감지하는 능력이 부족하여 정보가 부족할 경우 환각(hallucination)이나 무의미한 출력을 생성하는 경향이 있습니다. 이러한 문제를 해결하기 위해 제안된 YOPO(You Only Pass Once) 프레임워크는 단일 전방 전파(forward pass) 내에서 답변, 가이드, 그리고 거부를 동시에 수행하도록 설계되었습니다.

YOPO는 조건부 가이드 프로브와 제로샷 충분성 방향이라는 두 가지 연구 라인을 통합합니다. 전자는 중간 층에서 잔류 스트림에 정보를 기록하여 추론 정밀도를 복원하고, 후자는 잔류 스트림을 읽어 정보가 신뢰할 수 있는 답변을 생성하기에 충분한지 판단합니다. 그러나 이 두 메커니즘을 직접 배포하면 간섭 현상이 발생합니다. 가이드가 잔류 스트림에 기록하는 과정이 충분성 방향이 읽어야 할 상태를 변경시켜, 결과적으로 크로스 도메인 전송 성능이 저하됩니다.

이러한 상태 간섭을 해결하기 위해 YOPO는 가이드 적용 전의 잔류 스트림을 재구성하는 경량 네트워크를 훈련합니다. 이를 통해 모델은 추론 비용 증가 없이 높은 정밀도의 추론 능력을 유지하면서도, 거부 판단은 원본 상태에 기반하도록 보장합니다. 이 접근법은 동결된 모델의 복잡하고 신뢰할 수 있는 추론 작업에서의 실용성을 크게 향상시킵니다.

심층 분석

YOPO의 기술적 핵심은 가이드 기록과 방향 읽기 사이의 상태 간섭을 분리(decoupling)하는 데 있습니다. 연구팀은 충분성 방향을 고정시킨 상태에서, 평균 제곱 오차(MSE)를 손실 함수로 사용하는 소형 네트워크를 훈련합니다. 이 네트워크는 (가이드 후, 클린) 잔류 스트림 쌍을 입력으로 받아 가이드 적용 전의 잔류 스트림을 재구성합니다.

이 과정은 충분성 라벨이 필요하지 않으며, 잔류 스트림 자체의 페어링 데이터에만 의존합니다. 재구성된 스트림은 충분성 방향을 읽는 데 사용되어, 거부 결정이 가이드 메커니즘의 부정적인 영향 없이 원본 상태에 기반하도록 합니다. 시스템은 1.5B, 3B, 7B 매개변수를 가진 동결된 Qwen2.5 백본에 배포되며, 모든 작업을 단일 전방 전파로 완료합니다.

이 설계는 전통적인 이중 전방 전파 방식에서 발생하는 추론 비용 2배 증가 문제를 회피합니다. 또한 잔류 스트림의 선형 분리 가능성을 활용하여 단순한 재구성 작업을 통해 복잡한 상태 분리를 달성합니다. 이는 언어 모델의 내부 표현 구조에 대한 깊은 이해를 바탕으로, 백본 재훈련 없이 동결 모델의 기능을 강화하는 새로운 기술적 경로를 제시합니다.

산업 영향

실험 결과는 YOPO가 동결 베이스라인과 이중 전방 전파 기준을 모두 능가함을 보여줍니다. alphaNLI 데이터셋에서 1.5B 모델의 3분류 정확도는 0.375에서 0.798로 향상되어 2배 이상의 성능 향상을 기록했습니다. 1.5B, 3B, 7B 규모에서 YOPO의 정확도는 각각 0.798, 0.830, 0.893으로, 이중 전방 전파 기준의 0.753, 0.790, 0.863을 일관되게 초과했습니다.

이 방법의 범용성은 10개의 백본과 6개의 모델 패밀리에서 검증되었습니다. 아블레이션 연구는 '용량 이전 프런티어(capacity transfer frontier)'를 밝혀내며, 거부 능력은 모델에 훈련되는 것이 아니라 아키텍처 설계를 통해 구현되어야 한다는 원칙을 정량화했습니다. 연구팀은 alphaNLI 구축 과정에서 표면적 인공물 누출 문제를 발견하여, 아키텍처 관련 주장을 SQuAD2, RepLiQA, MuSiQue와 같은 네이티브 레이블 복제 데이터셋으로 고정했습니다.

표준 4도메인 스위트에서 YOPO의 게이트웨이는 모든 인-도메인 데이터셋에서 최고의 성능을 보였습니다. 특히 무라벨(no-label) 방향은 도메인 전송 시에도 성능을 유지한 유일한 게이트웨이 패밀리로, 이 방법의 강건성과 크로스 도메인 적용 가능성을 입증했습니다. 이는 다양한 데이터 분포에서 일관된 성능이 요구되는 산업 현장에 필수적인 신뢰성을 제공합니다.

전망

YOPO는 오픈소스 커뮤니티와 산업 현장의 배포에 깊은 함의를 지닙니다. 동결 LLM이 추론 비용 증가 없이 높은 정밀도의 추론과 신뢰할 수 있는 거부 능력을 동시에 갖추게 해주는 효율적인 방법을 제공하며, 이는 자원 제약 환경에서 특히 가치 있습니다. 이 연구는 최초의 '답변 또는 거부' 벤치마크를 제공하여 해당 분야의 공백을 메우고, 후속 연구를 위한 표준화된 평가 도구를 마련했습니다.

거부 능력이 훈련된 행동이 아닌 아키텍처적 기능이 되어야 한다는 발견은 모델 설계와 훈련 전략에 새로운 지침을 제공합니다. 이는 모델 개발의 복잡성을 줄이고, 더 효율적인 개발 프로세스를 가능하게 할 수 있습니다. 산업 적용 측면에서 YOPO의 단일 전방 전파 특성은 낮은 지연 시간과 비용 효율성이 최우선인 실시간 시스템, 예를 들어 고객 서비스 봇이나 지능형 어시스턴트에 적합합니다.

잔류 스트림 재구성 방법과 용량 이전 프런티어 분석은 언어 모델의 내부 표현과 기능 분리 이해에 새로운 관점을 제공합니다. 이 작업은 동결 모델의 기능 강화에 대한 추가 연구를 자극하여, 자연어 처리 분야가 더 효율적이고 신뢰할 수 있는 복잡한 추론 작업 솔루션으로 나아가도록 촉진할 것입니다.