FOM-UL: 계층 선택적 forget를 통한 양자화 견디는 LLM 구축

배경

거대 언어 모델은 방대한 데이터로 학습되면서 민감하거나 저작권으로 보호되거나 제작자가 원하지 않은 학습 내용을 기억하고, 경우에 따라 그대로 재생산하기도 합니다. 이로 인해 프라이버시 유출, 안전, 규제 준수 등 현실적인 위험이 발생합니다. 전체 모델을 처음부터 다시 학습시키는 것은 막대한 비용이 들기 때문에 기계학습 기반 forget 기술은 특정 내용만 삭제하는 경량화 대안으로 부상했습니다. 그러나 현재의 대부분 방법은 네트워크 전체에 걸쳐 광범위하거나 고정된 파라미터 업데이트를 적용하는데, 이런 광범위한 변경은 관련 없는 작업에서 유틸리티를 저하시킬 수 있고 배포 환경의 변화에 취약합니다. 이 중 가장 중요한 변화가 후 학습 양자화인데, 비트 너비가 줄어들면서 반올림이 이루어질 때 잊혀진 지식이 완전히 지워지지 않고 부분적으로 되살아날 수도 있습니다.

FOM-UL 프레임워크는 계층 선택적 전략으로 이런 약점을 해결합니다. forget를 모델 전체를 균일하게 변경하는 것이 아니라, 가장 중요한 영역에 업데이트를 집중시키는 방식으로 접근합니다. 핵심 전제는 forget가 넓은 그물로 모든 것을 잡는 것이 아니라 표적화된 개입이어야 하며, 목적 내용 삭제와 전체 유용성 보존 사이에서 더 나은 균형을 찾아야 한다는 것입니다. 이는 FOM-UL을 실험실에서는 작동하지만 모델이 실제 사용 위해 압축되면 무너지는 현실적 배포 문제에 대한 대응으로 위치짓습니다.

심층 분석

핵심 기술적 기여는 'forget-retain' 유의점수입니다. 이 지표는 각 transformer 층을 두 축으로 동시에 평가합니다. 잊을 집합에 대한 영향력과 보존할 집합에 대한 민감도입니다. forget 집합에는 강하게 영향을 주면서 retain 집합에는 거의 영향을 주지 않는 층은 표적화된 업데이트의 주요 후보로 거론됩니다. 효과적으로 이 프레임워크는 잊어야 할 것에는 큰 일을 하고 보존해야 할 것에는 적은 일을 하는 층을 우선시합니다. 나머지 파라미터는 거의 변경되지 않으므로 업데이트는 분산된 작은 교란이 아니라 국소적이고 집중적으로 유지됩니다.

이런 집중은 두 가지 연관된 이점을 낳습니다. 첫째, 가장 효과적인 곳에 노력을 directing함으로써 forget-유틸리티 트레이드오프를 개선합니다. 둘째, 양자화에 대한 견고성을 높입니다. 저비트 반올림은 확산되고 미묘한 파라미터 변경을 파괴하기 쉬우므로, 집중된 업데이트는 지워지기 더 어렵습니다. 저자들은 TOFU, KnowUnDo, MUSE 스타일 벤치마크에서 이 접근법을 검증하고, GA, NPO, KLD, SURE, ReLearn, 그리고 LUNAR 계열의 다양한 파운데이션 베이스라인과 비교합니다. 결과는 FOM-UL이 잔여 기억을 크게 줄이면서 retain 집합 유틸리티를 원본 수준에 가깝게 유지함을 보여줍니다. 8비트와 4비트 양자화 아래에서는 경쟁 방법들보다 더 강한 기억 억제와 유틸리티 보존을 유지하며, 적대적 프롬프팅 테스트는 의도적으로 자극받을 때 잊혀진 내용이 다시 나타날 가능성이 더 낮음을 확인합니다.

산업 영향

FOM-UL은 완전한 삭제의 엄격한 형식적 보장을 주장하지 않으면서도 효율적이고 배포 가능한 forget 전략을 제공합니다. 오픈소스 연구 커뮤니티에게 이 계층 선택 메커니즘은 얼마나 많은 파라미터를 업데이트할지가 아니라 어떤 층을 업데이트할지로 주시를 전환시키는 더 해석 가능한 틀을 도입합니다. 압축 기술은 거의 피할 수 없는 산업적 배포에서, 검증된 양자화 견고성은 실제 환경에서 forget의 신뢰성에 대한 우려를 직접적으로 해소합니다. 이 작업은 또한 후속 연구자들에게 배포 변화 아래에서의 안정성을 우선시하고, 형식적 보장과 실용적 성능 사이에서 더 실용적인 균형을 추구하도록 독려합니다.

전망

FOM-UL은 forget를 이상화된 실험실 가정에서 양자화와 적대적 자극을 견디는 공학적 솔루션으로 이동시킴으로써 향후 작업의 방향을 제시합니다. 유의점수 메커니즘을 더 큰 모델과 다국어 코퍼스로 확장하면 계층 선택이 아키텍처 전반에 걸쳐 일반화되는지 드러날 수 있습니다. 이 전략이 가지나 디스틸레이션과 같은 다른 압축 기술과 상호작용하는 방식을 조사하면 완전한 배포 파이프라인에서의 역할을 분명히 할 수 있습니다. 궁극적으로 국소적이고 선택적인 업데이트에 대한 강조는, 견고하고 검증 가능한 forget가 LLM이 강화되는 규제를 마주하면서 연구상의 호기심이 아니라 표준 요구사항이 될 수 있음을 시사합니다.

FOM-UL이 제시하는 관점은 forget를 단순히 지우는 행위가 아니라, 어떤 영역을 선택적으로 변경하느냐에 대한 정밀한 공학적 판단으로 재정의합니다. 이는 모델이 실제 세계에 배포될 때 예상되는 압축과 변형 속에서도 신뢰할 수 있는 forget를 실현하기 위한 실질적인 진전으로 평가됩니다.