언어 모델의 “자기 보존”: 동결된 모델이 스스로 재생 데이터를 만들고 무엇을 재생할지 골라 지속 학습의 망각을 줄인다
이 논문에서 “자기 보존”은 지속 학습, 곧 새 과제를 배우면서 옛 능력을 잃지 않는 것을 뜻하며 AI의 생존 욕구와는 무관하다. 저자들은 과제 설명과 예시를 “과제 은행”으로 묶고, 업데이트 전의 동결된 모델이 이를 바탕으로 재생 데이터를 만들어 새 과제 데이터와 섞어 미세조정한다. Qwen3 0.6B, 1.7B, 4B에서 생성된 재생은 은행 밖 과제의 망각을 줄였고 두 부분 은행의 결합이 더 도움이 됐다. 4B에서는 새 과제를 기준으로 재생 대상을 고르면 무작위보다 2.75포인트 더 지켰지만 더 작은 모델에서는 같은 이점이 없었다. 소규모 시범 연구다.
먼저 오해를 풀어야 합니다. 이 논문의 제목은 “언어 모델의 자기 보존”이지만 AI가 꺼지지 않으려고 행동한다는 이야기가 아닙니다. 다루는 것은 머신러닝의 소박한 질문입니다. 모델이 새로운 것을 배우려고 계속 훈련할 때 이미 가진 능력을 잃지 않으려면 어떻게 해야 하는가입니다. 이 문제를 지속 학습이라 하고 옛 능력을 잃는 현상을 파국적 망각이라 합니다. 사전학습에는 큰 비용이 들고 그 뒤에도 새 지식을 넣거나 새 분야에 맞추려면 미세조정이 필요합니다. 업데이트마다 다른 능력이 조용히 사라진다면 개선은 쌓일 수 없습니다.
흔한 완화책은 “재생”입니다. 새 과제를 배우면서 옛 과제의 데이터를 섞어 모델이 계속 복습하게 합니다. 하지만 논문은 현실적인 틈을 지적합니다. 보존을 위해 지정된 과제는 모델이 아는 것의 일부만 덮고 망각은 그 안에 머물지 않습니다. 최근 연구는 언어 모델이 원래의 훈련 데이터 없이도 쓸모 있는 재생을 스스로 만들 수 있음을 보였습니다. 그래서 논문은 한 걸음 더 나아간 질문을 합니다. 모델이 자신의 능력을 더 넓게 지킬 보존 대상을 고르는 일을 도울 수 있는가. 이것이 제목의 “자기 보존”의 뜻입니다.
방법은 과제 설명과 선택적 예시를 “과제 은행”으로 정리하고, 그 항목을 선택하고 조합해 동결된 모델의 재생 생성을 이끄는 것입니다. 과제 은행 자기 재생에서는 업데이트 전의 동결된 모델이 선택된 항목의 재생 데이터를 만들고, 미세조정 동안 새 과제 예시와 섞습니다. 은행은 무엇을 재생할지의 명세와 그를 위해 만든 예시를 분리하므로 모델의 능력 전체 목록이 필요 없습니다. 저자들은 Qwen3-0.6B, 1.7B, 4B에서 지시 미세조정 실험을 했고 새 과제는 MedQA와 TRACE의 C-STANCE입니다. 은행에는 MMLU, HellaSwag, GSM8K, BoolQ가 있고 ARC-Challenge, WinoGrande, PIQA, SVAMP는 재생 구성과 대상 선택에서 제외되어 은행 밖의 보호를 잽니다. 망각 진단에는 Qwen3.5-4B도 포함되며 결과는 다섯 시드의 평균입니다.
평가에서 논문은 “보존율”, 곧 훈련 전에 맞히던 문제가 훈련 뒤에도 맞는 비율을 강조합니다. 평균 정확도는 손실을 가리기 때문입니다. 어떤 과제의 향상이 다른 과제의 하락을 상쇄할 수 있고 새로 맞히게 된 문제가 전에 맞히던 문제의 손실을 상쇄할 수 있습니다. 첫째 발견은 훈련의 선택이 망각의 모양을 정한다는 것입니다. 새 과제와 학습률이 어떤 옛 능력이 떨어지는지에 영향을 주고, 낮은 학습률은 새 과제 학습과 보존을 함께 개선할 수 있습니다. 둘째는 생성된 재생이 은행 밖 과제의 망각을 줄인다는 것입니다. 두 부분 은행을 결합하면 세 규모 모두에서 은행 밖 과제의 평균 보존율이 단일 은행보다 높아지며 결합 은행은 88.70%, 93.28%, 96.01%에 이릅니다. 셋째는 모델이 재생 대상을 고르는 일을 도울 수 있다는 것입니다. 4B에서 새 과제 정보에 기반한 선택은 은행 밖 과제의 평균 보존율을 95.69%로 높여 무작위 선택의 92.94%, 은행만의 선택의 93.42%를 앞서며 무작위보다 2.75포인트 많고 새 과제 향상은 비슷했습니다. 더 작은 모델에는 대응하는 이점이 없습니다.
강조할 유보점이 몇 가지 있습니다. 첫째, 예시 수를 고정하면 새 과제 예시를 재생으로 바꿀 때 보존은 좋아지지만 새 과제의 향상은 작아집니다. 이는 맞교환이지 공짜 이득이 아닙니다. 둘째, 논문 스스로 시범 연구라고 합니다. 결론은 보고된 모델, 과제, 짧은 업데이트에만 해당하고 더 긴 기간의 누적은 범위 밖입니다. 셋째, 가장 큰 모델이 4B이고 선택의 이점도 그곳에서만 나타나므로 더 큰 모델과 더 많은 과제로의 확장은 후속 연구가 필요합니다. 미세조정을 하는 엔지니어에게 가장 실용적인 것은 측정 방식입니다. 평균 정확도만 보지 말고, 이전에 맞히던 답이 얼마나 아직 맞는지도 물어야 합니다.
Sources
FAQ
여기서 “자기 보존”은 무슨 뜻인가요?
지속 학습에서 능력을 보존한다는 뜻입니다. 사전학습된 모델은 새 지식을 넣거나 전문화하려면 추가 훈련이 필요하지만 미세조정은 이미 아는 것을 떨어뜨릴 수 있고 이것이 파국적 망각입니다. 흔한 대책은 보호하기로 고른 옛 과제를 재생하는 것인데 그 과제들은 모델이 아는 것의 일부만 덮고 망각은 그 밖으로도 번집니다. 논문은 모델이 무엇을 보호할지 고르는 일을 도와 자신의 능력을 더 넓게 지킬 수 있는지 묻습니다. AI가 꺼지지 않으려고 행동하는 일과는 무관합니다.
논문의 방법은 무엇인가요?
저자들은 과제 설명과 선택적 예시를 “과제 은행”으로 정리합니다. 과제 은행 자기 재생은 업데이트 전의 동결된 모델이 선택된 항목에 대한 재생 데이터를 만들고 미세조정 중 새 과제 예시와 섞습니다. 무엇을 재생할지의 명세와 그를 위해 만든 예시가 분리됩니다. 비교한 것은 세 가지입니다. 새 과제와 학습률이 어떤 옛 능력을 떨어뜨리는지, 두 부분 은행의 결합이 은행 밖의 보호를 개선하는지, 새 과제 정보로 재생 대상을 고르는 것이 무작위나 은행만의 선택보다 나은지입니다.
결과는 어떻고 유보할 점은 무엇인가요?
Qwen3 0.6B, 1.7B, 4B를 쓰고 새 과제는 MedQA와 C-STANCE입니다. 은행에는 MMLU, HellaSwag, GSM8K, BoolQ가 있고 ARC-C, WinoGrande, PIQA, SVAMP는 재생 구성과 선택에서 제외됩니다. 두 부분 은행을 결합하면 세 규모 모두에서 은행 밖 과제의 평균 보존율(원래 맞히던 답이 계속 맞는 비율)이 단일 은행보다 높아집니다. 4B에서 새 과제에 기반한 선택은 95.69%로 무작위 92.94%, 은행만 93.42%보다 높고 작은 모델은 이점이 없습니다. 예시 수를 고정하면 새 과제 예시를 재생으로 바꿀수록 보존은 좋아지지만 새 과제의 향상은 줄어듭니다. 저자들은 시범 연구이며 시험한 모델, 과제, 짧은 업데이트에 한정된다고 합니다.