릴리안 웡의 스케일링 법칙 심층 분석: 사전 학습의 측정 편향과 불변량 드리프트

배경 및 역사적 맥락: 스케일링 법칙의 신화와 직면한 한계

2020년 Kaplan 등의 선구적인 연구와 이후 Chinchilla 프레임워크를 통해 정립된 신경망 스케일링 법칙(Neural Scaling Laws)은 지난 수년간 거대언어모델(LLM) 생태계를 지배해 온 가장 강력한 기술적 교리였습니다. 모델 파라미터 수, 훈련 데이터양, 그리고 연산 예산(FLOPs)을 최적의 비율로 동시 확장하면 크로스 엔트로피 손실(Cross-Entropy Loss)이 거듭제곱 법칙에 따라 예측 가능하게 감소한다는 이 원리는 전 세계 테크 기업들이 천문학적인 자본을 GPU 인프라에 투입하도록 만든 결정적 근거였습니다. 수억 파라미터 수준의 소규모 모델에서 도출한 손실 감소 기울기를 선형 외삽하여 수천억, 수조 파라미터 규모의 차세대 파운데이션 모델 학습 계획을 수립하는 방식이 표준 관행으로 자리 잡았습니다.

그러나 사전 학습 연산량이 10^26 FLOPs를 넘어서는 극한 영역에 진입한 현재, 산업계 전반에서 단순한 스케일링 예측이 빗나가는 이른바 '스케일링의 벽(Scaling Wall)'에 부딪히고 있습니다. 수많은 엔지니어링 현장에서 검증 손실의 개선 속도가 급격히 둔화되거나 예측 곡선에서 이탈하는 현상이 목격되고 있으며, 무엇보다 사전 학습 손실의 완만한 하강이 GSM8K, HumanEval, MMLU-Pro 등 실제 문제 해결 벤치마크 점수의 향상으로 직결되지 않는 괴리 현상이 심화되었습니다.

이러한 기술적 혼란 속에서 전 OpenAI 핵심 정렬 연구 책임자이자 저명한 AI 연구자인 릴리안 웡(Lilian Weng)이 발표한 심층 분석 논문 『Scaling Laws, Carefully: Measurement Errors and Invariant Shifts in Modern Pre-training』은 인공지능 연구계에 지대한 반향을 일으키고 있습니다. 웡은 스케일링이 한계에 도달했다는 식의 단편적 결론을 내리는 대신, 실험 통계학과 정보이론의 관점에서 문제의 근본 원인을 해부했습니다. 그녀의 핵심 통찰은 우리가 관측한 스케일링의 왜곡이 신경망의 물리적 한계 때문이 아니라, 현대 사전 학습 파이프라인 전반에 누적된 '측정 편향(Measurement Errors)'과 '불변량의 구조적 드리프트(Invariant Shifts)'가 만들어낸 통계적 착시라는 점입니다.

측정 왜곡을 유발하는 3대 핵심 요인: 데이터 품질 포화, 토크나이저 변화, 평가 오염

릴리안 웡은 현대 사전 학습 관측치를 교란하는 3가지 핵심 메커니즘을 다음과 같이 체계적으로 분석합니다: 첫째, **데이터 품질의 한계적 포화와 정보 엔트로피 감소**입니다. 기존 스케일링 법칙은 데이터가 단일하고 균일한 고품질 분포에서 무한히 독립적으로 추출된다는 가정을 전제로 합니다. 그러나 수십조 토큰을 학습하는 현대 환경에서 인류가 축적한 순수 텍스트 자원은 이미 고갈되었습니다. 이에 따라 합성 데이터와 정제된 웹 텍스트가 대량 투입되고 있으나, 데이터 규모가 커질수록 추가되는 토큰당 실질 정보량은 급격히 희석됩니다. 소규모 실험에서는 최고 순도의 데이터만 선별 학습하는 반면 대규모 학습에서는 저순도 데이터가 섞여 들어가므로, 소규모 모델 기반의 예측 곡선은 필연적으로 지나치게 낙관적일 수밖에 없습니다.

둘째, **토크나이저 어휘 확장과 토큰당 정보 밀도 드리프트**입니다. 업계에서는 통상 토큰당 음의 로그 가능도(NLL per token)를 주요 척도로 활용합니다. 그러나 토큰은 불변의 물리적 측정 단위가 아닙니다. 다국어 지원과 코드 처리 능력 확장을 위해 토크나이저 어휘 사전이 32K에서 128K, 256K로 급격히 팽창하면서 동일한 문장을 표현하는 데 필요한 토큰 수가 크게 줄었습니다. 웡은 어휘 확장에 따른 압축률 변화를 보정하지 않고 토큰 단위 손실을 비교할 경우 최대 30%에 달하는 인위적 측정 왜곡이 발생함을 수학적으로 증명하며, 바이트 단위(Bits-per-Byte, BPB) 표준화의 필요성을 역설합니다. 셋째, **하류 벤치마크의 비선형성과 은닉된 데이터 오염**입니다. 실제 응용에서 중시되는 정확도 지표는 내부 임베딩의 점진적 개선을 포착하지 못하고 특정 임계값을 넘을 때 급격히 도약하는 비연속성을 가집니다. 더 치명적인 것은 웹 크롤링 과정에서 유입되는 벤치마크 데이터의 은닉 오염입니다. 대용량 모델일수록 오염된 테스트 문제 패턴을 수동적으로 암기하기 쉬워 실질적인 일반화 추론 능력의 정체에도 불구하고 표면적인 벤치마크 점수만 급등하는 착시가 발생합니다.

표준화된 측정 불변량 프레임워크의 정립

릴리안 웡은 이러한 측정 왜곡을 걷어내고 과학적 엄밀성을 회복하기 위해 4대 표준 측정 불변량(Measurement Invariants)을 제안합니다:

1. **바이트 단위 정보 척도(Bits-per-Byte Invariant)**: 토크나이저 구조에 종속적인 토큰 손실을 완전히 배제하고, 원시 UTF-8 바이트 기준의 정보 비트 소비량을 절대적 비교 척도로 확립합니다.

2. **엔트로피 가중 연산 예산(Entropy-Weighted Compute)**: 단순한 FLOPs 계산을 지양하고, 가벼운 프로브 신경망을 통해 입력 데이터의 실질적 정보 밀도를 측정하여 '유효 연산량'을 재산출합니다.

3. **연속적 표현 프로빙(Continuous Representation Probing)**: 이분법적 정답률 대신 모델 내부의 로짓 확률 분포와 보정 오차(Calibration Error)를 추적하여 잠재 능력의 진화를 연속적으로 측정합니다.

4. **격리형 블라인드 박스 평가(Isolated Blind-Box Benchmarking)**: 공용 인터넷과 차단된 독립 환경에서 동적으로 변형되는 평가 문제를 생성하여 데이터 오염 가능성을 원천 차단합니다.

산업계에 미치는 시사점과 미래 전망

릴리안 웡의 연구는 거대언어모델 사전 학습을 단순한 연산량 경쟁에서 정밀 계측 과학의 영역으로 전환시키는 중대한 이정표입니다. 스케일링 법칙이 붕괴한 것이 아니라, 우리의 측정 도구가 고도화된 모델 복잡성을 따라가지 못했음을 규명함으로써 무분별한 연산 자원 낭비를 방지할 과학적 토대를 제공합니다.

나아가 이는 사전 학습과 추론 시점 연산(Test-time Compute) 간의 최적 분업 구조를 설계하는 데도 결정적인 통찰을 제공합니다. 기초 지식의 압축과 심층 추론 과정을 명확히 분리하여 모델을 구축하려는 글로벌 엔지니어들에게 본 연구는 향후 수년간 핵심적인 가이드라인이 될 것입니다.