リリアン・ウォンが解明するスケーリング則：事前学習の測定誤差と不変量ドリフト

背景と歴史的経緯：スケーリング則の神話と直面する壁

2020年にKaplanらによって提唱され、その後のChinchilla研究によって洗練された「ニューラルスケーリング則（Neural Scaling Laws）」は、現代の大規模言語モデル（LLM）開発における絶対的な指導原理として君臨してきました。モデルパラメータ数、学習データ量、そして投入する計算資源（FLOPs）を一定の比率でスケールさせれば、交差エントロピー損失は美しいべき乗則（Power Law）に従って決定論的に減少し続ける――このシンプルな経験則こそが、世界中のテクノロジー企業に巨額のGPUインフラ投資を決断させた原動力でした。開発チームは数億パラメータ規模の小規模モデルでべき乗則の傾きを計測し、その直線を外挿（エクストラポレーション）することで、数千億から数兆パラメータ規模の学習計画を立案してきました。

しかし、計算予算が10^26 FLOPsを超える極限領域へと突入した現代において、この素朴なスケーリング信仰は深刻な綻びに直面しています。フロンティアAI各社の研究現場からは、べき乗則の外挿予測が大規模領域で下方に外れ始める現象、いわゆる「スケーリングの壁（Scaling Wall）」が相次いで報告されています。検証用データセットにおける損失低下のペースが急速に鈍化するだけでなく、損失値の順調な低下と、GSM8KやHumanEvalといった実用的なベンチマーク性能の向上との間に大きな乖離が生じるケースが常態化してきました。

こうした業界全体の混乱と議論に対して、元OpenAIのセーフティ研究責任者であり、著名なAIリサーチャーであるリリアン・ウォン（Lilian Weng）氏が極めて重要な論文『Scaling Laws, Carefully: Measurement Errors and Invariant Shifts in Modern Pre-training』を発表しました。ウォン氏は「スケーリングは限界を迎えたのか」という表層的な二元論を退け、統計物理学と実験科学の観点から問題の深層を解明しています。彼女が導き出した結論は極めて明快です。すなわち、業界が「物理法則の破綻」と恐れている現象の多くは、未熟な測定手法が生み出した「測定誤差（Measurement Errors）」と「前提不変量のドリフト（Invariant Shifts）」による統計的錯覚に過ぎないという点です。

測定を歪める3つの構造的要因：データ飽和、トークナイザ、ベンチマーク汚染

ウォン氏は、現代の事前学習においてスケーリング観測を歪めている根本要因として、以下の3点を詳細に分析しています。 第一に、**学習データの限界品質劣化と飽和効果**です。従来のスケーリング則は、データが無限かつ均一な分布から独立同分布（i.i.d.）で抽出されることを前提としていました。しかし、数十兆トークンを消費する現代の学習において、人類が生み出した高品質なテキスト資源はすでに枯渇しています。現場では合成データや複数回のクリーニングを経たウェブテキストが大量に投入されていますが、データ量の拡大に伴い、1トークンあたりに含まれる新規の情報エントロピーは必然的に希薄化します。小規模モデルの実験では厳選された最高純度のデータのみが使用されるのに対し、大規模モデルでは低純度データが混入せざるを得ないため、小規模モデルから求めたべき乗則の傾きは必然的に楽観的になりすぎます。

第二に、**トークナイザーの語彙拡張と情報密度の変遷**です。業界ではモデルの性能指標として「トークンあたりの負の対数尤度（NLL per token）」が広く用いられています。しかし、トークンは物理的な普遍単位ではありません。多言語対応やマルチモーダル統合に伴い、近年のモデルでは語彙サイズが32Kから128K、256Kへと急拡大しています。語彙サイズが拡大すると、同一の文章を表現するのに必要なトークン数が減少し、1トークンが担う情報量（ビット数）は増加します。ウォン氏は、トークンベースの損失比較では最大30%もの測定誤差が生じることを数理的に示し、バイト単位（Bits-per-Byte, BPB）での正規化を行わなければ、真のスケーリング効率を評価することは不可能であると警告しています。 第三に、**評価指標の非線形性とテストデータの汚染**です。実務において重視されるベンチマークの正解率（Accuracy）は、閾値を超えた瞬間に急激に立ち上がる離散的な性質を持っています。このため、事前学習による内部表現の滑らかな改善が、表面的なスコアに反映されにくい構造があります。さらに深刻なのがデータの混入（Contamination）です。インターネット全体を網羅する超巨大コーパスでは、評価データセットの漏洩を完全に防ぐことは極めて困難です。小規模モデルでは暗記できなかった問題パターンを、大容量の大規模モデルだけが丸暗記してしまうことで、見かけ上の性能跳ね上がりが生じ、真の汎化性能の伸びが隠蔽されてしまいます。

標準化された測定不変量フレームワークの提唱

これらの測定バイアスを排除し、事前学習に科学的再現性を取り戻すため、ウォン氏は以下の4つの「測定不変量（Measurement Invariants）」の導入を提唱しています：

1. **バイト単位の情報理論指標（Bits-per-Byte Invariant）**：トークナイザーの語彙設計に左右されるトークン単位の指標を全廃し、UTF-8バイト基準のビット消費量（BPB）を統一的な評価尺度とする。

2. **情報エントロピー加重計算量（Entropy-Weighted Compute）**：単なる積和演算数（FLOPs）のカウントを改め、プローブネットワークを用いて入力データの情報密度を動的に測定し、「実効計算量」としてスケーリング軸を再定義する。

3. **連続的表現プロービング（Continuous Representation Probing）**：正誤判定のみの離散スコアではなく、モデル内部の出力確率分布や不確実性（キャリブレーション誤差）を追跡することで、能力の連続的な進化を精密に捕捉する。

4. **隔離型ブラインドボックス評価（Isolated Blind-Box Benchmarking）**：評価データを完全に隔離された動的環境で生成・管理し、学習コーパスへの混入を物理的に遮断する評価体制を確立する。

産業界への示唆と今後の展望

リリアン・ウォン氏による分析は、感覚的な力技に頼ってきたフロンティアAI開発に冷徹な科学のメスを入れるものです。スケーリング則は死んだのではなく、より洗练された測定科学（Metrology）を必要とする成熟期に入ったと言えます。

今後、事前学習の物理的限界が正確に把握されるにつれて、推論時計算（Test-time Compute）や強化学習（RL）との適切な役割分担がより明確になるでしょう。基礎的な世界モデルの構築と、複雑な推論タスクの実行をどのように分離して設計すべきか――ウォン氏の洞察は、次世代のAIアーキテクチャを模索する世界中のエンジニアにとって不可欠な羅針盤となります。