Ai2、4段階の長文脈状態追跡ベンチマークStateBenchを公開：フロンティアモデルは自己参照型と一般型で入力が長くなると急落、直接訓練したハイブリッドとGDNはより遠くまで一般化、ただし課題はすべて合成

2026年11月3日、アレン人工知能研究所（Ai2）はHugging Faceのブログで、長文脈の状態追跡のベンチマークStateBenchを紹介しました。長い文書の中で実体が変化していくとき、言語モデルがその情報をどれだけ追えるかを測るものです。技術報告はarXiv（2611.03094、11月2日提出、著者はJackson Petty、William Merrill、Ashish Sabharwal）に、データはHugging Faceに、コードはGitHubにあります。最初に断っておくと、このベンチマークの課題は変数代入の合成列であり、実際の文書ではありません。したがって結果は統制された課題での振る舞いを示すもので、実利用での失敗率ではありません。

StateBenchには4つの難易度があり、プログラミングの変数代入に対応します。R-trivialは不変の代入で、値が変わらないため、最初に設定された値を思い出せばよく、生年月日のようなものです。非周期は値による再代入を許し、最新の値が必要で、サーモスタットの設定のようなものです。可解は自己参照の更新を加え、各更新が現在の値の上に積み重なり、ゲームのスコアのようなものです。一般有限は参照による代入を加え、ある変数が別の変数の現在の値を取り、2つの変数の入れ替えのような操作が入ります。手品師が5つのカップの1つにボールを隠して何度も入れ替えるようなもので、これがS5問題、最も難しいレベルです。各レベルはKrohn–Rhodes理論に基づく区別にも対応しています。公平に比べるため、研究者は1つの一般有限の列から、変数の数、異なる値の数、代入の位置が同じで代入の種類だけが違う3つの易しい版を作っています。同じ問題はRULER形式やスプレッドシート編集など複数の形式でも出されます。

最初の検証にはオープンな事前学習モデルが使われました。70億パラメーターのOlmo 3（Transformer）とOlmo Hybrid（Gated DeltaNet、略してGDNの層を追加）、さらに2億7,500万と27億パラメーターの小型モデルです。すべて同じデータで事前学習され、学習中に6万4,000トークンを超える文脈を見たものはなく、多くはそれをはるかに超える長さで検証されました。ほぼすべてのモデルはR-trivialでは良好でしたが、非周期では入力が長くなるにつれて精度が落ち、一般有限では偶然水準にとどまりました。形式も影響しました。2億7,500万パラメーターのハイブリッドとGDNは、RULER形式のR-trivialではほぼ満点でしたが、同じ問題をスプレッドシートの編集として出すと偶然に近い結果でした。StateBenchが同じ問題を複数の形式で出す理由の1つです。

次の検証では4つのフロンティアモデル、Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolとLunaが使われ、変数代入の列を読んで各変数の最終値を書くよう求められました。4つともR-trivialと非周期では良好でしたが、可解と一般有限では入力が長くなると精度が急落し、最長の一般有限では13%以下まで下がりました。記事は要因の1つとして感度を挙げています。難しいレベルでは最終的な答えに影響する手順がずっと多く、更新を1つ見落とすと結果が狂いやすくなります。これらの実行について、推論設定、繰り返し回数、ツール利用は記事に書かれておらず、比較に影響しうる点です。

3つ目は直接訓練です。研究者は2億7,500万パラメーターのモデルをゼロから複数訓練しました。Transformerの2種、ハイブリッドの2種、記憶更新の制約が異なるGDNの2種です。訓練列は最大256回の代入で、テストは最大6万4,000回、訓練最大長の250倍まででした。列が長くなるにつれてアーキテクチャの差が出ました。GDNとハイブリッドは、R-trivial、非周期、可解で、テストした最長の列、数万回の代入までほぼ完全に一般化しました。Transformerは易しいレベルは学んだものの、長い列では性能が落ち、一般有限は学習できませんでした。最難レベルでは、記憶更新がより柔軟なGDNが最も遠くまで一般化し、訓練時の最長列のおよそ10倍まで完全に近い状態を保ちました。記事は、GDNとハイブリッドについては差がアーキテクチャではなく訓練にあるとみています。直接訓練すれば事前学習版ができなかったレベルを扱えたためで、一方Transformerは直接訓練しても最難レベルを学べませんでした。

未解決の問いも挙げられています。新しい証明によれば、記憶更新が限定された（固有値が非負の）GDNは、論文が前提とする丸めのある固定精度演算のもとで、すべての非周期課題と、繰り返しの入力が偶数回か奇数回かを判定するような一部の周期課題を解けます。なお、記事は「非負の固有値」と書き、arXivの要旨は「正の固有値」と書いており、表現が異なるため、そのまま並べて示します。階層の中での正確な位置、すべての可解課題を解けるか、数値精度や注意層との組み合わせがどう影響するかは未解決です。StateBenchは変数の数が固定と仮定していますが、実際の課題では、長い会話で新しい人や物が現れるように新しい実体が出てくることが多く、現在の枠組みはそれを扱っていません。