Ai2发布StateBench：四级长文档状态跟踪基准显示，前沿模型在自我引用和一般有限问题上随长度骤降，直接训练的混合与GDN模型泛化更远，但全部是合成变量赋值任务

2026年11月3日，艾伦人工智能研究所（Ai2）在Hugging Face博客发文介绍StateBench，这是一个测试语言模型在长文档里“状态跟踪”能力的基准，也就是文档中的实体不断变化时，模型能否记住它们的最新状态。技术报告已发布在arXiv（编号2611.03094，11月2日提交，作者Jackson Petty、William Merrill和Ashish Sabharwal），数据在Hugging Face，代码在GitHub。需要先说清一点：这套基准里的任务是合成的变量赋值序列，不是真实文档，所以结果说明的是在这类受控任务上的表现，不能直接等同于真实使用中的失败率。

StateBench分为四个难度级别，可以用编程里的变量赋值来理解。第一级是“R-trivial”，使用不可变赋值，变量一旦设定就不再变化，模型只需找回最初的值，比如出生日期。第二级是“非周期”，允许按值重新赋值，只需找到最近一次的值，像恒温器的最新设定。第三级是“可解”，加入自我引用的更新，每次更新都建立在当前值上，要把变化一路带下去，像游戏得分。第四级是“一般有限”，加入按引用赋值，一个变量可以取另一个变量的当前值，例如交换两个变量，类似魔术师把球藏在五个杯子之一并反复交换杯子，这就是难度最高的S5问题。这些级别也对应Krohn–Rhodes理论里有理论依据的区分。为了公平比较，研究者从一个一般有限的赋值序列出发，推导出三个更容易的版本，变量数、取值数和赋值位置都相同，只有赋值的类型不同。同一个底层问题还用多种格式出题，比如RULER风格和电子表格编辑。

先看开源预训练模型。测试包括两个70亿参数的模型，Olmo 3（Transformer）和Olmo Hybrid（加入了Gated DeltaNet层，简称GDN），以及2.75亿和27亿参数的小模型，它们用同样的数据预训练，训练时都没有见过超过6.4万token的上下文，测试时长度大多远远超过它。结果是：几乎所有模型在R-trivial上表现良好，在非周期问题上随输入变长而下降，在一般有限问题上停留在随机水平。题目格式也有影响：2.75亿参数的混合模型和GDN模型在RULER风格的R-trivial问题上接近满分，把同一个问题换成电子表格编辑的说法，却接近随机。这也是StateBench要用多种格式出同一个问题的原因。

再看四个前沿模型：Gemini 3.8 Flash、Claude Opus 5.5以及GPT-6 Sol和Luna。要求它们读完每一串变量赋值，写出每个变量的最终值。四个模型在R-trivial和非周期问题上都表现良好，但在可解和一般有限问题上，准确率随输入变长急剧下降，最长的一般有限问题上降到13%或更低。文章认为一个可能的因素是“敏感度”：难度更高的级别里，有更多步骤会影响最终答案，漏掉一次更新就更容易让结果出错。文章没有给出推理设置、重复次数或使用工具的细节，这些会影响对比。

接着是直接训练。研究者从头训练了几个2.75亿参数的模型：两个Transformer变体、两个混合模型、两个记忆更新约束不同的GDN变体，训练序列最长256次赋值，测试序列最长6.4万次赋值，是训练最大长度的250倍。长度增加后，不同架构开始分化：GDN和混合模型在R-trivial、非周期和可解问题上，直到测试的最长序列（数万次赋值）都几乎完美泛化；Transformer学会了较容易的级别，但序列变长后性能下降，而且始终没有学会一般有限问题；在最难的级别上，记忆更新更灵活的GDN变体泛化得最远，在大约十倍于训练时最长序列的长度上仍接近完美。文章据此认为，对GDN和混合模型，差距来自训练而非架构，直接训练后它们能处理预训练版本做不到的级别，而Transformer即使直接训练也学不会最难的级别。

文章还列出尚未解决的问题。新证明表明，记忆更新受限（特征值非负）的GDN可以解决所有非周期任务和某些周期任务，比如判断某个重复输入出现了偶数次还是奇数次，前提是论文设定的定精度舍入运算。需要注意，文章写的是“非负特征值”，而arXiv摘要写的是“正特征值”，两处措辞不一致，这里不替作者统一。它在层次中的确切位置、能否解决所有可解任务、数值精度或与注意力层结合会有什么影响，都还是开放问题。StateBench还假设变量数量固定，而真实任务常常会不断出现新的实体，比如长对话里出现新的人和物，当前框架还没有覆盖这种情形。