Ai2, 4단계 장문 맥락 상태 추적 벤치마크 StateBench 공개: 최전선 모델은 입력이 길어지면 자기 참조형과 일반형에서 급락하고 직접 훈련한 하이브리드·GDN 모델은 더 멀리 일반화하지만 모든 과제는 합성 데이터

2026년 11월 3일 앨런 AI 연구소(Ai2)는 Hugging Face 블로그에서 장문 맥락 상태 추적 벤치마크 StateBench를 소개했습니다. 긴 문서에서 개체가 변해 갈 때 언어 모델이 그 정보를 얼마나 잘 따라가는지를 재는 것입니다. 기술 보고서는 arXiv(2611.03094, 11월 2일 제출, 저자 Jackson Petty, William Merrill, Ashish Sabharwal)에, 데이터는 Hugging Face에, 코드는 GitHub에 있습니다. 먼저 짚어 둘 점은 이 벤치마크의 과제가 변수 대입의 합성 열이지 실제 문서가 아니라는 것입니다. 따라서 결과는 통제된 과제에서의 동작을 보여 주는 것이며 실제 사용에서의 실패율이 아닙니다.

StateBench는 프로그래밍의 변수 대입에 대응하는 네 가지 난이도가 있습니다. R-trivial은 불변 대입으로, 값이 바뀌지 않아 처음 설정된 값만 찾으면 되며 생년월일 같은 것입니다. 비주기 문제는 값에 의한 재대입을 허용해 가장 최근 값이 필요하고 온도 조절기 설정 같은 것입니다. 가해(soluble) 문제는 자기 참조 갱신을 더해 각 갱신이 현재 값 위에 쌓이며 게임 점수 같은 것입니다. 일반 유한 문제는 참조에 의한 대입을 더해 한 변수가 다른 변수의 현재 값을 가져가고 두 변수를 맞바꾸는 일이 생기며, 마술사가 다섯 개 컵 중 하나에 공을 숨기고 컵을 계속 바꾸는 것과 같습니다. 이것이 가장 어려운 단계인 S5 문제입니다. 이 단계들은 Krohn–Rhodes 이론에 근거한 구분이기도 합니다. 공정한 비교를 위해 연구자들은 하나의 일반 유한 열에서 출발해 변수 수, 서로 다른 값의 수, 대입 위치가 같고 대입의 종류만 다른 쉬운 세 가지 버전을 만들었습니다. 같은 문제는 RULER 형식과 스프레드시트 편집 등 여러 형식으로도 출제됩니다.

첫 번째 시험은 공개된 사전 훈련 모델로 했습니다. 70억 매개변수의 Olmo 3(트랜스포머)와 Olmo Hybrid(Gated DeltaNet, 줄여서 GDN 층 추가), 그리고 2억 7,500만과 27억 매개변수의 작은 모델입니다. 모두 같은 데이터로 사전 훈련되었고 훈련 중 6만 4,000토큰이 넘는 맥락을 본 모델은 없으며, 대부분 그 길이를 훨씬 넘겨 시험했습니다. 거의 모든 모델이 R-trivial에서는 좋았고 비주기에서는 입력이 길어질수록 정확도가 떨어졌으며 일반 유한에서는 우연 수준에 머물렀습니다. 형식도 영향을 주었습니다. 2억 7,500만 매개변수의 하이브리드와 GDN은 RULER 형식의 R-trivial에서 거의 만점이었지만 같은 문제를 스프레드시트 편집으로 바꾸자 우연에 가까웠습니다. 이것이 StateBench가 같은 문제를 여러 형식으로 내는 이유 중 하나입니다.

두 번째 시험은 최전선 모델 네 개, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol과 Luna로 했고, 변수 대입 열을 읽고 모든 변수의 최종 값을 쓰게 했습니다. 네 모델 모두 R-trivial과 비주기에서는 좋았지만 가해와 일반 유한에서는 입력이 길어질수록 정확도가 급락해 가장 긴 일반 유한 문제에서는 13% 이하로 떨어졌습니다. 글은 가능한 요인으로 민감도를 듭니다. 어려운 단계에서는 최종 답에 영향을 주는 단계가 훨씬 많아 갱신 하나를 놓치면 결과가 틀리기 쉽습니다. 이 실행의 추론 설정, 반복 횟수, 도구 사용은 글에 나와 있지 않으며 이런 세부 사항은 비교에 영향을 줄 수 있습니다.

세 번째는 직접 훈련입니다. 연구자들은 2억 7,500만 매개변수 모델을 처음부터 여러 개 훈련했습니다. 트랜스포머 두 변형, 하이브리드 두 개, 기억 갱신 제약이 다른 GDN 두 변형입니다. 훈련 열은 최대 256회 대입이었고 시험은 최대 6만 4,000회까지, 즉 훈련 최대 길이의 250배까지 했습니다. 열이 길어지자 아키텍처 사이에 차이가 벌어졌습니다. GDN과 하이브리드는 R-trivial, 비주기, 가해 문제에서 시험한 가장 긴 열, 수만 회 대입까지 거의 완벽하게 일반화했습니다. 트랜스포머는 쉬운 단계는 배웠지만 긴 열에서 성능이 떨어졌고 일반 유한 문제는 끝내 배우지 못했습니다. 가장 어려운 단계에서는 기억 갱신이 더 유연한 GDN 변형이 가장 멀리 일반화해 훈련 최대 열의 약 10배까지 거의 완벽했습니다. 글은 GDN과 하이브리드에서는 격차가 아키텍처가 아니라 훈련 쪽을 가리킨다고 봅니다. 직접 훈련하면 사전 훈련 버전이 못 하던 단계를 다뤘기 때문이며, 트랜스포머는 직접 훈련해도 가장 어려운 단계를 배우지 못했습니다.

글은 미해결 질문도 적습니다. 새 증명에 따르면 기억 갱신이 더 제한된(고유값이 음이 아닌) GDN은 논문이 가정한 반올림이 있는 고정 정밀도 연산에서 모든 비주기 과제와, 반복된 입력이 짝수 번인지 홀수 번인지 가리는 것 같은 일부 주기 과제를 풀 수 있습니다. 글은 “음이 아닌 고유값”이라고 쓰고 arXiv 초록은 “양의 고유값”이라고 써서 표현이 다르므로 그대로 나란히 보여 줍니다. 계층 안에서의 정확한 위치, 모든 가해 과제를 풀 수 있는지, 수치 정밀도나 어텐션 층과의 결합이 어떤 영향을 주는지는 열려 있습니다. StateBench는 변수의 수가 고정이라고 가정하지만 실제 과제에서는 긴 대화에서 새로운 사람과 사물이 등장하듯 새 개체가 나타나는 일이 많고 현재 틀은 그 경우를 다루지 않습니다.