[연구]AI2, 긴 문서 상태 추적 벤치마크 'StateBench' 공개
앨런 인공지능 연구소(Ai2)가 긴 문맥 속에서 엔티티의 상태 변화를 모델이 얼마나 잘 추적하는지 측정하는 벤치마크 'StateBench'를 발표했습니다. 실험 결과 트랜스포머 기반의 최신 프론티어 모델들도 복잡한 연쇄 상태 추적 작업에서는 길이가 길어질수록 성능이 급격히 떨어지는 것으로 나타났습니다.
전문 읽기접기
무슨 일이야
StateBench는 코드 내 변수 재할당이나 긴 소설 속 물건의 이동처럼, 문서가 진행되면서 엔티티의 정보가 바뀌는 과정을 언어 모델이 제대로 따라가는지 평가합니다. 대수학의 크론-로드(Krohn–Rhodes) 이론을 바탕으로 단순 변수 덮어쓰기 수준부터 연쇄 의존성이 높은 형태까지 총 4가지 난이도로 설계되었습니다.
연구진은 Olmo 3(트랜스포머)와 Gated DeltaNet 레이어를 더한 Olmo Hybrid 등 오픈 가중치 모델뿐만 아니라 최신 프론티어 모델군을 함께 테스트했습니다. 실험 결과 Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol 및 Luna 모두 단순한 r-trivial, aperiodic 단계는 잘 처리했으나, 난이도가 높은 soluble 및 general finite 단계에서는 문맥이 길어질수록 정확도가 13% 이하로 떨어졌습니다.
반면 특정 상태 추적 작업에 직접 학습을 진행했을 때는 Gated DeltaNet 같은 순환(recurrent) 및 하이브리드 구조가 기존 트랜스포머보다 훨씬 긴 길이까지 일반화 성능을 보이는 것으로 확인됐습니다.
왜 중요해
단순히 문맥 안에서 정보를 찾는 니들인어헤이스택(NIAH) 류의 검색 테스트와 달리, 실제 에이전트 작업이나 코드 실행 추론은 연속적인 상태 변경을 추적해야 합니다. 이번 연구는 최신 프론티어 LLM이라도 복잡한 상태 추적에는 이론적·실질적 한계가 뚜렷하며, 이를 극복하기 위해 순환 및 하이브리드 아키텍처 도입이 왜 필요한지 실증적으로 보여줍니다.
짚고 넘어갈 점
동일한 수학적 난이도의 문제라도 프롬프트 형식에 따라 점수 편차가 컸습니다. 275M 크기의 하이브리드 모델이 RULER 형태의 문제에서는 만점에 가까웠지만, 스프레드시트 편집 형태로 포맷을 바꾸면 무작위 수준으로 점수가 떨어지는 등 모델이 포맷 변화에 취약한 점은 여전한 과제로 보입니다.
참고: Hugging Face
댓글 0
첫 댓글을 남겨보세요.