[연구]스탠퍼드·UC버클리, 긴 문맥 프리필 최대 11배 가속하는 TokenGate 공개
스탠퍼드와 UC 버클리 연구진이 긴 문맥 처리 시 중요 토큰만 골라 처리하는 모듈 'TokenGate'를 공개했습니다. 기존 오픈소스 LLM에 바로 붙여 쓸 수 있으며, 첫 토큰 생성 시간(TTFT)을 최대 11.3배 단축하고 프리필 메모리를 대폭 줄였습니다. 코드와 가중치는 아파치 2.0 라이선스로 풀렸습니다.
전문 읽기접기
무슨 일이야
스탠퍼드대와 UC 버클리 연구진이 긴 문맥의 프리필(prefill) 속도를 크게 끌어올리는 토큰 가지치기 모듈 'TokenGate'를 발표했습니다. 트랜스포머 모델은 모든 토큰을 전 레이어에 통과시키기 때문에 입력 길이가 늘어날수록 연산 비용이 급증하는데, TokenGate는 중요한 토큰만 선별해 전체 연산을 수행하도록 돕습니다. 연구팀에 따르면 정확도 손실 없이 첫 토큰 생성 시간(TTFT)은 1.4배에서 최대 11.3배 빨라졌고, 프리필 피크 메모리도 1.5배에서 3.4배 감소했습니다.
핵심은 미분이 불가능한 Top-K 선별 방식을 MoE(Mixture-of-Experts) 라우터 기법을 빌려 엔드투엔드로 학습 가능하게 만든 점입니다. 선별된 토큰의 점수를 어텐션 로짓의 바이어스로 전달해 그래디언트가 스코어러까지 흐르도록 설계했습니다. 학습 시에는 전체 문맥 손실과 무작위 예산(budget) 손실을 함께 평균 내어 반영하므로, 단 한 번의 게이트 학습으로 다양한 토큰 예산 설정에 대응할 수 있습니다.
연구팀은 Qwen3-1.7B 및 Qwen3.5-2B 모델을 바탕으로 RepoBench-P, 2WikiMultihopQA, NIAH 등 5개 벤치마크에서 FastKV, MInference 등 기존 방식과 성능을 비교했습니다. 하이브리드 구조인 Qwen3.5-2B의 32k NIAH 테스트에서는 레이어 3에 TokenGate를 적용했을 때 정확도 손실 없이 풀 프리필 대비 3.8배, FastKV 대비 2.1배 빠른 속도를 기록했습니다.
왜 중요해
기존의 학습 없는(training-free) 가지치기 방식은 높은 압축률에서 정확도가 크게 떨어지고, 모델 아키텍처를 바꾸는 접근은 바닥부터 사전 학습을 다시 해야 하는 부담이 있었습니다. TokenGate는 기존 사전 학습 모델에 가벼운 추가 학습(LoRA 유사 환경)만 거쳐 바로 끼워 쓸 수 있는 드롭인(drop-in) 방식이라 서빙 비용 절감에 즉각적인 도움이 됩니다. 실제 학습도 TRL/PEFT 파이프라인 기준으로 A100에서 평균 1.8시간 수준에 수렴해 적용 부담이 적습니다.
짚고 넘어갈 점
연구팀이 보고한 기존 베이스라인 대비 성능 향상은 각 기법의 실험 환경 차이가 있어 절대적인 직접 비교에는 한계가 있습니다. 또한 환경 구성 시 Python 3.10+ 및 CUDA PyTorch 2.9+ 버전이 요구되며, 최적의 속도를 내려면 별도의 FlashAttention-2 키 바이어스 커널을 써야 하고 그렇지 않을 경우 FlexAttention으로 폴백된다는 점을 고려해야 합니다.
참고: MarkTechPost
댓글 0
첫 댓글을 남겨보세요.