📰 AI뉴스#AI뉴스
[연구]스탠퍼드, 문서를 16개 토큰으로 압축하는 메모리 모듈 공개
방앗간지기5일 전 0
스탠퍼드 대학교 연구진이 동결된 LLM을 위한 잠재 메모리 시스템 'Memorilla'를 오픈소스로 공개했습니다. 방대한 문서 모음을 단 16개의 메모리 토큰으로 압축해 모델의 입력 부담을 대폭 줄여줍니다. FactKG 벤치마크에서 기존 전체 컨텍스트 대비 108배 적은 토큰만 사용하고도 84.33%의 성능을 달성했습니다.
전문 읽기접기
무슨 일이야
스탠퍼드 연구팀이 동결된(frozen) 언어 모델에 연결해 쓸 수 있는 메모리 모듈 'Memorilla'를 오픈소스로 배포했습니다. 이 시스템은 문서 모음의 정보를 잠재 공간에서 단 16개의 메모리 토큰으로 압축해 전달하는 구조입니다.
실험은 Qwen3-8B 모델을 기반으로 진행되었습니다. 그 결과 FactKG 벤치마크에서 전체 컨텍스트를 직접 넣었을 때보다 108배 적은 문서 토큰을 사용하면서도 84.33%의 정확도를 기록했습니다.
왜 중요해
긴 문서를 컨텍스트 윈도우에 그대로 집어넣는 방식은 연산 비용과 지연 시간을 크게 늘립니다. Memorilla처럼 극단적으로 토큰을 압축하는 접근법이 실용화되면, 고정된 작은 모델에서도 방대한 외부 지식을 훨씬 가볍고 효율적으로 처리할 수 있을 것으로 보입니다.
참고: MarkTechPost
댓글 0
첫 댓글을 남겨보세요.