[연구]IBM, 토큰 사용량 60% 줄인 에이전트 메모리 기법 'ALTK-Evolve' 공개

무슨 일이야

AI 에이전트가 복잡한 다단계 작업을 수행할 때 실패하는 이유는 지식 부족보다 특정 API를 제대로 쓰지 못하는 등 '사용법'을 숙지하지 못해서인 경우가 많습니다. 최근 주목받는 ACE(Agentic Context Engineering)와 IBM의 ALTK-Evolve는 에이전트의 수행 기록을 별도의 가중치 업데이트 없이 학습하여 다음 추론에 활용하는 에이전트 메모리 시스템입니다.

두 시스템 모두 에이전트가 얻은 교훈을 함부로 요약하거나 압축하지 않고 개별 기록을 유지해야 한다는 점에는 동의합니다. 하지만 메모리를 구축하고 에이전트에 전달하는 방식에서 차이가 납니다. ACE는 에이전트가 행동할 때마다 모든 레슨이 담긴 전체 지침서(Playbook)를 매번 프롬프트에 주입합니다. 반면 ALTK-Evolve는 중복된 레슨을 클러스터링하여 통합하고, 개별 작업에 필요한 최적의 가이드라인만 선별해서 에이전트에 전달합니다.

왜 중요해

에이전트를 활용한 서비스 구축 시 가장 큰 걸림돌 중 하나는 지속적으로 누적되는 토큰 비용입니다. ALTK-Evolve는 매 단계마다 전체 지침서를 보낼 필요 없이, 상황에 맞는 몇 개의 가이드라인만 검색해 전달함으로써 추론 비용을 획기적으로 줄였습니다.

AppWorld 벤치마크 테스트 결과, 고성능 모델(DeepSeek-V3.2)을 사용했을 때 ALTK-Evolve는 ACE 대비 약 40% 수준의 추론 비용만 사용하면서도 정확도 및 작업 성공률에서 상회하는 모습을 보였습니다. 상대적으로 성능이 낮은 모델(gpt-oss-120b)에서도 ACE와 대등한 정확도를 기록하면서 비용은 약 7분의 1 수준으로 절감했습니다.

짚고 넘어갈 점

쉬운 단계나 중간 난이도의 작업에서는 전체 지침서를 통째로 전달하는 ACE 방식이 모델에 따라 간혹 더 높은 성능을 보였습니다. 즉, 무조건 가이드라인을 추출·선별해 전달하는 것이 항상 우월하다고 단정할 수는 없으며, 모델의 처리 능력과 작업 난이도에 따라 메모리 전달 방식을 유연하게 조율할 필요가 있습니다.

참고: Hugging Face