[연구]가중치 학습 없이 프롬프트만으로 고객센터 벤치마크 1위 달성
IBM 리서치 연구진이 모델 가중치를 수정하지 않고 시스템 프롬프트에 '학습된 행동 지침'만 추가해 고객 서비스 벤치마크 1위를 기록했습니다. ALTK-Evolve 프레임워크는 과거 시도에서 성공과 실패 경험을 규칙으로 추출해 기본 ReAct 에이전트에 주입하는 방식을 취합니다. 비추론 구형 모델인 GPT-4.1만으로도 최신 리더보드 점수를 넘어섰습니다.
전문 읽기접기
무슨 일이야
IBM 리서치가 고객 서비스 에이전트 벤치마크인 τ²-bench(타우 스퀘어드 벤치)에서 프롬프트 기반 메모리 학습 프레임워크 'ALTK-Evolve'로 소매 부문 1위를 달성했다고 밝혔습니다. 연구진은 파인튜닝이나 사람의 라벨링 없이, 기본 ReAct 구조의 에이전트 시스템 프롬프트 끝에 과거 경험에서 추출한 행동 지침(가이드라인) 목록만 덧붙였습니다.
에이전트는 훈련용 작업 데이터를 바탕으로 고객 인증, 거래 확인, 반품 처리 등 성공과 실패 패턴을 짧은 규칙 형태로 요약합니다. 이 규칙 추출과 실제 에이전트 실행 모두에 동일한 GPT-4.1 모델을 사용했습니다. 이렇게 축적된 지침은 테스트 환경의 시스템 프롬프트에 마크다운 목록 형태로 그대로 전달됩니다.
평가 결과, 소매(retail) 도메인에서 4회 연속 성공을 뜻하는 엄격한 지표인 Pass^4 점수가 기존 57.5%에서 67.5%로 10%포인트 올랐습니다. 항공(airline) 도메인에서도 35.0%에서 45.0%로 동일하게 10%포인트 상승했습니다. 평균 정확도 역시 소매는 78.1%에서 82.5%, 항공은 57.5%에서 65.0%로 개선되었습니다.
왜 중요해
복잡한 도메인 정책을 준수해야 하는 에이전트를 만들 때 값비싼 최신 추론 모델이나 추가 가중치 학습이 필수가 아닐 수 있음을 보여줍니다. 실패와 성공 기록에서 행동 규칙을 자동으로 추출해 프롬프트에 넣어주는 것만으로도 에이전트의 일관성과 신뢰도를 크게 끌어올릴 수 있습니다.
짚고 넘어갈 점
시스템 프롬프트에 지침 목록을 지속해서 추가하는 방식인 만큼, 규칙 수가 늘어날수록 입력 토큰 사용량과 비용이 함께 증가하는 구조로 보입니다.
참고: Hugging Face
댓글 0
첫 댓글을 남겨보세요.