[연구]구글, 에이전트 성능 개선 프레임워크 Harness² 오픈소스 공개
구글 클라우드 AI 리서치가 모델 가중치를 수정하지 않고 에이전트 주변 시스템을 최적화하는 프레임워크 'Harness²'를 오픈소스로 공개했습니다. 프롬프트, 도구, 메모리 등을 재귀적으로 개선해 정답 라벨이나 검증기 없이도 에이전트의 문제 해결 능력을 끌어올립니다.
전문 읽기접기
무슨 일이야
구글 리서치가 공개한 Harness²는 배포 환경에서 에이전트의 하네스(Harness)를 개선하는 플러그앤플레이 프레임워크입니다. 여기서 하네스는 프롬프트, 도구 인터페이스, 메모리, 스킬, 오케스트레이션 등 모델을 둘러싼 모든 구성 요소를 뜻합니다. 모델 가중치는 그대로 고정한 채 주변 코드와 설정을 최적화하는 방식입니다.
특히 정답 라벨이나 테스트 케이스가 없는 오픈월드 환경을 목표로 설계되었습니다. 이전 'Agentic Harness Engineering' 연구의 7개 파일 분할 구조를 확장해 컨텍스트 구성, 위임, 도구 루프 내 동작 등을 다룹니다. 탐색은 병렬 모드와 순차 모드를 지원하며, 예산 파라미터 k를 통해 탐색 규모를 조절합니다.
연구진이 WorkBuddy-Bench, JobBench, Harvey's LAB 등 3개 벤치마크에서 테스트한 결과, 상대적으로 성능이 낮은 실행기(Executor)일수록 더 큰 개선 폭을 보였습니다. 1단계 개선만으로 GLM-5가 기본 Gemini 3.5 Flash의 성능을 앞섰으며, Gemini 3.5 Flash(OpenCode 기반)는 k=5 병렬 재귀 적용 시 WorkBuddy 점수가 80.8까지 올랐습니다. 동시에 작업당 수행 단계 수도 줄어드는 효율을 보였습니다.
왜 중요해
더 큰 모델로 바꾸지 않고도 에이전트 성능을 끌어올릴 수 있는 현실적인 엔지니어링 접근법입니다. 비싼 파인튜닝이나 모델 교체 없이 주변 도구 인터페이스와 프롬프트 조합을 자동 개선해 비용과 작업 단계 수를 동시에 줄일 수 있습니다.
짚고 넘어갈 점
실제 모델 기반 실행을 위해서는 Node.js 20+, Google Cloud CLI, Vertex AI 프로젝트 등이 필요하며, 벤치마크 환경에 따라 Docker, Pandoc 등의 의존성이 요구됩니다. 또한 기본 에디터로 Claude Opus 4.8을 활용하는 등 하네스를 수정하는 상위 모델의 성능에 결과가 의존할 가능성이 있습니다.
참고: MarkTechPost
댓글 0
첫 댓글을 남겨보세요.