[도구]방대한 태그 분류, LLM에 통째로 넣지 말고 '환각'시켜 매핑하자

무슨 일이야

블로그에 1,856개의 태그가 쌓여 있는 등 분류 체계(Vocabulary)가 너무 방대하면, LLM에 전체 태그 목록을 프롬프트로 넘겨 "이 중 맞는 것을 골라라"고 요청하기 어렵습니다. 컨텍스트 크기 문제나 비용, 성능 저하가 발생하기 쉽기 때문입니다.

이에 대해 Doug Turnbull은 모델에게 기존 태그 목록을 전혀 알려주지 않고 자유롭게 어울리는 태그를 상상(환각)해서 출력하게 만드는 해결책을 제시했습니다. 모델이 본문에 맞춰 적절한 태그 형태를 자유롭게 생성하면, 이를 벡터 임베딩으로 변환해 기존 1,856개 태그 코퍼스 중 가장 유사한 실제 태그를 찾아 매핑하는 방식입니다.

프롬프트 작성 시에는 태그의 구성 형태(계층 구조 예시 등)만 몇 개 예시로 제공해 모델이 데이터 형식에 맞춰 추론하도록 돕는 방식을 추천합니다. 예를 들어 가구, 홈 인테리어 등의 계층형 카테고리 예시만 보여주고 새로운 분류를 만들어내게 유도하는 식입니다.

왜 중요해

분류 카테고리가 수천 개 이상으로 방대해 LLM 분류 작업을 적용하기 까다로웠던 작업에 유용한 트릭입니다. 프롬프트 토큰 소모를 대폭 줄이면서도 임베딩 검색을 결합해 기존 분류 체계 안으로 안전하게 결과를 안착시킬 수 있습니다.

참고: Simon Willison