[모델]텍스트 대신 확률 뱉는 '의사결정 AI' 모델들 비교

무슨 일이야

기존 생성형 AI와 달리, 텍스트가 아닌 잘 보정된 확률(calibrated probabilities) 자체를 결과물로 내놓는 '의사결정 AI' 모델 제품군이 등장하고 있습니다. 정형화된 질문에 대해 생성 텍스트를 파싱할 필요 없이 수치화된 판단을 바로 얻는 방식입니다.

대표 주자로 꼽히는 TypeSafe의 Jev는 입력 토큰 백만 개당 0.042달러라는 낮은 비용을 내세웠습니다. 응답 시간도 70밀리초에서 500밀리초 수준으로 실시간 처리에 맞췄습니다.

이 분야에서는 Jev 외에도 Fastino의 GLiDE, GLiNER2.5-Decide를 비롯해 4개의 오픈소스 경쟁 모델들이 벤치마크를 두고 경쟁하고 있습니다.

왜 중요해

일반 LLM으로 분류나 판별 작업을 수행하면 불필요한 토큰 생성으로 비용과 레이턴시가 크게 늘어납니다. 이처럼 확률값을 직접 반환하는 특화 모델을 쓰면 운영 비용을 대폭 낮추면서도 빠른 응답 속도를 확보할 수 있어, 라우팅이나 필터링 같은 파이프라인 구축에 유리합니다.

참고: MarkTechPost