[모델]TypeSafe AI, 텍스트 대신 확률값 내는 모델 'Jev' 공개

무슨 일이야

TypeSafe AI가 텍스트 생성을 배제하고 확률 기반의 의사결정에 특화된 'Jev' 모델을 선보였습니다. Jev는 일반적인 언어 모델처럼 긴 문장을 만들어내는 방식이 아니라, 입력된 질문에 대해 타입이 정의된 결정을 확률 형태로 반환하도록 설계되었습니다.

요금 정책도 독특합니다. 입력 비용은 100만 토큰당 0.042달러 수준으로 책정되었으며, 출력 토큰에 대해서는 비용을 따로 받지 않습니다. 벤더 벤치마크와 API 관련 세부 사항, 문서화된 한계점 등도 함께 공유되고 있습니다.

왜 중요해

기존 LLM을 분류나 단순 판별 작업에 쓸 때 발생하던 불필요한 텍스트 생성 비용과 파싱 문제를 줄일 수 있습니다. 특히 출력 토큰이 무료이고 입력 비용도 매우 저렴해, 대규모 파이프라인에서 빠른 확률 기반 판단이 필요한 개발자들에게 유용한 대안이 될 것으로 보입니다.

짚고 넘어갈 점

벤더 측이 공개한 자체 벤치마크 결과에는 일정 부분 주의가 필요하며, 문서에 명시된 모델의 한계점 역시 실제 프로덕션 적용 전에 꼼꼼히 확인할 필요가 있습니다.

참고: MarkTechPost