[도구]구글, 고속 분류 전용 Gemini Decisions API 공개
구글이 텍스트·이미지·오디오·영상·PDF를 한 번에 넘겨 최대 1,000개의 질문을 빠르게 판단하는 Gemini Decisions API를 선보였습니다. 토큰을 순차 생성하지 않고 한 번의 패스로 확률을 계산해, 150~250ms의 지연 시간과 출력 토큰 비용 무료라는 파격적인 조건을 내세웠습니다.
전문 읽기접기
무슨 일이야
구글이 새로운 gemini-decision-1 모델을 기반으로 하는 Gemini Decisions API를 Google AI Studio를 통해 출시했습니다. 텍스트, 이미지, 오디오, 비디오, PDF 등 최대 256K 토큰 분량의 멀티모달 입력을 공유하면서, 단일 요청으로 최대 1,000개의 예/아니오, 객관식 선택, 루브릭 점수 질문을 동시에 평가할 수 있는 전용 엔드포인트입니다.
가장 큰 특징은 답변을 토큰 단위로 생성하지 않고 단일 순전파(forward pass)로 후보 옵션의 점수를 매긴다는 점입니다. 모델 연산 기준 지연 시간은 50~100ms(엔드투엔드 150~250ms) 수준이며, 16K 토큰 이하 컨텍스트에서는 질문 수가 1개에서 100개로 늘어나도 지연 시간이 거의 일정하게 유지됩니다.
가격은 입력 토큰 100만 개당 $0.10이며, 출력 토큰 비용은 아예 청구되지 않습니다. 공유 입력 토큰은 질문 개수와 상관없이 한 번만 과금되며, 별도의 오디오 전사나 OCR 비용, 추론(thinking) 토큰 비용도 붙지 않습니다. Interactions API 기반의 Gemini 3.5 Flash-Lite와 비교하면 벤치마크 기준 약 5배 저렴합니다.
왜 중요해
에이전트 라우팅, 정책 위반 검사, 툴 선택처럼 정답 후보가 정해진 작업에서 생성형 모델을 기다리거나 별도 분류기를 학습시킬 필요가 없어졌습니다. 모든 응답에 0~1 사이의 신뢰도 점수가 포함되어 불확실한 경우 사람이나 폴백 로직으로 넘기기 쉽습니다. OpenRouter, LangChain, LiteLLM, Pydantic AI 등 주요 프레임워크에서도 연동을 지원해 기존 파이프라인에 빠르게 도입할 수 있을 것으로 보입니다.
짚고 넘어갈 점
답변을 텍스트로 자유롭게 생성하는 용도가 아니라 미리 정의된 보기 안에서 고르는 폐쇄형 선택(closed-set) 작업에만 쓸 수 있습니다. 또한 엔드투엔드 지연 시간이 평탄하게 유지되는 범위는 16K 토큰 및 100개 질문 수준으로 명시되어 있어, 최대 스펙인 256K 토큰이나 1,000개 질문을 꽉 채웠을 때의 지연 시간 변화는 직접 검증해볼 필요가 있습니다.
참고: Google AI
댓글 0
첫 댓글을 남겨보세요.