[모델]vLLM 시맨틱 라우터, '디시전 3.0' 오픈소스 모델 공개
vLLM 시맨틱 라우터 프로젝트에서 멀티모달 의사결정 모델 라인업인 '디시전 3.0(Decision 3.0)'을 공개했습니다. 텍스트를 따로 생성하지 않고 텍스트와 이미지에 대한 선택지, 예/아니오, 점수 평가 질문을 한 번의 호출로 처리하는 모델입니다.
전문 읽기접기
무슨 일이야
vLLM 시맨틱 라우터(vLLM Semantic Router)가 새로운 오픈 의사결정 모델 시리즈인 '디시전 3.0'을 내놓았습니다. 이번에 공개된 모델은 총 5종으로, 매개변수 크기는 0.8B부터 27B까지 다양하게 구성되어 있습니다. 라이선스는 아파치 2.0(Apache-2.0)으로 풀려 오픈소스로 자유롭게 활용할 수 있습니다.
이 모델들의 핵심은 텍스트 생성을 거치지 않는다는 점입니다. 텍스트와 이미지를 입력받아 선택형 질문, 예/아니오 판별, 점수 매기기 등의 판단 작업을 단 한 번의 호출로 즉시 처리하도록 설계되었습니다.
왜 중요해
라우팅이나 분류 작업에 일반적인 텍스트 생성형 거대언어모델(LLM)을 쓰면 불필요한 토큰 생성으로 인해 지연 시간과 비용이 늘어납니다. 디시전 3.0처럼 텍스트를 생성하지 않고 결정값만 바로 반환하는 모델을 파이프라인 앞단에 두면, 멀티모달 입력에 대한 라우팅과 필터링 효율을 크게 끌어올릴 수 있습니다.
짚고 넘어갈 점
원문에는 구체적인 벤치마크 성능 수치나 5개 모델의 세부 사양, 기존 라우팅 방식 대비 지연 시간 감소 폭 등 상세한 기술 데이터는 언급되지 않았습니다. 실무 파이프라인에 적용하기 전에 실제 환경에서의 분류 정확도와 처리 속도를 직접 검증해볼 필요가 있어 보입니다.
참고: MarkTechPost
댓글 0
첫 댓글을 남겨보세요.