[모델]IBM, 단일 엔드포인트 지원 Granite Switch 4.1 공개
IBM이 챗, 의사결정, 음성인식(ASR)을 단일 엔드포인트에서 처리하는 'Granite Switch 4.1'을 공개했습니다. 베이스 모델과 동일한 수준의 VRAM만 사용하면서 여러 전문 어댑터를 빠르게 전환해 구동하는 구조입니다. 8B와 30B 크기로 제공되며, 전용 SDK를 통해 사용자가 직접 어댑터를 조합할 수도 있습니다.
전문 읽기접기
무슨 일이야
IBM이 하나의 호스팅 엔드포인트에서 자연어 대화, 특화 의사결정, 음성 텍스트 변환을 모두 처리할 수 있는 'Granite Switch 4.1' 모델을 발표했습니다. 이번 릴리스에는 8B와 30B 파라미터 모델이 포함되며, 빠른 ASR 모델과 결정(Decision) 어댑터가 기본 탑재되었습니다.
핵심은 모듈형 구조인 '활성화 LoRA(Activated LoRAs, aLoRA)' 기술입니다. 기본 모델에서 생성된 KV 캐시를 이후 어댑터 기반 의사결정에서 그대로 재사용할 수 있어 추가 메모리 소모를 대폭 줄였습니다. 베이스 모델 하나를 띄울 정도의 GPU VRAM만으로 대화, 유해 콘텐츠 검사, 음성 전사 등 15개 이상의 플래그 작업을 실시간으로 처리합니다.
성능 측면에서는 5단계 RAG 워크플로 테스트를 통해 'Granite-Switch-4.1-30B'가 경쟁 범용 모델인 Jev-27B보다 훨씬 빠르게 작업을 완료했다고 밝혔습니다. 또한 3B 파라미터 모델 기반 테스트에서는 고전 게임 둠(Doom)을 초당 60~100회 결정 속도로 플레이하며 대화까지 수행하는 성능을 보여줬습니다.
왜 중요해
실무에서 멀티모달 파이프라인이나 RAG를 구축할 때, 음성 모델과 분류 모델, 생성 모델을 따로 띄우느라 들었던 GPU 인프라 비용을 크게 줄일 수 있습니다. vLLM 기반의 최적화와 결합되어 단일 엔드포인트에서 지연 시간 없이 작업 간 전환이 가능하다는 점도 운영상 큰 장점입니다.
자체 어댑터를 조합해 입맛대로 모델을 빌드할 수 있는 확장성도 제공합니다. IBM은 Mellea 환경에서 어댑터를 학습시킬 수 있는 Adapter SDK와 튜토리얼을 추가로 공개해 커뮤니티 생태계를 확장할 계획입니다.
참고: Hugging Face
댓글 0
첫 댓글을 남겨보세요.