[모델]엔비디아, 30B 오픈 MoE 모델 '네모트론 3.5 라이트닝' 공개

무슨 일이야

엔비디아가 새로운 오픈 MoE(Mixture of Experts) 모델인 '네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)'을 출시했습니다. 이 모델은 총 30B 파라미터를 보유하고 있지만, 추론 시에는 3B 파라미터만 활성화되어 연산 효율을 크게 높였습니다.

함께 공개된 '네모 스위치야드(NeMo Switchyard)'는 라우팅 전용 모델입니다. 에이전트 작업의 각 단계별 요구사항을 파악해, 이를 처리할 수 있는 가장 저렴하고 적합한 모델로 요청을 분산시켜 주는 역할을 맡습니다.

왜 중요해

이번 작업은 AI 에이전트의 실제 실행 레이어 효율화를 목표로 합니다. 전체 파라미터 대비 활성화 파라미터 비중을 낮춰 추론 비용과 지연 시간을 줄이면서도, 라우팅 시스템을 통해 복잡한 작업을 가성비 높은 방식으로 처리할 수 있게 돕습니다.

짚고 넘어갈 점

원문에는 네모트론 3.5 라이트닝의 구체적인 벤치마크 성능 수치나 기존 오픈소스 모델들과의 비교 데이터가 명시되어 있지 않아, 실제 작업 성능은 직접 테스트를 통해 확인이 필요해 보입니다.

참고: MarkTechPost