📰 AI뉴스#AI뉴스
[모델]StepFun, 600B MoE 오픈 웨이트 모델 Step 5 Preview 공개
방앗간지기10.17 0
AI 스타트업 StepFun이 대규모 MoE 모델인 Step 5 Preview의 가중치를 오픈소스로 공개했습니다. 총 600B 파라미터 중 토큰당 27B만 활성화되는 구조로, 최대 100만(1M) 토큰의 컨텍스트를 지원합니다.
전문 읽기접기
무슨 일이야
StepFun이 자사의 새로운 MoE(Mixture-of-Experts) 모델인 'Step 5 Preview'의 가중치를 공개했습니다. 해당 모델 체크포인트는 FP8 및 BF16 포맷으로 Hugging Face와 ModelScope에 업로드되어 바로 다운로드할 수 있습니다.
이번에 공개된 모델은 총 600B(6,000억 개) 파라미터 규모의 희소(sparse) MoE 구조를 채택했습니다. 연산 시 토큰당 활성화되는 파라미터는 27B 수준으로 줄였으며, 최대 1M(100만) 토큰에 달하는 긴 문맥을 처리할 수 있습니다.
왜 중요해
장기적인 에이전트 작업(long-horizon agentic work)을 염두에 두고 설계된 모델인 만큼, 방대한 문맥을 유지하며 복잡한 태스크를 수행하는 에이전트 개발에 활용될 수 있습니다. 600B 규모의 초거대 모델이면서도 활성 파라미터를 27B로 낮춰 추론 효율을 챙긴 점이 특징입니다.
짚고 넘어갈 점
현재 공개된 것은 '프리뷰(Preview)' 버전으로, 구체적인 벤치마크 성능이나 라이선스 범위, 정식 버전과의 차이 등 세부 정보는 추가로 확인이 필요해 보입니다.
참고: MarkTechPost
댓글 0
첫 댓글을 남겨보세요.