[모델]IFM, 0.9B부터 375B까지 'K2 Horizon' 6종 공개

무슨 일이야

MBZUAI가 2025년 5월 출범한 연구소 IFM(Institute of Foundation Models)이 'K2 Horizon' 모델 제품군을 발표했습니다. 이번 릴리스에는 375B-A23B, 36B-A4B, 32B, 7B, 3.7B, 0.9B 등 총 6종의 체크포인트가 포함되었습니다.

단순히 체크포인트만 공개한 것이 아니라, 사전 학습에 사용된 말뭉치(pre-training corpus)도 함께 배포된 것이 특징입니다. 전체 모델군은 아파치 2.0 라이선스로 배포되어 자유로운 활용이 가능합니다.

왜 중요해

초소형 모바일 기기에 적합한 0.9B부터 대규모 분산 환경을 위한 375B MoE 구조까지 한 번에 풀렸습니다. 사전 학습 데이터셋까지 함께 제공되는 만큼, 오픈소스 진영에서 자체 연구와 파인튜닝을 진행하기에 선택의 폭이 크게 넓어졌습니다.

짚고 넘어갈 점

원문에는 구체적인 벤치마크 결과나 아키텍처의 상세 정보, 학습 말뭉치의 구체적인 규모 등이 완전히 드러나지 않아 추가적인 기술 문서 확인이 필요해 보입니다.

참고: MarkTechPost