[도구]파이토치 2.15 출시, 맥 MPS에 FP8 지원 및 MoE 속도 대폭 개선
파이토치 2.15에서 애플 실리콘 맥을 위한 MPS(Metal Performance Shaders) 백엔드가 대대적으로 개선되었습니다. FP8 지원으로 메모리 사용량을 크게 줄였으며, 전용 메탈 커널 도입으로 MoE 모델의 디코딩 속도가 이전 버전 대비 최대 6.5배 빨라졌습니다.
전문 읽기접기
무슨 일이야
허깅페이스 파이토치 팀과 커뮤니티가 협력해 파이토치 2.15의 MPS 백엔드 성능을 대폭 끌어올렸습니다. 가장 눈에 띄는 변화는 FP8(torch.float8_e4m3fn) 지원입니다. 기존 BF16 대비 절반의 메모리만 차지하며, F.scaled_mm을 활용한 스케일링 행렬 곱셈 연산이 가능해졌습니다.
LLM 추론 속도도 크게 개선되었습니다. 특히 MoE(전문가 혼합) 모델의 디코딩 속도가 2.14 버전 대비 5배에서 최대 6.5배 빨라졌습니다. 예컨대 M3 Ultra 환경에서 Qwen3.6-35B-A3B 모델의 생성 속도는 초당 9.4토큰에서 61.3토큰으로 급증했습니다. 이는 GPU-CPU 간 동기화를 줄이고 네이티브 그룹 행렬 곱(grouped matmul) 커널을 메탈로 직접 구현한 덕분입니다.
이 외에도 어휘 대상 소프트맥스 연산 속도가 약 8배 빨라졌으며, Wan2.2 모델의 비디오 VAE 디코딩 메모리 피크가 기존 270GiB에서 8GiB로 줄어드는 등 비디오 및 오디오 작업 부하 전반에서 최적화가 이뤄졌습니다.
왜 중요해
맥북이나 맥 스튜디오 등 애플 실리콘 환경에서 로컬 LLM을 구동하거나 ComfyUI 같은 생성형 AI 도구를 돌리는 개발자들의 작업 환경이 크게 쾌적해집니다. 기존에는 MPSGraph를 거치며 발생하던 성능 저하와 병목을 전용 메탈 커널로 대체하면서, 엔비디아 GPU 없이도 대형 모델과 MoE 구조를 로컬에서 훨씬 실용적인 속도로 다룰 수 있게 되었습니다.
짚고 넘어갈 점
이번 2.15 버전부터 요구 사양이 상향되어 macOS 15 이상 및 Python 3.11 이상의 환경에서만 동작합니다. 구형 OS를 사용 중인 환경에서는 업그레이드가 필요합니다.
참고: Hugging Face
댓글 0
첫 댓글을 남겨보세요.