[도구]허깅페이스, PyTorch 네이티브 TPU 지원 발표
허깅페이스가 PyTorch 네이티브 백엔드인 TorchTPU를 지원하며 구글 TPU 사용성을 대폭 개선했습니다. 이제 torch_xla나 JAX로 코드를 변환할 필요 없이 디바이스 지정만으로 Transformers와 Diffusers 모델을 TPU에서 바로 실행할 수 있습니다.
전문 읽기접기
무슨 일이야
그동안 구글 TPU에서 PyTorch 모델을 돌리려면 torch_xla를 거쳐야 했습니다. 이 방식은 텐서의 지연 실행(lazy evaluation) 특성 때문에 원치 않는 그래프 재컴파일이 빈번히 발생하고 디버깅이 어렵다는 고질적인 문제가 있었습니다. 허깅페이스가 이를 보완하기 위해 Optimum TPU를 제공해 왔으나 근본적인 해결책은 아니었습니다.
새로 도입된 TorchTPU는 TPU를 PyTorch의 네이티브 백엔드로 추가합니다. 이에 따라 Transformers와 Diffusers 등 허깅페이스 주요 생태계에서 일반 PyTorch 코드를 그대로 사용할 수 있게 되었습니다. 사용자는 별도의 변환 작업 없이 device_map="tpu"나 pipe.to("tpu")처럼 디바이스를 TPU로 지정하기만 하면 즉시 모델을 불러오고 실행할 수 있습니다.
성능 최적화 도구도 함께 지원합니다. 기본 eager 모드 외에도 torch.compile 연동과 TPU 전용 Pallas 커널을 활용할 수 있습니다. 예를 들어 Tokamax의 ragged-dot 커널을 MoE 모델에 적용할 경우, 배치 크기 64 조건에서 Qwen3-30B-A3B 모델의 디코딩 속도가 21.5배, Gemma 4 26B-A4B 모델은 12.8배 빨라졌습니다.
왜 중요해
엔비디아 GPU 외에 대체 가속기를 찾는 개발자와 연구자들에게 진입 장벽이 크게 낮아졌습니다. 기존에는 구글 클라우드 TPU 인프라를 활용하려면 JAX를 새로 배우거나 번거로운 프레임워크 변환 과정을 거쳐야 했습니다. 이제는 익숙한 PyTorch 문법과 허깅페이스 API를 그대로 유지하면서 대규모 분산 학습 및 서빙에 TPU를 손쉽게 투입할 수 있습니다.
짚고 넘어갈 점
아직 생태계 전환 초기인 만큼 완벽하게 안정화된 단계는 아닙니다. 허깅페이스 측에 따르면 Transformers 라이브러리 테스트 스위트의 TPU 통과율은 현재 96.5% 수준입니다. 지금까지 보고된 34건의 이슈 중 19건이 해결된 상태이며, 지속적인 야간 CI(Nightly CI) 구축과 수정 작업이 진행 중입니다.
참고: Hugging Face
댓글 0
첫 댓글을 남겨보세요.