[도구]허깅페이스, AWS 트레이니움용 네이티브 백엔드 지원
허깅페이스 라이브러리가 AWS 트레이니움(Trainium)을 기본 가속기 장치로 직접 지원하기 시작했습니다. 새로 공개된 TorchNeuron 플러그인을 통해 별도 전용 툴을 거치지 않고도 표준 파이토치와 허깅페이스 코드를 그대로 쓸 수 있게 됩니다.
전문 읽기접기
무슨 일이야
허깅페이스가 AWS 트레이니움 가속기를 위한 신규 파이토치 백엔드 'TorchNeuron' 지원 소식을 공개했습니다. 그동안 트레이니움이나 인퍼런시아(Inferentia)를 사용할 때는 PyTorch XLA 기반의 optimum-neuron 라이브러리를 거쳐야 했습니다. 이 방식은 레이지 텐서(lazy tensors)와 정적 셰이프만 다룰 수 있어 그래프 브레이크마다 재컴파일이 필요했고, 전용 모델 클래스나 트레이너를 별도로 유지해야 하는 번거로움이 있었습니다.
TorchNeuron은 파이토치에 직접 통합되어 'neuron'을 네이티브 디바이스로 인식합니다. 이로 인해 즉시 실행(eager mode)은 물론 torch.compile, DTensor, FSDP2 같은 파이토치 표준 분산 처리 API를 바로 활용할 수 있습니다. Transformers, Diffusers, Accelerate, PEFT, TRL 등 주요 허깅페이스 라이브러리도 트레이니움을 일반 가속기처럼 취급하므로, 허깅페이스는 이제 Optimum Neuron 대신 라이브러리를 직접 사용하는 방식을 권장하고 있습니다.
지원 모델 범위도 대폭 늘어났습니다. Transformers의 텍스트 생성 추론 기준으로 가장 많이 쓰이는 상위 100개 모델 아키텍처 중 89%를 기본 지원하며, 이는 기존 Optimum Neuron v0.4.5의 지원율인 46%보다 크게 높아진 수치입니다. 코드에서도 별도 포크 라이브러리 대신 device_map="neuron" 같은 표준 인자만 넘기면 동작합니다.
왜 중요해
엔비디아 GPU 외에 대체 하드웨어로 트레이니움을 고려하던 팀들에게 개발 진입 장벽이 크게 낮아집니다. 기존에는 동일한 모델을 학습하거나 배포하더라도 트레이니움 전용 스크립트와 커스텀 코드를 따로 관리해야 했습니다. 이제는 GPU에서 쓰던 TRL 미세조정 코드나 Transformers 추론 코드를 거의 그대로 트레이니움 인스턴스에 적용할 수 있어 코드 관리 비용이 줄어듭니다.
짚고 넘어갈 점
완전한 GPU 수준의 유연성을 기대하기는 아직 이릅니다. 잦은 재컴파일을 방지하기 위해 생성 작업 시 정적 캐시(static cache) 사용이 강력히 권장되며, 현재 뉴런 백엔드는 토치 다이나모(Dynamo)의 자동 동적 셰이프를 컴파일하지 못해 관련 설정을 꺼두어야 합니다. TorchNeuron은 2026년 10월 20일부터 퍼블릭 베타로 제공될 예정입니다.
참고: Hugging Face
댓글 0
첫 댓글을 남겨보세요.