[도구]GGUF·GPTQ·AWQ·EXL2 양자화 포맷 비교 정리

무슨 일이야

LLM 모델을 로컬이나 서버에서 효율적으로 돌리기 위한 포맷들을 비교 정리한 가이드가 나왔다. 대상 포맷은 GGUF, GPTQ, AWQ, EXL2, 그리고 EXL3다.

이 가이드는 단순 파일 컨테이너와 실제 양자화 방식을 구분해 설명한다. 또한 가중치당 비트 수(bits per weight), 캘리브레이션 과정, 그리고 각 포맷이 하드웨어와 어떻게 맞물리는지를 다룬다.

구체적으로는 애플 실리콘 맥, 일반 소비자용 GPU, 대규모 프로덕션 서빙 환경 등 사용자의 시스템 환경에 따라 어떤 포맷을 골라야 하는지 기준을 제시한다.

왜 중요해

로컬 LLM을 구동하거나 자체 인프라를 구축할 때 하드웨어 스펙에 맞는 최적의 포맷을 고르는 작업은 성능과 리소스 효율에 직결된다. 맥 환경인지, 엔비디아 계열 소비자용 GPU인지, 실제 서비스 배포 환경인지에 따라 적합한 양자화 포맷이 다르기 때문에 이를 체계적으로 비교한 기준은 실무자들에게 유용한 참고 자료가 될 것으로 보인다.

참고: MarkTechPost