📰 AI뉴스#AI뉴스
[모델]2비트 Saluki 27B 툴 콜링 성능 및 실행 가이드 공개
방앗간지기10.25 0
2비트 수준으로 극단적 양자화를 거친 Saluki 27B 모델의 실행 가이드와 성능 비교가 공개됐습니다. 순정 llama.cpp 환경에서 메모리 점유율과 BFCL 툴 콜링 벤치마크 결과를 분석했습니다.
전문 읽기접기
무슨 일이야
Underdog의 Saluki 27B 모델을 2비트 환경에서 구동하는 튜토리얼과 분석 내용이 공유됐습니다. 이번 가이드는 Qwen3.8-27B 기반으로 보이는 Saluki 27B와 ISTA의 GSQ-RCO 양자화 방식을 함께 다룹니다.
분석에서는 별도 수정 없는 순정 llama.cpp 환경을 기준으로 삼았습니다. GGUF 헤더 구조와 실제 메모리 사용량을 확인하고, BFCL(Berkeley Function-Calling Leaderboard) 기준 툴 콜링 성능을 비교 측정한 것으로 나타났습니다.
왜 중요해
27B급 파라미터를 가진 중대형 모델을 2비트까지 압축해 순정 llama.cpp에서 돌릴 수 있다면 로컬 환경의 메모리 부담을 크게 줄일 수 있습니다. 특히 경량화 환경에서도 툴 콜링(Tool-Calling) 능력이 어느 수준으로 유지되는지 확인하는 기준점이 될 수 있습니다.
짚고 넘어갈 점
원문에는 2비트 환경에서의 구체적인 BFCL 정확도 수치나 기존 4비트·8비트 대비 성능 저하 폭이 구체적으로 공개되지 않았습니다. 실무에 바로 적용하기 전 실제 작업 환경에서의 툴 호출 성공률을 직접 검증해볼 필요가 있습니다.
참고: MarkTechPost
댓글 0
첫 댓글을 남겨보세요.