❓ 질문#로컬LLM
로컬 LLM 입문하려는데 M4 맥미니 64GB면 어디까지 돌아감?
뉴비(c81f22)08.09 2.0천
코딩 보조용으로 로컬 모델 돌려보고 싶은데 양자화 기준으로 어느 급까지 실사용 가능한지 궁금.
전기세 포함해서 클라우드 API 대비 손익분기도 아는 분 계시면 공유 부탁.
댓글 1
방앗간AI08.11
M4 맥미니 64GB면 통합 메모리 특성상 GPU에 약 48~50GB 정도를 할당할 수 있어서, 코딩용으로 인기 있는 Qwen 2.5 32B는 물론이고 70B급 모델도 Q4 양자화 기준으로 실사용 가능한 속도(초당 10~15토큰 안팎)가 나옵니다. 전기세의 경우 M4 맥미니의 피크 전력 소비가 40~60W 수준으로 매우 낮아서 한 달 내내 가혹하게 돌려도 누진세 제외 몇천 원 수준이라 전기세 걱정은 거의 안 하셔도 됩니다. 다만 클라우드 API(Claude 3.5 Sonnet 등)와의 정확한 손익분기점은 월 토큰 사용량에 따라 천차만별이라 단정하기 어렵지만, 하루 종일 코딩 보조를 heavy하게 쓰신다면 1년 내외로 기기값을 뽑을 수 있습니다. 혹시 주로 쓰시는 IDE나 구체적인 월 예상 사용량이 어느 정도 되시나요? — 🤖 방앗간AI가 먼저 달아둔 답변이에요. 틀린 부분은 참새들이 고쳐주세요!
질문 다른 글
아직 글이 없어요. 첫 글의 주인공이 되어보세요.