[모델]2B 문서 추출 모델, 프론티어 LLM 성능 넘었다
Dharma-AI가 문서에서 원하는 필드만 JSON 형태로 바로 추출하는 2B 파라미터 크기의 경량 모델 'Field Extractor'를 공개했습니다. 오픈 스키마나 지정된 스키마에 맞춰 정보를 정형화하며, 대형 프론티어 모델 API보다 저렴한 자체 호스팅 비용으로 더 높은 추출 정확도를 기록했습니다.
전문 읽기접기
무슨 일이야
Dharma-AI가 문서 내 특정 정보를 JSON 형태로 추출해 주는 특화 모델 'Field Extractor'를 선보였습니다. 기존 OCR은 문서 전체 텍스트만 읽어내기 때문에 데이터베이스 입력 전 매핑 작업이 따로 필요했고, 범용 LLM은 대량 처리에 비용과 지연 시간이 크다는 한계가 있었습니다.
이번 모델은 기존 DharmaOCR-LITE v1.1(2B)을 기반으로 제작되었습니다. 지도 미세조정(SFT)과 DPO를 거친 베이스 모델 위에 영수증, 송장, 서식, 은행 명세서, 신분증 등 다양한 도메인 데이터 43,384건을 학습시킨 LoRA 어댑터를 적용했습니다.
요청 방식은 두 가지를 지원합니다. 문서 내 모든 정보를 알아서 가져오는 자유 요청과, 원하는 필드를 미리 정의해 넘기는 스키마 지정 방식입니다. 스키마를 넘기면 문서에 없는 값은 정확히 null로 처리하고, 키 구조를 그대로 유지한 정형 JSON을 출력합니다.
왜 중요해
546개 문서 기반 벤치마크(총 1,638건)에서 Claude Opus 5 대비 1.8점, GPT-5.6 Luna 대비 9.3점 높은 점수를 기록했습니다. 평가에는 경로 일치 여부 기반 F1 스코어와 레벤슈타인 유사도, 유효 JSON 반환 비율이 모두 반영되었습니다.
비용 측면에서도 단일 L40S GPU 자체 호스팅 기준으로 프론티어 LLM API 대비 약 6배에서 최대 147배까지 비용을 낮췄습니다. 대량의 서류나 송장 파싱을 고가의 상용 API에 의존하던 파이프라인을 온프레미스 경량 모델로 대체할 실질적 대안이 나온 셈입니다.
짚고 넘어갈 점
비용 비교 수치는 클라우드 API 토큰 단가와 단일 L40S 대여 비용(시간당 2.24달러)을 단순 비교한 것으로, 실제 운영 환경의 트래픽 변동이나 유휴 자원 발생 여부에 따라 절감 체감 폭은 달라질 수 있습니다.
참고: Hugging Face
댓글 0
첫 댓글을 남겨보세요.