[도구]설명문만으로 학습 데이터를 만드는 'Invent a Dataset

무슨 일이야

Adaption Labs가 새로운 데이터 생성 도구 'Invent a Dataset'을 선보였습니다. 기존 방식처럼 기반이 되는 시드 코퍼스를 모으거나 복잡한 스키마를 직접 설계하지 않아도, 모델이 학습해야 할 행동 양식을 자연어로 설명하기만 하면 학습 준비가 끝난 구조화된 데이터를 만들어 줍니다.

사용 방식도 단순합니다. datasets.invent 함수를 한 번 호출하면서 데이터 도메인, 행(row) 수, 출력 형식, 언어 확장 여부 등을 지정하면 데이터가 생성됩니다. 결과물은 JSONL, JSON, CSV, Parquet 같은 범용적인 포맷으로 바로 다운로드할 수 있습니다.

또한 생성된 데이터셋의 ID는 자사의 모델 학습 도구인 'AutoScientist'로 곧바로 전달할 수 있습니다. 이를 통해 데이터 기획부터 실제 모델 학습까지의 과정을 하나로 잇는 파이프라인을 구성했습니다.

왜 중요해

AI 모델 파인튜닝을 진행할 때 가장 많은 시간과 비용이 들어가는 단계는 데이터 수집과 라벨링 가이드 작성입니다. 작업 설명문만으로 규격화된 데이터를 합성하고 이를 학습 파이프라인까지 직결할 수 있다면, 새로운 태스크에 대한 프로토타이핑과 모델 검증 주기가 대폭 단축될 수 있습니다.

짚고 넘어갈 점

원문에서는 내부에서 어떤 생성 모델을 사용하는지, 생성된 데이터의 품질 검증 메커니즘이나 구체적인 비용 체계는 공개되지 않았습니다. 실무에 도입하기 전 복잡한 엣지 케이스나 사실 관계 검증이 필요한 도메인에서도 쓸 만한 퀄리티가 나오는지는 직접 확인해 볼 필요가 있어 보입니다.

참고: MarkTechPost