[모델]샤오미, 비디오 객체 제거 평가용 벤치마크 'PROVE' 공개

무슨 일이야

샤오미 MiLM Plus 연구진이 비디오 객체 제거(Object Removal) 모델의 성능을 평가하기 위한 신규 벤치마크인 'PROVE'와 전용 평가 지표를 발표했습니다. 최근 디퓨전 기반의 제거 모델들은 그림자, 빛 반사, 가려졌던 구조까지 자연스럽게 복원할 정도로 발전했습니다.

하지만 기존에 사용되던 PSNR, SSIM, LPIPS, ReMOVE, CFD 같은 평가지표들은 이러한 고성능 모델의 결과물을 잘못 평가하는 경우가 자주 발생했습니다. 객체 제거는 하나의 정답만 존재하는 것이 아닌 일대다(one-to-many) 문제이기 때문에, 단일 정답(Ground Truth)과 일대일로 비교하는 기존 방식에는 구조적인 한계가 있었기 때문입니다.

샤오미 연구진은 이러한 문제를 해결하기 위해 사람의 인지 방식과 일치하도록 설계된 새로운 평가 지표인 RC-S와 RC-T를 제안했습니다. 실제 환경의 비디오 데이터를 기반으로 구축된 PROVE 벤치마크를 통해 보다 정확한 모델 성능 측정이 가능해졌습니다.

왜 중요해

객체 제거 기술은 급격히 발전했으나, 이를 제대로 측정할 '눈'이 없었던 정체 상황을 해소할 수 있게 됐습니다. 그동안 개발자들과 연구자들은 기존 평가 지표의 왜곡 때문에 실제 인지 품질이 뛰어난 모델을 객관적으로 입증하는 데 어려움을 겪어왔습니다.

사람의 실제 인지 성능과 정렬된 RC-S 및 RC-T 지표와 실제 비디오 기반의 PROVE 벤치마크가 도입됨에 따라, 향후 이미지 및 비디오 에디팅 관련 AI 모델 연구의 개발 방향성이 한층 더 명확해질 것으로 기대됩니다.

참고: MarkTechPost