[연구]영상을 MuJoCo 코드로 복원하는 Code-as-World

무슨 일이야

Code-as-World는 실제 비디오 입력을 기반으로 편집 가능한 MuJoCo 씬 코드를 복원하는 에이전틱 루프 프레임워크입니다.

단순히 영상을 분석하는 데서 그치지 않고, 복원된 물리 환경을 검증한 뒤 이를 활용해 모델의 물리적 추론 능력을 학습시키는 데 초점을 맞췄습니다.

왜 중요해

실제 영상 데이터를 실행 및 수정이 가능한 물리 시뮬레이션 환경으로 바꾸면 로보틱스나 공간 지능 분야의 학습 데이터 부족 문제를 해결하는 데 도움이 될 수 있습니다. 가상 환경 구축에 드는 수작업 비용을 줄이고, 물리 엔진 기반의 정밀한 추론 학습이 쉬워집니다.

참고: MarkTechPost