[모델]엔비디아, 실시간 수술 시뮬레이션 모델 'Cosmos3-H-Dreams' 공개
엔비디아가 실제 수술 영상과 로봇 기구 제어 데이터를 학습해 실시간으로 수술 장면을 생성하는 월드 파운데이션 모델 'Cosmos3-H-Dreams'를 공개했습니다. 복강경 담낭절제술 환경을 구현했으며, RTX PRO 6000 GPU 1장에서 인터랙티브하게 구동됩니다.
전문 읽기접기
무슨 일이야
엔비디아가 수술 로봇 제어와 연동되는 생성형 실시간 시뮬레이션 모델 'Cosmos3-H-Dreams'를 발표했습니다. 이번 모델은 CMR Surgical의 Versius 수술 로봇 플랫폼에서 기록된 복강경 담낭절제술(Cholecystectomy) 임상 영상과 로봇 키네마틱스 데이터를 기반으로 학습되었습니다. 16B 파라미터 크기의 'Cosmos3-H-Embodied-Nano'를 기반 모델로 사용하며, 832x480 해상도 영상과 10Hz 주기로 정렬된 28개 제어 차원(양팔 포즈, 그리퍼, 에너지 제어 등)을 입력받습니다.
기존 물리 엔진 방식과 달리, 씬 지오메트리나 장기 변형을 수치 해석으로 계산하지 않고 비디오와 로봇 움직임 데이터로부터 시각적 역학을 직접 학습했습니다. 실시간 스트리밍 추론 라이브러리인 FlashDreams와 결합해 단일 NVIDIA RTX PRO 6000 GPU에서 인터랙티브한 속도로 작동합니다.
장시간 자율 생성 과정에서 오차가 누적되는 문제를 줄이기 위해 양방향 교사 모델을 인과적(causal) 학생 모델로 증류(distillation)하는 방식을 도입했습니다. Self-Forcing 기법과 KV 캐시를 효율적으로 압축하는 FadeMem 모듈을 적용했으며, 모델 체크포인트는 4스텝 및 2스텝 디노이징 모델 두 가지로 제공됩니다.
왜 중요해
실제 인체 내부는 기구 조작에 따라 장기가 늘어나고, 피나 연기가 시야를 가리는 등 물리적 변수가 매우 복잡합니다. 이를 전통적인 그래픽 시뮬레이터로 정밀하게 재현하려면 막대한 모델링 비용이 듭니다. 이번 연구는 생성형 AI 기반 월드 모델이 실제 임상 수준의 수술 로봇 훈련 및 시뮬레이션 도구로 쓰일 수 있음을 실시간 제어 수준에서 입증했습니다.
짚고 넘어갈 점
시각적인 사실성이 실제 생체역학적(biomechanical) 정확성을 완전히 보증하는 것은 아닙니다. 또한 학습 데이터에 없던 새로운 기구 조작이나 돌발 상황에서도 해부학적 일관성을 깨뜨리지 않고 얼마나 안정적으로 일반화할 수 있는지는 지속적인 검증이 필요합니다.
참고: Hugging Face
댓글 0
첫 댓글을 남겨보세요.