애플ML, NeuMan: 하나의 영상에서 인간과 장면을 재구성

https://machinelearning.apple.com/research/neural-human-radiance-field

애플 ML 리서치에서 발행한 간행물입니다.

AR 경험에서 사실적 렌더링 및 인간의 자세 변경이 중요하다며 NeRF를 통해서 새로운 동작, 새로운 시점에서의 합성을 실시합니다.

10초 분량의 짧은 영상만으로도 새로운 포즈의 고화질 인간, 새로운 뷰의 배경을 렌더링 할 수 있으며 인간의 모델을 훈련시킬때 옷감의 주름 및 액세서리를 포함하여 주제별 세부 사항을 학습시킬 수 있습니다.

좌상: 트레이닝 영상

우상: 정규화된 사람

(이거 아님)

좌하: 배경 렌더링

우하: 새로운 포즈 합성 렌더링

하나의 영상에서 사람을 추출하여 정규화하고, 배경을 학습합니다.

그리고 학습한 배경에서 정규화한 사람을 새로운 포즈로, 새로운 관점에서 렌더링 할 수 있습니다.