Meta의 구동 체적 아바타 - VR/AR을 위한 옷을 입은 아바타의 실시간 고화질 렌더링

https://www.reddit.com/r/AR_MR_XR/comments/w6ye7k/meta_drivable_volumetric_avatars_realtime/

https://arxiv.org/abs/2207.09774

Texel-Aligned 기능을 사용하여 구동 가능한 체적 아바타 (구글 번역 + 추가 손질)

사실적인 텔레프레즌스는 현실과 구별할 수 없는 동적으로 합성된 모습을 구현하기 위해 충실도가 높은 신체 모델링과 충실한 방향을 갖는 진행이 모두 필요합니다. 이 작업에서 우리는 실제 사람의 전신 아바타를 모델링하고 움직이는 데 있어 두 가지 핵심 과제를 해결하는 종단 간 프레임워크를 제안합니다. 한 가지 과제는 몸 포즈와 같은 전역 저차원 매개변수화로 캡처할 수 없는 세부 사항과 역학에 충실하면서 아바타를 조종하는 것입니다. 우리의 접근 방식은 실제 조종 수행자가 훈련 코퍼스를 넘어 보여주는 주름과 모션으로 옷을 입은 아바타의 조종을 지원합니다. 기존의 전역 상태 표현이나 비모수적 화면 공간 접근 방식과 달리, 골격 기반 매개변수 모델의 구조적 사전과 관찰된 희소 이미지 신호를 동시에 활용할 수 있는 지역화된 표현인 텍셀 정렬 기능을 소개합니다. 또 다른 과제는 일반적으로 정확한 표면 추적이 필요한 시간적으로 일관된 옷을 입은 아바타를 모델링하는 것입니다. 이를 피하기 위해 우리는 체적 프리미티브의 혼합물을 관절 객체로 확장하여 새로운 체적 아바타 표현을 제안합니다. 관절을 명시적으로 통합함으로써 우리의 접근 방식은 자연스럽게 보이지 않는 포즈로 일반화됩니다. 우리는 또한 지역화된 관점 조건화를 도입하여 보기 종속적 모양의 일반화를 크게 향상시킵니다. 제안된 체적 표현은 전제 조건으로 고품질 메시 추적을 요구하지 않으며 메시 기반 대응에 비해 상당한 품질 개선을 가져옵니다. 실험에서 우리는 설계 선택을 신중하게 검토하고 도전적인 조종 시나리오에서 최첨단 방법을 능가하는 접근 방식의 효율성을 보여줍니다.