메타 리얼리티 랩스 - 완전한 코덱 텔레프레즌스

https://youtu.be/CM2rhJWiucQ

코덱 텔레프레즌스를 어떻게 구현할지에 대한 이야기가 나옵니다.

Meta 코덱 아바타: 얼굴의 경우에는 불쾌한 골짜기를 건너고 있음. - https://arca.live/b/vrshits/50397156

Meta, 아바타의 표정변화를 사실적으로 하기 위한 7nm 커스텀 칩셋 개발 - https://arca.live/b/vrshits/49532515

코덱 아바타를 통하여 사람을 구현하고

머리카락을 트래킹하여 데이터를 얻고 신경망을 통해 학습시켜 렌더링 시킵니다.

오디오가 어떻게 들리느냐 또한 중요하기때문에 수많은 마이크를 가져다놓고 데이터를 수집합니다.

해당 데이터를 통해 어떻게 들려야 하는지에 맞춰 자동으로 조정됩니다.

환경에 대한 것도 감안해야한다.

VR 내부의 광원이 아바타에 어떻게 영향을 미칠지에 대해서도 판단해야 한다.

카메라를 통한 공간의 재구성

오디오, 공간, 아바타라는 3가지를 합쳐 완전한 코덱 텔레프레즌스를 구현 할 수 있을 것