뉴스/정보
기타 분류

메타 리얼리티 랩스 - 완전한 코덱 텔레프레즌스

작성자 정보

  • 게이머여울 작성
  • 작성일

컨텐츠 정보

  • 309 조회
  • 0 추천
  • 0 비추천
  • 목록

본문


https://youtu.be/CM2rhJWiucQ



코덱 텔레프레즌스를 어떻게 구현할지에 대한 이야기가 나옵니다.



Meta 코덱 아바타: 얼굴의 경우에는 불쾌한 골짜기를 건너고 있음. - https://arca.live/b/vrshits/50397156

Meta, 아바타의 표정변화를 사실적으로 하기 위한 7nm 커스텀 칩셋 개발 - https://arca.live/b/vrshits/49532515

코덱 아바타를 통하여 사람을 구현하고


50943a840953ca2f03726b8d8016e759af397d1a88b56da58050dc39b0c93fe8.png

머리카락을 트래킹하여 데이터를 얻고 신경망을 통해 학습시켜 렌더링 시킵니다.


0a8bcef4e3e5f31a280870709d6b934efc4466f71bb12877cc8d94f322f3a4e0.png


오디오가 어떻게 들리느냐 또한 중요하기때문에 수많은 마이크를 가져다놓고 데이터를 수집합니다.



1e4bfd44465bf471d1ebfcc4f70ef43f0ec1e97a913521973e75e63405d845e9.png


ca77f94c6a699786b78b31caa8c84ddcbaafc862280c7f1c0b41db035821599d.png



해당 데이터를 통해 어떻게 들려야 하는지에 맞춰 자동으로 조정됩니다.




fa7b38adecc6fbff7a38094510d8743aa351923e400cf7bee0bd73a211b1d7fd.png


환경에 대한 것도 감안해야한다.

VR 내부의 광원이 아바타에 어떻게 영향을 미칠지에 대해서도 판단해야 한다.



2c96236849515341719aae7c1790f3f8ce5277e16e6a59cb211dd78aa022fc48.png



카메라를 통한 공간의 재구성




5d6ffeb56afef8fb7d943edf36d72e7c9024143a73d9724696ca274f718b7f87.png


오디오, 공간, 아바타라는 3가지를 합쳐 완전한 코덱 텔레프레즌스를 구현 할 수 있을 것

관련자료

댓글 0
등록된 댓글이 없습니다.
알림 0