SIGGRAPH 2022 영상: 비전과 비주얼 최적화

https://www.reddit.com/r/AR_MR_XR/comments/wicwp0/meta_reality_labs_douglas_lanman_breaks_down_the/

https://youtu.be/z_AtSgct6_I

해당 영상의 타임 스탬프는 다음과 같습니다.

• 키노트: AR과 VR의 과제 / 지각적으로 사실적인 캡처 및 디스플레이 시스템
• 렌즈리스 카메라를 통한 압축된 센싱
• 차세대 컴퓨터 디스플레이 - 컴퓨터 생성 홀로그래피
• 그래픽에서 지각의 실제 모델
  

---

키노트 이미지들과 간단한 설명

소개

각종 매체의 특성과 그 중에서의 VR, AR/MR의 위치

VR, AR을 구현하는데 해결해야할 중요한 도전과제들

높은 해상도

넓은 FOV

AR에서는 넓은 FOV를 확보하기란 어려운 일

20도라고 해도 그렇게 넓지가 않다

무게와 크기 (두께)

여기서는 도파관 또는 프리즘, 렌즈 등의 광학 장비가 중요하게 작용한다.

홀로그래픽 옵틱의 사진.

다양한 방법으로 광학 장비들을 개선하고 얇고 가볍게 만드려는 노력들이 있다.

이걸 다 했다해도 아직 여전히 갈 길이 멀다. 사용자의 시력에 맞춰서 보여줄 능력이 필요하다.

수렴-조절 불일치도 해결해야한다. 가상의 환경은 심도가 있지만 현실의 디바이스에는 한계가 있다.

다양한 방법으로 이걸 해결하려고 하고 있다. 이를 표로 정리한 것.

일부 솔루션에서는 아이트래킹이 필요한데, 아이트래킹 또한 속눈썹이나, 눈꺼풀에 의해서 제대로 되지 않는 경우가 있고

사람의 눈을 추적하는것은 사람마다 눈이 다르기때문에 난이도가 있다.

사용자가 얼굴을 움직이거나 할때 사용자의 눈이 중심축에서 벗어나게 되어 렌즈의 바깥쪽에 위치하게 될 수록 왜곡이 발생한다. 쉽게 말하자면 렌즈의 바깥 부분에서 볼 때 발생하는 이미지 왜곡이다.

이를 Pupil swim이라고 부른다.

좌측에 표시된 Percived image의 그리드가 기울어진 것이 그 예시

HDR 또한 도전 과제 중 하나이다.

윗 사진의 좌측 컬러 패스스루는 이전 게시글 참고:

Meta, VR/패스스루 AR용 뉴럴 뷰 합성 방법 - https://arca.live/b/vrshits/54144733

외부에 디스플레이를 설치해서 밖에서 안을 보는것도 좀 엉성한 방법이긴 한데 흥미로울 것이다.

얼굴 재구축

다른 사람들과 상호작용하는 경우 필요할 일.

2015년에 헤드셋 폼에 센서들을 넣는 방식으로 이를 구현해본적이 있음