동적 포비티드 렌더링의 효용성 및 레이턴시에 대한 글

https://twitter.com/ID_AA_Carmack/status/1391869530327052291

 

2021년 5월 존 카맥의 트윗.

 

동적 포비티드 렌더링을 사용했을때 렌더되는 픽셀의 수를 꽤 공격적으로 줄일수 없습니다.

왜냐하면 눈이 새로운 위치를 응시할때 아이트래킹을 수행하고, 렌더링을 진행한 뒤, 화면에 표시하는데에 있어서 레이턴시가 존재하고 이를 공격적으로 가져간다고 한다면 사용자에게 있어서는 눈동자를 움직일때마다 뿌옇게 된 화면을 새로운 프레임이 전달될때까지 기다려야하기 때문입니다.

 

 

---

 

https://research.nvidia.com/publication/2017-09_Latency-Requirements-for

 

2017년 Nvidia가 제출한 연구입니다.

 

 

아이트래킹을 이용한 동적 포비티드 렌더링은 실제 사용할 경우 레이턴시가 좀 길어지기 때문에 뿌옇게 만드는 범위를 조금 완화해야합니다. 그 결과 실제로 성능의 여유를 늘릴 수 있는 분량에는 한계가 있게 됩니다.

 

실험에 사용된 장비는 SMI 아이 트래커를 장착한 HTC Vive가 사용되었습니다.

 

 

이와 같은 방식의 포비티드 렌더링 방식을 다양화해서 테스트를 했습니다.

 

 

HMD의 기본적인 레이턴시는 이와 같았습니다. 31~35ms 의 레이턴시였습니다.

 

피실험자의 응답을 간추려보면 대략적으로 납득 가능할 정도가 되는 레이턴시는 50~70ms정도가 됩니다.

실험진의 결론으로는 사용자에게 있어서 50~70ms 정도의 눈과 이미지 사이의 지연은 어느정도 내성이 있다고 추론하고 있습니다.

 

포비티드 렌더링에 사용된 기술에 따라서 사용자에게 큰 위화감을 주지 않고 선명하게 렌더링할 수있는 범위는 각각 다르게 나왔습니다.

 

결국 아이트래킹을 이용한 동적 포비티드 렌더링을 사용할 경우 50~70ms의 레이턴시까지는 납득이 가능한 수준의 퀄리티를 보여주고 fCPS와 Gaussian Blur는 서브샘플링 방식에 비하여 더 많은 영역에 블러를 적용 할 수 있었다고 합니다.

 

 

---

 

 

https://www.sciencedirect.com/science/article/pii/S0097849321002211 (번역기로도 충분히 잘 볼 수 있음)

 

레이턴시에 대한 연구는 Nvidia의 연구 말고도 다른 곳에서도 연구를 했었습니다.

다른 연구에서는 50~91ms까지, 50ms 미만, 60ms 이하, 40~60ms까지, 5ms이내, 20ms 이내 등 다양한 연구 및 결과가 있습니다.

 

결국 많은 결과값이 있기 때문에 사실상 첫 포비티드 렌더링을 지원할 PSVR2는 어떻게 적용되어서 나올지, 눈에 보일정도로 티가 날지 궁금해집니다.

그리고 만일 PSVR2에서 동적 포비티드 렌더링을 사용하고 이게 눈에 띌 정도라면 불평할 수 있는 정도는 되겠지만 현대 기술에서는 어쩔수 없다고 봐야할지도 모르겠습니다. 어차피 SONY측의 업데이트로 해결 될 수 있을 법한 문제겠지만요.

 

https://arca.live/b/vrshits/42815005 

만일 정적 포비티드 렌더링을 지금 사용해보겠다고 하신다면 해당 툴을 이용하셔서 지금 당장이라도 사용해 보실 수 있습니다.