Meta, 시각 튜링 테스트 통과에 대한 내부 이야기 번역

https://tech.fb.com/ar-vr/2022/06/passing-the-visual-turing-test-the-inside-story-of-our-quest-for-visual-realism-in-vr/

기본적으로 어제에 게시된 온갖 동영상 및 웹진의 기사들과 비슷한 내용이지만 좀 더 디테일하다고 볼 수 있음

Zuckerberg과 Lanman이 생각하는 시각적 튜링 테스트를 통과하기 위한 기술 스택은 다음과 같다.

• 단일 고정 초점이 아닌 정확한 초점 심도를 제공하여 오랜 시간동안 팔 길이보다 가까운 범위 내에서도 보다 선명하고 편안한 시야를 제공하는 '가변 초점' 기술
• 20/20의 인간 시력에 가깝거나 그보다 높은 해상도
• 광학 장치로 인해 발생할 수 있는 이미지 왜곡이나 색수차를 보정할 수 있는 왜곡 보정
• VR에서 경험할 수 있는 색상, 밝기, 대비의 범위를 확장시킬 수 있는 HDR 기술

가변초점

https://youtu.be/D9HT_0WfHzE

https://youtu.be/XpvWEdNOE48

하프돔

2017년 Half Dome Zero의 제작 완료

가변 초점이 실제로 사람들에게 선호되고 3D 장면을 빨리 인지할 수 있게 하거나 시각적으로 편안한지 테스트 할 수 있도록 해야했음

여기서 시력 차트와 같은 제한된 자극을 사용하는 표준 시력 과학 접근 방식을 떠나서 VR 경험을 기반으로 연구를 진행하기로 결정

https://youtu.be/0LuQbyBqbP8

63명의 테스트 참가자를 모아 하루는 가변 초점, 하루는 고정 초점으로 사용하도록 함.

결과는 긍정적. 피로, 메스꺼움, 흐릿한 시야와 같은 단점들이 줄었고 작은 물체를 쉽게 식별 할 수 있었으며 텍스트를 쉽게 읽을 수 있었고 시각적 환경에 더 빨리 반응 할 수 있었다.

대다수의 참가자들이 가변초점을 선호했고 이는 팀에게 있어 많이 긍정적이었는데, 그 당시의 Half Dome Zero는 불완전한 시선 추적 및 왜곡 보정 소프트웨어로 이루어진 초기 프로토타입이었기 때문이다.

Zero - 2017년 초기 연구

1 - FOV가 140도

2 - 인체공학 및 편안함에 집중하여 200g 감소

3 - 전자 가변 초점 도입, 크기 및 무게 감소

버터스카치

시력 차트에서 봤을때 버터스카치는 20/20을 달성.

일본의 연구에서는 이미지 해상도가 증가할수록 사실감이 꾸준히 증가하여 망막 해상도로 알려진 값보다 훨씬 더 높은 120ppd까지 증가한다는 결과가 있었습니다. https://ieeexplore.ieee.org/document/6407850

왼쪽: 저커버그가 2017년 워싱턴 레드몬드의 연구팀을 방문하여 초기 AR 가변 초점 프로토타입 체험

오른쪽: 저커버그가 2021년 RL Research를 방문해서 버터 스카치를 체험

Butterscotch는 가능한 한 빠르고 직접적으로 답을 얻기 위한 프로토타이핑의 좋은 예입니다. 현재 표준 VR 시야에 맞으면서도 망막 해상도에 가까운 해상도를 지원하는 패널이 없으므로 팀은 3k LCD 패널을 사용하고 해상도를 55ppd로 높이기 위해 시야각을 퀘스트 2의 약 절반으로 제한했습니다.

그 다음, 이러한 고해상도를 완벽하게 사용하기 위해 새로운 타입의 하이브리드 렌즈를 개발해야 했습니다. https://opg.optica.org/ao/abstract.cfm?uri=ao-27-14-2960

저커버그는 버터스카치를 시연하고 망막 해상도에 가까운 VR 기술이 VR의 미래에 필수적이라는 것을 인식하고 해상도 로드맵에 대한 회사 차원의 검토를 지시.

VR 헤드셋의 광학 왜곡 제거

https://youtu.be/lN5xVSC7bz0

팀은 2017년 Half Dome Zero 사용자 연구에서 실수로 가변 초점 왜곡 보정을 해제했던 경험이 있었던 덕분에 정확한 가변 초점 왜곡 보정의 중요성을 일찍부터 알고 있었습니다. 그들은 그 실수를 수정했지만 그 과정에서 가변 초점은 렌즈 왜곡 보정이 올바르게 적용되었을 때만 상당한 이점을 보였다는 것을 알게 되었습니다. 이 경험은 왜곡 보정을 올바르게 하는 것의 중요성을 강조했지만 막상 팀이 이 주제를 탐구하기 시작하자 이를 실행하는 데 필요한 도구가 부족하다는 것이 빠르게 분명해졌습니다.

문제는 왜곡 연구를 설정하는 데 매우 오랜 시간이 걸린다는 것입니다. 맞춤형 헤드셋으로 렌즈를 제작하는 데만 몇 주 또는 몇 달이 걸릴 수 있으며, 이는 테스트에 사용할 제대로 작동하는 헤드셋 디스플레이를 구축하기 위한 긴 프로세스의 시작에 불과합니다. DSR은 렌즈 제작 하드웨어의 느린 속도보다는 광학 설계 소프트웨어의 속도로 왜곡 연구를 수행해야 한다는 것을 깨달았고 그 문제를 해결하기 시작했습니다.

https://youtu.be/HKc0-qPknJY

팀은 3D TV 기술의 용도를 변경하여 정밀하게 제어된 왜곡을 유도할 수 있는 VR 렌즈 왜곡 시뮬레이터를 만들었고 그 결과 모든 렌즈 디자인에 대한 왜곡 보정 알고리즘을 즉시 연구할 수 있게 되었습니다.

Starburst: HDR 헤드셋 미리보기

해상도, 왜곡 보정 및 가변 초점은 모두 진보된 시각적 현실의 핵심 기둥이지만 HDR(High Dynamic Range)은 사실감과 깊이감의 증가 와 가장 일관되게 연결된 단일 기술입니다.

사무실에서 측정된 값. 최대 밝기인 49,040니트는 오늘날 VR 디스플레이의 최대 밝기인 100니트를 훨씬 능가합니다.

HDR 디스플레이가 모든 곳에서 더 밝을 필요는 없습니다. 오히려 이 장면에서 반사 및 오버헤드 조명과 같은 밝은 하이라이트를 구현하여 사실감을 높입니다.

https://youtu.be/Mi0QNEDVdjU

DSR의 Starburst 프로토타입은 Quest 2 헤드셋의 내부를 재구성하여 LCD 패널 뒤에 매우 밝은 램프를 배치했습니다. 이 "타임 머신"은 지금까지 제작된 HDR 디스플레이 중 가장 밝은 디스플레이 중의 하나로 최대 밝기가 20,000니트에 이르며 DSR이 알고있는 헤드셋 중에서는 최초의 3D HDR 헤드셋으로 HDR과 3D 깊이 인식의 상호 작용을 조사할 수 있습니다.

변화의 실현

수년간의 데모 및 사용자 연구를 통해 DSR은 망막 해상도, 가변 초점, 정확한 왜곡 보정 및 HDR이 VR에서 시각적 Turing 테스트를 통과하는 데 중요하다고 확신하며 각 측면에 대해서 개별적으로 프로토타입을 발전시키고 구축하고 검증했습니다. 그러나 궁극적인 결과는 사실상 이 모든 것을 하나의 소형 헤드셋에 결합하는 것이 되므로 11개의 도전 과제가 해결되어야합니다.

VR 헤드셋은 작고 가벼우며 스타일리시해야하는데 이러한 기술들을 구현하는데 필요한 하드웨어는 이에 반대되는 경향이 있습니다.

가변 초점 시스템의 경우 약 40~50그램의 무게가 추가되는데, 이는 AA배터리 2개 정도의 무게입니다. 이것을 추가하게된다면 사람들은 퀘스트 2보다 10%이상 더 무거운 헤드셋을 사용해야합니다.

홀로케이크

Maimone은 Zuckerberg와 Bosworth가 지난 가을 Redmond에서 경험한 설계적 프로토타입 중 하나인 Holocake 2라는 초소형 헤드셋의 개발을 주도했습니다.

https://youtu.be/33Be8DSjvvM

Holocake 2는 PC와 연결된 환경에서 완전히 작동되면서 홀로그램 팬케이크 렌즈의 광학 성능을 테스트하도록 설계되었습니다.

Holocake 2가 초소형 폼팩터를 달성하는 방법을 이해하려면 VR 디스플레이가 구성되는 방식에 대해 빠르게 짚고 넘어가야합니다. 오늘날의 VR 디스플레이는 광원, 빛을 어둡게 하거나 밝게 하여 이미지를 형성하는 디스플레이 패널, 디스플레이의 빛을 눈에 집중시키는 렌즈에 의존합니다. 일반적으로 렌즈는 빛을 눈으로 향하게 하기에 충분한 포커싱 파워를 갖기 위해 디스플레이에서 몇 인치 떨어져 있어야 합니다.

홀로케이크 렌즈는 두 가지 방법으로 두께와 무게를 줄입니다.

첫째, 편광 기반 광학 폴딩은 새로운 팬케이크 렌즈와 유사하게 렌즈 내부에서 빛을 반사시킵니다.

둘째, 홀로그램 필름은 Quest 2와 같이 팬케이크 렌즈와 기존 굴절 디자인 모두에 사용되는 더 부피가 큰 굴절 렌즈를 대체합니다.

각각의 경우 평면 패널 디스플레이에서 나오는 빛은 눈으로 집중됩니다; 결국 폼팩터만 다릅니다.

위의 이미지에서 설명한 것처럼 렌즈를 디스플레이에 훨씬 가깝게 배치하여 헤드셋의 크기를 크게 줄이는 방법이 있습니다. Holocake 2는 이를 달성하기 위해 두 가지 기술을 동시에 적용합니다.

첫째, 렌즈처럼 빛을 굴절시키지만 얇고 투명한 유리판처럼 생긴 홀로그램 광학으로 렌즈를 대체합니다.

둘째, 편광 기반 광학 폴딩(팬케이크 렌즈를 에뮬레이트하지만 홀로그램 광학보다 훨씬 작은 폼 팩터)을 구현하여 디스플레이에서 눈으로의 광 경로를 극적으로 단축합니다.

이것은 크기와 무게를 줄이는 거의 마법 같은 방법처럼 들립니다. 그렇다면 무엇이 문제일까요? 가장 큰 문제는 광원과 관련이 있습니다. Holocake 헤드셋에는 기존 VR 제품에 사용되는 LED가 아닌 특수 레이저가 필요합니다. Maimone은 “레이저가 오늘날에서 아주 특이한 것은 아니지만 많은 소비자 제품 중에서 우리가 필요로 하는 성능, 크기 및 가격을 가진 것을 찾아볼 수 없습니다. 따라서 우리는 우리 사양을 충족하고 안전하고 저렴하며 효율적이며 슬림한 VR 헤드셋에 들어갈 수 있는 소비자용 레이저를 얻기 위해 많은 엔지니어링을 수행해야 할 것입니다.”

Mirror Lake: 모든 것을 하나로 모으기

https://youtu.be/CAwY18M598s

Mirror Lake 컨셉은 유망하지만 현재로서는 단지 개념일 뿐이며 아키텍쳐를 검증할 수 있고 제대로 작동하는 헤드셋이 존재하지 않습니다. 그러나 그것이 실현된다면 VR 시각적 경험에 대한 게임 체인저가 될 것입니다.