Magic Leap 2, 카메라 기반 인사이드 아웃 트래킹 컨트롤러

이번 컨트롤러에는 카메라가 보이는게 특징입니다.

기존 Magic Leap 1에서는 이 헤드셋 사진의 좌측 하단부에 있는 네모난 사각형이 센서였습니다. (실제 헤드셋 기준 오른쪽)

사각형 모양의 센서는 컨트롤러에서 방출되는 자기장을 감지하여 컨트롤러의 위치를 파악했습니다.

이번 Magic Leap 2는 현재로서는 상업용 XR 헤드셋 중에서 최초로 이러한 온보드 인사이드 아웃 트래킹을 사용하게 되었습니다.

메타의 프로젝트 캠브리아는 유출 정보에서 온보드 인사이드 아웃 트래킹을 사용한다고 알려져 있습니다. 오피셜로는 아직 공개되지 않았습니다.

이러한 트래킹 방법은 얼핏보면 사각지대가 없는 추적 방식인데다가 한손은 컨트롤러, 다른 한손은 핸드트래킹을 사용하는 식의 조합이 가능할 수도 있습니다.

또한 헤드셋과 컨트롤러 트래킹을 서로 분리한다면 컨트롤러를 트래킹하는데 드는 시간을 줄일 수 있습니다.

하지만 한편으로는 이미지 프로세싱을 컨트롤러에서 진행해야하기 때문에 충분한 성능의 프로세서가 내장되어야 하며, 그에따라 발열, 배터리 소모량의 문제도 생깁니다.

또한 온보드 카메라의 모션 블러 또한 문제가 생깁니다. 예를 들어, 컨트롤러는 헤드셋보다도 훨씬 더 빨리 이동하는 경우가 많습니다. 그렇기때문에 헤드셋에서의 인사이드 아웃 트래킹과는 달리 컨트롤러에서의 인사이드 아웃 트래킹은 모션 블러에 의해서 제대로 트래킹 되기 힘들 수 있습니다. 게다가 어두운 환경에서 더 많은 빛을 모으기위해 노출 시간을 늘리게 된다면 더더욱 모션블러는 심해질 것입니다.

모션블러의 문제를 해결하기위해서는 보통 6DoF와 같은 IMU 기반 트래킹 방식을 사용하는것이 일반적입니다.