가상현실(VR) 트래킹 그 너머 - VR 입문: 파트3

트래킹 기술은 가상 현실의 핵심 요소 중 하나입니다. VR 및 XR 기술에 몰입할 수 있는 큰 역할을 합니다.

우리는 VR 입문 파트1에서 "몰입"의 개념을 이야기했고, 파트2에서 헤드셋 사양이 몰입에 얼마나 영향을 미치는지 알아보았습니다. 파트3에서는 트래킹이 어떻게 VR 환경과 상호 작용하도록 돕는지 알아보겠습니다.

가상 현실에서 이동할 다양한 방법들을 탐색하세요!

VR 트래킹이란?

VR 에서의 트래킹은 물리적 공간 내 객체의 위치와 방향을 지속적으로 감지하는 것입니다. 이러한 객체에는 VR 헤드셋, 컨트롤러, 트래커와 같은 외부 장치 또는 심지어 신체의 일부가 포함될 수 있습니다.

각 객체의 위치와 방향이 시간이 지남에 따라 변경되면 이는 가상의 움직임으로 등록되고, 트래킹은 VR 헤드셋이 여러 동작에 관한 정보를 수집하는 것이라고 생각하면 쉽습니다.

정확하고 세밀한 추적은 공간 컴퓨팅의 중요한 구성 요소이며 몰입적인 VR 경험을 만듭니다.

VR 트래킹의 작동법?

HMD, 컨트롤러 및 기타 액세서리의 정확한 위치 및 방향을 정확하게 파악함으로써 VR 헤드셋은 현실 세계에서의 당신의 몸의 움직임을 가상 세계에서의 해당 움직임으로 변환할 수 있습니다.

예를 들어, 가상 현실 속 열대우림( a rainforest in VR )에서 강을 내다보고 있다가 머리를 들면, 트래킹은 디스플레이의 이미지를 앞의 물에서 나무 위로 이동시킬 것입니다.

그 다음 손으로 잡고 있는 컨트롤러를 들어올리면 트래킹을 통해 가상 현실 속에서 손이 구름에 닿게할 것입니다.

VR 트래킹은 다양한 방법이 있습니다. 어떤 트래킹 시스템은 머리의 움직임과 위치만 읽을 수 있지만, 어떤 것들은 손, 눈, 심지어 얼굴 표정까지 추적할 수 있습니다! 이를 통해 VR 내에서 탐색을 더 직관적으로 만들고 전반적인 VR 경험을 향상시킬 수 있습니다.

트래킹은 내부적으로(헤드셋 자체에서) 또는 외부적으로(VR 헤드셋과 별도의 객체 또는 일련의 객체에서) 달성될 수 있습니다. 추적된 객체가 물리적 및 가상으로 어떻게 이동할 수 있는지는 자유도로 표현됩니다.

자유도 (DoF) 란?

자유도(DoF)는 VR 헤드셋이 추적할 수 있는 물리적 움직임의 축 수를 나타냅니다. 실제 움직임은 VR에서 해당 움직임으로 변환되기 전에 추적되어야 합니다.

움직임의 축은 3D 공간을 통해 이동합니다. 여러분도 알고 있는 x-, y-, z-축을 가진 회전 및 이동 두 가지 범주가 있습니다.

회전 축은 물리적인 몸이 회전할 수 있는 세 가지 방법입니다.

머리를 기울여 귓가가 어깨에 가까워지면 이는 회전 중 '롤링(rolling)'이라고 불리는 동작입니다.

길가에서 길을 건너기 전 좌우를 보기 위해 머리를 돌리면 머리는 '요잉(yawing)' 이라 불리는 방식으로 회전합니다.

하늘을 올려다보거나 발을 내려다보면 '피치(pitching)'라고 불리는 회전이 발생합니다.

롤링, 요잉 및 피치는 자유도가 측정할 수 있는 세 가지 회전 축입니다.

다이어그램으로 시각화된 자유도(6DoF). 물체를 3차원 공간에서 슬라이딩하고 회전시키면 자유도를 더 잘 이해할 수 있을 것입니다.

이동은 특정 방향으로 전진하는 것을 의미합니다.

신체를 왼쪽이나 오른쪽으로 움직일 때 이러한 이동은 '스트레이핑(Strafing)'이라고 합니다.

뛰어오른 다음 다시 내려올 때, 당신의 몸은 '엘리베이팅(elevating)'됩니다.

그리고 앞이나 뒤로 걸을 때, 이것은 '서징(surging)'이라고 합니다.

스트레이핑, 엘리베이팅, 그리고 서징은 자유도가 측정할 수 있는 세 가지 이동 축입니다.

3자유도 (3DoF)란?

VR에서 3DoF는 장치가 추적할 수 있는 움직임의 축이 세 개뿐이라는 것을 의미합니다. 즉, 앞에서 설명한 롤링, 요잉 및 피치 회전 축만 추적됩니다.

3DoF VR 헤드셋 착용 시에 헤드셋이 여러분이 머리를 회전하는 다양한 방식들을 모두 등록하여 여러분은 360도로 자유롭게 둘러볼 수 있게 됩니다. 그러나 3DoF에서는 이동하는 동작이 추적되지 않기 때문에 좌우, 앞뒤로 걸어가거나 뛰는 것, 또는 앉고 일어서는 것은 장치가 인식하지 못합니다.

많은 VR 경험이 3DoF로 적합합니다. 예를 들어 360도 영상은 여러 각도에서 즐길 수 있는 시각을 제공합니다. 하지만 그 안으로 걸어갈 수는 없습니다.

3DoF VR 장치는 자동차나 기차에서 사용하기 좋은데, 왜냐하면 가상 세계에서의 여러분의 움직임이 현실세계로부터 방해받지 않기 때문입니다.

6자유도(6DoF)란?

6DoF를 갖춘 VR 헤드셋은 롤링, 요잉, 피치, 스트레이핑, 엘리베이팅 및 서징의 여섯 가지 움직임 축을 모두 추적할 수 있습니다.

이동 동작을 포함하는 것은 VR에 새로운 차원을 추가하는 것과 같습니다. 아바타를 VR에서 걷게 하거나 오른쪽으로 이동하여 다가오는 가상 장애물을 피할 수 있습니다. ( make your avatar walk )

6DoF를 갖게되면 가상 현실을 더 몰입적으로 만들 수 있지만, 동시에 현실 세계에서 조심히 움직여야 합니다. 이러한 움직임이 가상 공간에서 여러분의 위치와 자세에 영향을 미칠 수 있기 때문입니다.

인사이드-아웃 트래킹이란?

인사이드-아웃 트래킹은 VR 장치가 공간 내에서 자체 움직임을 감지하는 추적의 형태입니다. 이는 일반적으로 헤드셋의 외부 카메라나 센서를 통해 환경으로부터 데이터를 모아 실현되며, 헤드셋이 위치 및 추적된 다른 객체(컨트롤러와 같은)의 위치를 결정하는 데 사용됩니다. 이런 트래킹은 외부 센서에 의존하지 않으며, 종합적인 올인원 솔루션이라고 할 수 있습니다.

VIVE Focus 3 및 VIVE XR Elite 와 같은 스탠드얼론 VR 헤드셋에서 인사이드-아웃 추적을 볼 수 있습니다. 이러한 헤드셋은 PC나 다른 장비에 연결할 필요가 없어 편리하다는 장점이 있습니다. 그러나 VIVE Pro2 와 같은 PC VR 헤드셋에서도 인사이드-아웃 추적을 얻을 수 있습니다.

그렇다면 인사이드-아웃 추적의 반대는 무엇일까요? 네, 예상대로 아웃사이드-인 추적입니다.

아웃사이드-인 트래킹이란?

아웃사이드-인 트래킹은 하나 이상의 외부 장치(베이스 스테이션이나 라이트하우스)에 의해 VR 시스템의 방향 및 위치를 감지하는 것입니다. 외부 추적 장치는 주로 주변 환경에 전략적으로 배치되며, 해당 공간 내에서 여러분의 움직임에 관한 정보를 캡처하기 위해 센서를 사용합니다. 이 정보는 실시간으로 여러분의 헤드셋으로 전달됩니다.

아웃사이드-인 추적의 장점은 VR 헤드셋의 내장 카메라나 센서의 범위에 제한받지 않는다는 것입니다. 이것은 가상 경험 중에 현실 세계의 물체나 여러분의 신체에 의해 가려지는 경우(이 문제를 오클루전이라고 합니다)가 발생할 수 있습니다. 외부 추적 장치는 여러분의 길을 방해하지 않도록 방의 상단 모서리에 배치되어야 합니다. 센서는 여러분이나 환경에 의해 가려질 수 있음을 유의해야 합니다.

HTC VIVE PC VR 헤드셋에서 사용되는 라이트하우스 추적 시스템은 아웃사이드-인 트래킹의 전형적인 예로 언급될 수 있습니다. 이 시스템은 플레이어 주변에 외부 장치가 배치되어 있는데, 그러나 이 장치는 실제로 자체적으로 정보를 수집하지 않습니다.

라이트하우스 시스템을 좀 더 자세히 살펴보겠습니다.

라이트하우스 추적이란?

SteamVR 트래킹이라고도 불리는 라이트하우스는 작고 직사각형 모양의 베이스 스테이션 이 정확하게 타이밍이 맞춰진 적외선 레이저로 플레이 영역에 빛을 내므로써 위치 추적을 하는 위치 추적 시스템입니다. 이 레이저의 적외선은 HMD(VR 헤드셋)와 같은 객체에 의해 감지되어 그 위치와 방향을 결정하는 데 사용됩니다.

베이스 스테이션의 적외선 레이저는 방 안을 초당 몇 번씩 번갈아 수평 및 수직으로 휩쓸며 빛을 냅니다. 한편 추적된 각 객체는 피토다이오드(photodiodes)라는 센서 어레이를 가지고 있으며, 이 빛을 인식할 수 있도록 되어 있습니다. 또한 각 적외선 레이저 플래시의 물리적 레이아웃, 각 적외선 레이저 플래시의 알려진 타이밍, 그리고 각 특정 피토다이오드가 적중된 특정 시간을 사용하여 객체의 위치를 지속적으로 계산하는 내부 칩을 가지고 있습니다.

베이스 스테이션에서 발사된 빛은 인간의 눈에는 보이지 않지만, VIVE Pro 2 헤드셋과 같은 SteamVR 호환 기기에서는 감지될 수 있습니다. 각 레이저의 일관된 움직임과 주파수는 시간을 신뢰할 수 있는 각도 및 거리 측정 도구로 사용할 수 있도록 합니다.

플레이 영역이 적절하게 설정되어 있으면 베이스 스테이션은 다른 추적 시스템보다 큰 환경 내에서 고정밀 추적을 가능하게 하여 사용자가 그 안에서 자유롭게 이동할 수 있도록 합니다. 이러한 종류의 경험을 룸 스케일 VR (room-scale VR)이라고 합니다.

룸 스케일 트래킹이란?

룸 스케일 트래킹은 VR 시스템이 3D 물리적 환경 내의 객체의 움직임을 추적할 수 있는 능력을 나타냅니다. 즉 현실 세계에서의 공간이 가상 세계에서의 공간과 일치하게 하는 것입니다.

룸 스케일 트래킹을 간단하게 설명하면, 사용자가 실제 플레이 영역에서 앞으로 한 걸음 내딛으면 VR에서도 한 걸음 앞으로 나아가게 됩니다. 이러한 이동은 정의된 플레이 영역 전체에서 가능합니다.

룸 스케일 트래킹을 통해 경험하는 자유로움은 이전의 정적인 경험과는 다릅니다. 3DoF 트래킹은 정적인 VR이며, 여러분은 헤드셋으로 주위를 둘러보고 컨트롤러를 움직일 수 있지만 플레이를 시작한 위치에서 벗어나서는 안 됩니다. 벗어나면 가상 위치에 원하는 효과를 얻을 수 없을 뿐만 아니라 물체와 충돌할 위험이 있습니다!

룸 스케일 추적이 없으면 가상 공간을 이동하기 위해서는 텔레포테이션(teleportation)이 필요할 것입니다. 다음 설명 들어갑니다.

텔레포테이션이란?

VR에서의 텔레포테이션은 여러분이 즉시 가상 위치에서 다른 가상 위치로 이동하는 수단입니다. 이는 계단의 바닥에서 맨 위까지 동일한 가상 지역의 다른 부분으로 이동하는 것일 수도 있고, 회의실을 나가서 VR 홈으로 돌아가는 것처럼 완전히 다른 공간으로 이동할 수도 있습니다.

텔레포트를 하는 방법은 VR에서 커서를 포털이나 여러분의 아바타가 서 또는 앉을 특정 위치로 가리키는 것입니다. 그러나 모든 가상 위치로의 텔레포트가 반드시 가능한 것은 아닙니다. 주로 바닥에서 빛나는 고리는 어디로 순간 이동할 수 있고 어디가 금지되어 있는지를 보여줍니다.

커서의 이동은 일반적으로 현실 세계의 컨트롤러로 조절합니다.

VR에 컨트롤러가 필요한가요?

컨트롤러는 편안하게 잡히고 직관적으로 조작될 수 있어 유용합니다. VR 환경에서는 컨트롤러의 움직임과 버튼 또는 트리거의 누름이 모두 물체와 상호 작용하고 메뉴를 탐색하는 데 사용됩니다.

컨트롤러 없는 VR은 선택하기 (일정 시간 동안 바라보기) 또는 이동하기(고개 돌리기)에 시각을 사용할 수 있습니다. 일반적으로 이런 종류의 제어 방법만을 의존하면 가상 세계와 상호 작용하는 범위가 제한됩니다.

컨트롤러의 더 발전된 대안은 맨손을 사용하는 것입니다. 손가락의 움직임과 위치를 읽을 수 있는 특수한 추적 기술을 필요로 합니다.

핸드 트래킹이란?

두 손과 손가락의 위치와 방향을 감지하여 VR 컨트롤러 대신에 사용할 수 있으며 VR 아바타가 따라할 수 있습니다.

핸드 트래킹을 사용하면 "OK" 사인과 같은 정의된 손 동작을 사용하여 버튼을 누르지 않고도 특정 명령을 활성화할 수 있습니다. 또한 VR에서 물체를 가리키고 선택하며 몸짓을 통해 자유롭게 표현할 수 있습니다. 친구들이 여러분이 손을 흔들거나 주먹을 쥐거나 엄지척을 내미는 것을 볼 수 있음을 의미합니다!

실제 세계의 손 움직임을 가상으로 복제하기 위해선 VR 헤드셋이 손을 볼 수 있고 인식해야 하며 손이 시야에서 벗어날 때 어디에 있는지를 측정할 수 있어야 합니다. 이는 내장 카메라와 인공 지능 (AI)의 조합을 통해 달성될 수 있습니다.

AI 가 트래킹에 사용되는 법?

AI는 카메라 사용 시 중요한 역할을 할 수 있습니다. 컴퓨터 비전은 기기가 무엇을 보고 있는지를 이해할 수 있게 하는 AI입니다.

기기의 컴퓨터 비전을 훈련하여 카메라에서 제공된 이미지를 해독하는 방법을 익히게 하는 것은 또 다른 AI 유형인 머신 러닝이 포함됩니다. 컴퓨터 비전과 머신 러닝은 VR 헤드셋 및 트래커와 같은 기기가 물체 또는 신체의 일부의 움직임을 따르도록 돕습니다.

VR 트래커란?

VR 트래커는 다양한 추적 기능을 제공하는 기기입니다. 이들은 VR 헤드셋이 현실 세계의 추가 지점을 추적하고 해당 움직임을 가상으로 복제할 수 있게 합니다.

일반적으로 VR 트래커는 두 종류로 나뉩니다:

1. VR 시스템에 의해 추적되는 3D 공간에서 자체적인 위치를 가질 수 있는 기기.
2. 별도의 개체 또는 신체의 위치 데이터를 수집하는 기기.
   
   

VR 헤드셋을 트래커와 연결하여 가상 환경에서 새로운 종류의 상호 작용을 즐길 수 있습니다. 트래커가 기록한 움직임은 VR 게임과 같은 XR 경험을 제어하는 데 사용될 수 있습니다.

아이 트래킹이란?

VR 아이 트래킹은 가상 경험을 위한 눈동자 움직임의 위치 추적을 의미합니다. 눈 가까이에 배치된 카메라와 디스플레이를 통해 이루어집니다.

아이 트래킹 기술을 갖춘 VR 헤드셋은 시선을 따라 실시간으로 보이는 내용을 업데이트하고 눈동자 움직임을 보다 직관적인 상호 작용의 입력으로 사용합니다. 예를 들어, 아이 트래킹을 사용하면 메뉴에서 항목을 선택할 때 단순히 그것을 응시함으로써 가능합니다. 또한 이것은 가상 아바타를 더 사실적으로 애니메이션화하고 주변 사람들에게 어느 방향을 보고 있는지를 효과적으로 보여줄 수 있습니다.

VR 아이 트래킹은 당신의 눈이 보는 곳에서만 고품질의 시각 자료를 렌더링함으로써 컴퓨팅 자원을 절약할 수도 있는데, 이것은 포비티드 렌더링(foveated rendering)이라고 알려진 특징입니다. 보통은 주변 시야를 자세히 보지 않기 때문에, 그곳의 이미지를 매우 자세히 렌더링할 필요가 거의 없습니다.

VIVE Pro Eye와 같은 일부 VR 헤드셋은 내장된 아이 트래킹 기술을 제공합니다. 다른 일부는 헤드셋에 직접 부착되는 아이트래커 악세서리가 필요합니다.

페이스 트래킹이란?

페이스 트래킹은 가상 경험을 위해 얼굴 움직임을 추적합니다. 자신의 아바타를 통해 얼굴 표정과 입 움직임을 복제함으로써 가상 환경에서 다른 사람들이 여러분의 표정을 더 잘 이해하고 더 자연스럽게 소통할 수 있도록 합니다.

페이스 트래킹을 사용하면 가상 세계에서도 미소, 웃음, 찡그림, 말하기와 같이 실제 같은 동작이 가능합니다. 이는 VTubing(Voice + Youtubing)과도 적합합니다.

아이 트래킹과 마찬가지로 페이스 트래킹은 컴퓨터 비전을 통해 이루어집니다. 그러나 아이 트래킹은 주로 눈에 중점을 두는 반면, 페이스 트래킹은 코와 입도 포함됩니다.

얼굴 전체의 위치 추적을 설명하기 위해 "페이스 트래킹"이라는 용어를 사용하고 코와 입에 대한 추적에 대해 구체적으로 말할 때 "페이셜 트래킹"이라는 용어를 사용합니다. 이러한 기능은 헤드셋에 내장되거나 페이스 트래커 또는 페이셜 트래커라고 불리는 VR 액세서리를 통해 사용됩니다. 아이 트래커와 마찬가지로 이러한 추가 기능 장치는 VR 헤드셋에 직접 부착됩니다.

풀 바디 트래킹이란?

전신 트래킹 또는 풀 바디 트래킹으로 불리며 다리를 포함한 전체 신체 동작의 가상 복제를 의미합니다. VIVE Tracker (3.0) 와 같은 트래커를 사용하여 체험할 수 있습니다. 이러한 기기는 때로 풀 바디 트래커라고도 불리지만 물체를 추적하는 데도 사용될 수 있습니다.

풀 바디 트래킹이 몰입에 있어 어떤 중요한 역할인지 이해하려면 대부분의 VR 시스템이 머리 (HMD 를 통해) 및 팔 (컨트롤러, 손목 트래커 또는 핸드 트래킹을 통해)의 움직임만 추적할 수 있음을 알아야 합니다. 이는 게임과 몰입형 경험에는 잘 작동하나 가상의 자신이 다른 곳으로 움직이는 방법을 제한합니다.

축구 게임을 예로 들면, 손으로 공을 찰 수 없고 컨트롤러를 발에 묶을 수도 없는 일입니다. 이에 비해 바디 트래커는 실제 발차기를 가상 필드로 가져오는 간단하고 편리한 방법을 제공합니다.

물론 여러분의 몸은 현대 VR 기기가 추적하기에는 너무 많은 포인트로 구성되어 있습니다. 그러나 대부분의 경험에서 몸의 움직임을 충실하게 재현하려면 몸의 6개 포인트(머리, 왼손, 오른손, 허리, 왼발, 오른발) 만 추적하는 것으로 충분합니다. 첫 세 가지 포인트는 헤드셋과 두 개의 컨트롤러를 사용할 수 있고 나머지 세 포인트는 세 개의 체 트래커를 사용할 수 있습니다.

VR 헤드셋은 추적된 포인트 사이의 나머지 몸의 위치를 역기구학(inverse kinematics) 프로세스를 사용하여 알 수 있습니다. 그러나 이것에도 예측이 조금 필요합니다.

6개 포인트 추적으로 얻을 수 있는 정확도보다 더 정밀하게 움직임을 재현하려면 가슴, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 무릎 및 오른쪽 무릎에 트래커를 스트랩을 통해 부착할 수도 있습니다. 이것은 11개 포인트 트래킹으로, 춤이나 VTubing에서 실제 움직임을 충실하게 재현하고 싶을 때 도움이 됩니다.

VR 트래킹을 위해필요한 것?

만약 가상 현실에서 이동하는 다양한 방법을 탐험하려면, 먼저 필요한 것은 헤드셋이나 몰입형 안경입니다!

여러분이 어떤 종류의 가상 경험을 하고 싶은 지에 따라 달라집니다. 컨트롤러나 손목 트래커 만으로도 많은 것들을 할 수 있지만, 다른 사람들과 보다 직관적인 상호 작용을 위해서는 완전한 페이스 트래커 가 필요할 것입니다. 그리고 VR에서 다리를 사용하거나 활용하려면 풀 바디 트래커 가 필요합니다.

(풀 바디 트래킹 이야기가 나와서 말인데, 저희가 현재 준비 중인 셀프 트래킹 VR 트래커를 놓치지 마세요.)

새로운 인사이드-아웃 트래커는 XR에서의 상호 작용을 새롭게 정의할 것입니다.

이 VR 입문서가 가상 현실에서 트래킹이 어떤 중요한 역할을 하는지 명확한 이해를 제공했기를 바랍니다. 이 시리즈의 다음 게시물에서는 사용 가능한 다양한 종류의 VR에 대해 살펴볼 것입니다. 읽어 주셔서 감사합니다!