최근 메타버스에 대한 관심이 뜨겁다. 메타버스는 초월이란 뜻의 ‘메타(meta)’와 우주를 뜻하는 ‘유니버스(universe)’의 합성어다. 가상현실이 확장되어 실제 현실과 상호작용하며 그 안에서 사회적·경제적 가치를 생산할 수 있는 세계다. 혹자는 메타버스를 인터넷과 모바일의 뒤를 잇는 새로운 플랫폼 혁명이라 말할 정도로, 이를 중심으로 한 거대한 변화를 예견하기도 한다. VR은 이러한 메타버스로 가는 대표적 접속 기술이다.

〈시사IN〉 제703호에 필자의 VR 경험을 바탕으로 쓴 기사(‘파퓰레이션:원’ VR 보급의 기폭제 될까?) 이후 온·오프라인을 통해 VR에 대한 다양한 질문을 받았다. 이 질문에 답하는 과정에서 사람들이 가지는 VR 기술에 대한 오해, 그리고 메타버스의 궁극적 한계에 대해 정리할 필요를 느꼈다.

사람들이 가장 많이 던진 질문은 VR 기기를 사용할 때 느끼는 멀미가 VR을 대중화하는 데 어느 정도 걸림돌로 작용할지였다. 어느 정도 VR 기기를 경험해본 이들이 이런 질문을 많이 했다. 처음 VR이 인기를 끌던 4~5년 전, 한 VR 콘퍼런스에서 필자는 VR 산업에 종사하는 발표자로부터 이런 말을 들은 적이 있다. “지금 이 분야에서 실제로 돈을 버는 것은 ‘드라마민’ 회사뿐입니다.” 드라마민은 대표적인 멀미약의 이름이다. VR 산업은 아직 수익화에 이르지 못한 반면, VR을 사용하는 이들은 멀미 때문에 습관적으로 드라마민을 복용하는 현실을 빗댄 것이다.

그럼 ‘VR 멀미’는 정말로 대중화의 걸림돌로 계속 남는 것일까? 이 질문에 먼저 답하겠다. VR 멀미는 분명 존재하고 사람에 따라 심하게 고생할 수 있지만, 첫째 기술적으로, 둘째 적응을 통해 극복할 수 있다. 이를 설명하기 위해서는 멀미가 생기는 이유와 VR의 작동방식을 조금 상세하게 이야기할 필요가 있다.

멀미의 원인이 명확히 밝혀진 것은 아니지만 일반적으로 가장 설득력 있게 받아들여지는 것은 ‘감각 충돌’ 이론이다. 이는 우리가 받아들이는 감각, 특히 눈을 통한 시각과 귓속의 전정기관에 의한 이동·평형감각에 차이가 날 경우 신체는 이를 독성물질에 의한 중독으로 이해하고 구토와 같은 반응을 통해 신체를 보호하려 한다는 것이다.

따라서 VR 기기가 멀미를 유도하는 과정은 두 가지로 나눌 수 있다. 하나는 VR 기기를 착용한 이가 실제로 자신이 가상세계에 존재하는 느낌을 갖게 만드는 VR의 가장 기본적인 기능에 의한 것이다. 곧 착용자가 고개를 돌려 시선을 바꿀 때마다 눈앞의 풍경을 시선의 방향에 맞게 실시간으로 바꾸어주는 과정에서 발생한다.

우리는 현실에서 고개를 돌릴 때 정지된 외부 세상에 대해 ‘내가 고개를 돌리고 있으며 따라서 눈에 들어오는 시각 정보는 내가 바라보는 방향의 외부 세상에 관한 정보’라는 것을 당연하게 받아들인다. 예를 들어, 안경에 사진을 하나 붙인 다음 고개를 돌려보자. 이 경우 사진은 바뀌지 않으므로 우리는 이 사진이 실제가 아닌 안경에 붙은 사진이라는 것을 바로 알게 된다.

반면 VR 기기는 안경과 같이 얼굴에 고정되어 있지만, VR 기기가 보여주는 화면이 적어도 어떤 가상의, 외부 세상의 것이라는 감각을 우리 뇌에 말해주기 위해 VR 기기 내의 화면은 고개의 방향에 따라 실시간으로 바꾸어주어야 함을 알 수 있다. 여기에 인간이 느낄 수 있을 정도의 시간 지연이 발생하거나 또는 방향에 맞지 않는 잘못된 화면을 보여줄 경우 당장 멀미를 느끼게 된다.

하지만 이 문제는 전적으로 VR 하드웨어의 성능과 소프트웨어의 완성도에 따른 것이다. 최근의 기기와 프로그램에서는 이러한 문제가 거의 발견되지 않는다. 따라서 이 문제는 기술적으로 대부분 극복되었다고 말할 수 있다.

그러나 앞서 적응이 필요하다고 한 두 번째 문제는 조금 다르다. 제대로 된 VR과 메타버스를 즐기기 위해 우리는 VR 기기를 착용한 상태로 그 내부의 가상세계에서 이동하며 자신의 위치를 바꿀 필요가 있다. 그 가상세계가 현실과 가까운 세계가 되기 위해서 이는 당연한 일일 것이다. 눈앞에 보이는 사람에게 다가가 말을 건다든지, 눈앞의 문을 열고 다른 방으로 이동하는 등의 행동을 위해 가상세계에서 사용자의 이동은 필수 요소라 할 수 있다.

더 이상 ‘키미테’를 찾지 않듯, 중요한 것은 적응

문제는, 이러한 가상세계에서 이동할 때 시각은 ‘사용자가 움직이고 있다’고 뇌에 알려주지만, 실제 현실에서는 우리가 움직이지 않는다. 귓속 전정기관의 감각은 시각과 달리 ‘사용자가 움직이지 않고 있다’고 뇌에 알려주기 때문에 멀미가 난다는 것이다. 이는 가상세계에서 하는 이동과 현실세계에서 하는 이동이 필연적으로 다르다는 점에서 극복할 수 없는 문제처럼 생각된다. 그러나 다행히도 바로 이 종류의 감각 충돌에 대해서는 적응이 가능한 듯하다. 처음에는 멀미를 느끼는 이들도 이러한 경험에 익숙해질수록 멀미를 느끼지 않게 된다는 것이다.

이를 위해 VR 프로그램들은 다양한 방법을 제공한다. 우선 이동을 구현하는 방법에 크게 두 가지가 있다. 하나는 손에 쥔 컨트롤러의 조이스틱을 자신이 이동하고자 하는 방향으로 미는 조향 이동(steering locomotion)이며, 다른 하나는 컨트롤러를 이용해 원하는 특정한 위치로 한 번에 이동하는 순간 이동(teleportation)이다.

순간 이동은 눈앞의 화면이 한 번에 새로운 화면으로 바뀌며, 대부분의 사람들은 이 과정에서 멀미를 크게 느끼지 않는다. 그러나 그만큼 자신이 가상의 세계에서 이동한다는 느낌은 덜하며, 몰입감 또한 부족하다. 따라서 많은 프로그램은 순간 이동에 먼저 적응한 이들이 조향 이동에 적응할 수 있도록 만들어져 있다.

또 한 가지, 멀미를 이해하는 데 알아야 하는 개념으로 주변시(peripheral vision)라는 것이 있다. 사람의 시각은 중심시(central vision)와 주변시로 나눌 수 있다. 중심시는 시선이 향하는 대상을 자세하게 보는 데 쓰이며 주변시는 그 대상 주변의 배경을 파악하는 데 쓰인다. 2009년 미국 캔자스 주립대학의 애덤 라슨과 레스터 로시키는 사람들이 어떤 상황을 파악하는 데 주변시를 중심시보다 더 많이 사용한다는 사실을 밝혀냈다. 이 연구 결과는 오늘날 시각적 정보를 통해 사용자 경험이 주는 다양한 분야에 응용되고 있다. 한편 주변시의 중요성은 진화적으로도 설명이 가능하다. 시야의 주변에서 움직이는 맹수의 움직임을 더 잘 포착한 개체가 살아남는 데도 더 유리했으리라는 것이다.

VR의 경우 조향 이동 시 주변시를 가림으로써 사용자가 이동에 덜 민감하게 만드는 방식으로 이 연구 결과가 활용된다. 이런 주변시를 조절하는 기능을 비네팅(vignetting)이라고 부른다. 조향 이동 시에 비네팅을 강하게 설정해 주변시를 많이 가릴 경우 사용자는 멀미를 덜 느낄 수 있다. 사용자가 VR에 점점 적응할수록 비네팅을 약하게 만들어 주변시를 덜 가리고 따라서 몰입도도 더 높일 수 있다.

이런 방법으로 정말 VR 멀미 문제를 해결할 수 있을까? 이에 대해서는 필자와 필자 주변인들의 경험으로 답할 수밖에 없다. 사람마다 초기에 얼마나 멀미를 느끼는지, 그리고 VR에 적응하는 데 얼마나 걸리는지가 다르지만, 결국은 거의 대부분의 사람들이 적응할 수 있다(고 본다). 물론 여기에도 하드웨어의 성능과 소프트웨어의 완성도가 영향을 미친다. 하지만 가장 중요한 것은 앞서 말했듯이 적응이다.

완벽한 메타버스 만들기엔 너무 큰 지구

VR에 적응해 멀미를 느끼지 않게 만드는 것은 우리가 실제 생활에서 특히 교통수단을 통한 여행에서 적응을 통해 멀미를 덜하게 된 것과 비슷하다. 20~30년 전만 하더라도 긴 여행을 앞두고 사람들은 멀미약을 챙겼다. 귀 뒤에 붙이는 ‘키미테’를 기억하는 이들이 있을 것이다. 그러나 도로 상황이 좋아지고 교통수단의 움직임이 부드러워지면서, 그리고 교통수단을 통한 이동에 사람들이 적응하면서 멀미약을 찾는 이들이 줄어들었다.

VR에 대한 또 다른 질문은 VR 기기의 장시간 착용 가능성에 대한 것이었다. 이러한 문제가 생기는 근본 원인은 VR 기기가 인체에 착용하는 방식이기 때문이다. VR 기기는 일반적으로 눈앞을 가리는 장비를, 끈 등을 이용해 머리에 고정시키도록 만들어져 있다. 이는 사람에 따라 다른 두상의 형태나 눈, 코의 위치와 형태 그리고 시력 등에 따른 차이를 해결해야 함을 의미한다.

두상 및 안면 구조가 문제가 되는 이유는 몰입감을 위해 현실 세상이 눈에 보이지 않도록 상하좌우를 모두 가려야 하기 때문이다. 이를 위해 VR 기기는 스펀지나 실리콘, 인조가죽 등 탄력성 있는 소재로 눈 주변의 피부를 압박하도록 만들어진다. 그러나 이러한 압박이 장시간 계속되면 불편감을 초래한다. 눈 주변 피부에 트러블을 야기하기도 하고 격렬한 운동 시 땀에 의한 위생 문제도 일으킨다. 압박감을 해결하는 방법으로는 안면을 누르는 대신 머리띠 형태로 위치를 고정하는 헤일로 스트랩이 있다.

사용자의 시력 차이에 의한 문제도 있다. VR 기기는 일반적 시력을 가진 이를 기준으로 만들어진다. 따라서 안경을 착용한 이들은 안경을 그대로 쓰고 기기를 쓸 수 있도록 ‘스페이서’라 불리는, 공간을 넓혀주는 추가 부품을 부착해야 한다. 그렇게 해도 VR 기기 안쪽 공간은 매우 좁기 때문에 안경 착용자들이 불편을 느낀다. 이를 해결하기 위해 VR 기기에 자신의 시력에 맞는 렌즈를 바로 부착할 수 있도록 렌즈 가이드를 설치하는 방법이 있다.

VR 기기의 또 다른 문제는 눈앞을 가리는 부분에 모든 전자장비가 몰려 있어서 머리 앞쪽에 모든 무게가 걸린다는 점이다. 장시간 사용하면 목뼈에 부담으로 작용한다. 이 문제는 머리 뒤쪽에 보조배터리를 달아 무게의 균형을 맞추는 등의 방식으로 해결한다.

그 밖에 어떤 한계가 있을까? 여기서는 공간적 제약과 시간적 한계를 언급하려 한다. 오큘러스 퀘스트(VR 기기)의 경우 이를 처음 착용하면 착용자가 마음껏 움직일 수 있는 공간을 가디언이라는 이름으로 표시하게 된다. 사용자는 이 공간 내에서 어느 정도의 움직임과 방향 전환을 해야 하므로 최소 1.5m×1.5m 정도의 공간이 필요하다. 가능하면 2m×2m 이상이 좋다. VR 기기를 착용한 상태에서 현실의 가전제품이나 가구와 충돌해 본인이 다치거나 가전제품을 파손하는 경우가 종종 있으므로 공간 확보는 매우 중요하다.

그리고 VR 기기를 쓰는 것 자체가 착용자가 다른 세상으로 이동하는 셈이므로, 현실에서 다수가 즐길 수 있도록 만들어진 특별한 콘텐츠(높은 빌딩의 옥상에 놓여 있는 널빤지 위로 걸어가는 ‘리치스 플랭크 익스피리언스’가 좋은 예다)를 제외하고는 다른 이들에게 자신의 모습이 보이지 않는 밀폐된 공간이 낫다. 다수의 다른 VR 사용자와 상호작용을 하며 대화를 나누는 VR 콘텐츠의 경우 이런 공간이 더욱 중요하다.

필자가 말하고자 하는 시간적 한계는 가상의, 곧 메타버스가 가진 근본적 한계에 가까울 것이다. 15년 전 필자는 LTE 기술의 표준화에 참여했다. 그때 ‘LTE 기술로는 지구 반대편의 상대방과 실시간으로 반응하는 게임을 하기 어렵다’는 발표를 들은 적이 있다. 사실 이는 LTE 기술의 문제가 아니라 빛의 속도가 가진 한계에 가깝다. 잘 알다시피, 빛은 1초에 지구를 일곱 바퀴 반을 돈다. 따라서 내가 보낸 신호가 빛의 속도로 지구 반대편에 도달했다가 다시 돌아오는 데만 약 130ms(밀리세컨드)가 걸리게 된다(실제로는 신호처리 등의 문제로 몇십 ms가 추가로 요구된다).

이는 약간의 어색함이 느껴지지만 대화와 같은 일상의 상호작용이 어느 정도 가능한 시간 지연이다. 하지만 물체가 떨어지고 벽이 부서지는 것과 같은 물리적 대상의 반응 속도로는 턱없이 느린 시간이다. 인간의 평균적 반응 속도가 100ms 내외라는 점에서, 인간의 반응 속도를 직접 겨루는 스포츠나 영화 〈매트릭스〉에 나오는 것과 같은 격렬한 격투를 글로벌 메타버스 내에서 구현해내기란 불가능하다는 뜻이다(물론 지구 반대편의 상대가 아닌, 상대적으로 가까운 이와는 5G나 이후의 초저지연 기술 등을 바탕으로 좀 더 실감나는 메타버스를 만들 수 있을 것이다. 그러나 이 경우에도 비디오 프레임, 곧 30fps의 경우 33ms와 같은 낮출 수 없는 한계가 존재한다).

메타버스가 가지는 시간적 한계는 이렇게 말할 수 있다. “빛의 속도는 지구 반대편의 두 인간이 가상 세계에서 스포츠를 즐기기에는 너무 느리다.” 또는 이렇게 말할 수도 있을 것이다. “지구는 완벽한 글로벌 메타버스로 만들기에는 너무 크다.”