MBC 다큐멘터리 '너를 만났다' XR 제작팀 인터뷰

전세계의 주목을 받은 MBC 심리 치유 다큐멘터리

아래 영상은 MBC에서 제작된 VR 심리치유 다큐멘터리 "너를 만났다"의 한 장면으로, 4년 전 첫 에피소드인, "세상을 떠난 딸과 VR로 재회"라는 제목의 유튜브 영상이 전 세계적인 관심을 끌었습니다. 현재까지 3,500만 회 이상의 조회수를 기록했고 이 프로그램이나 이야기의 배경을 모르더라도 짧은 유튜브 영상속에 담긴 내용을 통해 슬픔을 공감하고 감동받을 수 있습니다. 사랑하는 딸을 잃은 아픔 뿐만 아니라, 재회로 인한 감동도 있기 때문입니다. 이후 매년 가족을 잃은 아픈 사연과 슬픔을 가상현실을 통해 소개하고 극복하는 다큐멘터리 시리즈로 제작, 방영되고 있습니다.

인간을 위로하는 XR기술

매년 가상현실과 디지털 휴먼 그리고 AI 기술의 발전하고 있는데 인간의 슬픔을 위로하고 아픔을 치유하는 노력은 많이 시도되고 있습니다.  이러한 기술의 활용과 제작팀의 노력이 “너를 만났다”에 온전히 답겨 있다고 할 수 있겠는데 올해 에피소드에도 새로운 시도와 기술적 접목이 녹아들어 그 위로와 감동이 더 커진다고 할 수 있겠습니다.

이번 ‘너를 만났다’ 시즌4의 주인공은 3년 전 아들을 떠나보낸 안유진(45) 이창원(45) 부부입니다. 당시 열세 살이었던 아들 서준이는 주말이면 아빠와 단둘이 한강 자전거 데이트를 다녀올 정도로 건강했던 아이였으나 급성 뇌출혈로 하루아침에 부모 곁을 떠났습니다. 

남겨진 세 자녀를 위해 그 누구보다 열심히 살아온 부부였지만, 3년이 지난 지금도 가슴 한구석, 지워지지 않는 아픔에 프로젝트 참여를 결심했습니다. 제작진은 시즌 최초로 두 번의 만남을 준비했습니다. 바다를 좋아했던 아들을 떠올리는 엄마에게는 ‘바닷가’에서의 만남을, 함께 자전거를 타던 아들이 그리운 아빠에게는 ‘한강 공원’을 설정해 두 곳의 가상현실을 제작했습니다.

또한, 제작 팀은 가상 제작 및 Unreal Engine의 메타휴먼 기술을 사용하여, 13세 시절의 서준을 16세의 모습으로 부모 앞에 생생하게 나타낼 수 있었습니다. 서준이 부모와 가상현실에서 실제로 상호 작용할 수 있도록 양방향 소통과 실시간 모션 캡처가 필요했습니다. 이러한 도전에 대응하기 위해 제작팀 PONY ENT, 특수 효과팀 IOFX MMC 및 기술 컨설팅 회사 니에프스 스튜디오가 협력하였습니다.

너를 만났다 시즌4 백스테이지 기술 팀 인터뷰

이번에 협업했던 VFX(특수영상) 전문 회사인 PONY, IOFX 기술 팀 리더를 인터뷰하며 제작 과정과 도전과제, 그리고 ‘너를 만났다’ 시즌4 에서의 감동적인 순간을 실현하는 데 최신 기술을 어떻게 활용되었는지에 대해 자세히 알아보았습니다.

Q: 두 분 안녕하세요. 자기소개 좀 부탁드립니다. '너를 만났다' 시즌4에서는 어떤 역할을 담당하시는지요.

J: 안녕하세요, 저는 IOFXMMC의 대표이사와 SM Studio Realive의 기술이사를 맡고있는 지명구입니다. '너를 만났다' 시즌4에서 적용된 다양한 실감형 기술들의 전체적인 기획 및 설계 그리고 컨소시엄의 구성 및 수행을 총괄하였습니다.

K: 포니이엔티(PONY ENT) 대표를 맡고 있는 ‘강민호’입니다. '너를 만났다' 시즌 4에서 인터렉션 부분 , 라이브 모션캡쳐 와 언리얼엔진을 활용한 VR인터렉션 부분의 기술 및 제작총괄을 진행하였습니다.

Q: '너를 만났다' 시즌4의 제작 영감 좀 공유해 주시겠습니까? 이번 시즌을 제작하는데 시간 얼마나 걸렸는지, 어떻게 진행해 오셨는지요.

J: MBC 연출 및 기획 제작진과는 23년 4월부터 첫 미팅을 시작했습니다. 그 이후 콘텐츠 주제에 맞게 다양한 기술을 같이 기획하고 테스트를 해왔으며 최종적으로 결정된 사례자에 맞는 콘텐츠 제작 부분의 컨소시엄을 구성하고 기술 부분 전체적인 부분을 총괄하여 추진해왔습니다. 약 6개월간 콘텐츠제작이 집중었으며 Virtual Human / Motion Capture / Interactive Content / HMD Virtual Reality / Virtual Production 등 각각의 솔루션별 전문그룹인 Pony ent. / Niepce Studio / Studio Realive / Opim Studio 등과 함께 제작해왔습니다. 그러나 가장 중심에는 MBC의 현장기술연출과 HTC바이브의 제작 솔루션이 없었더라면 불가능했을 프로젝트였습니다.

K: 직접적으로 프로젝트에 참여한 시기는 6개월 정도 됩니다. 대부분의 작업은 실시간 인터렉션의 구현에 초점을 두고 언리얼 엔진 상에서 트리거들을 대화와 행동의 흐름에 맞게 실시간으로 조작할 수 있게 하는 것과, 라이브 모션 캡쳐를 보다 완성도 있게 구현하고자 힘썼습니다.

Q: 촬영과 제작 과정에서 어떤 어려움이 있어고, 어떻게 극복하셨는지요?

J: 기존 드라마나 영화등의 철저히 기획된 부분을 촬영하여 제작하는 방식이 아니라 사연자의 가상환경에서의 경험부분을 다큐멘터리로 담아내는 부분에서 이전에는 시도되지 않았던 많은 기술들이 사용이 되어야 했으며 이와 동시에 라이브로 문제없이 운영할 수 있도록 파이프라인을 구축하는 부분들이 큰 어려움이 있었습니다. 처음 기획에서는 MR 컨텐츠기획도 함께 하였지만 시간적 기술적인 이슈들이 있어서 실시간 모션캡쳐 기술을 VR과 VP로 동시에 구현되는 부분을 집중하였습니다.

K: 여러 장비들을 제한된 스튜디오 환경에서 서로 동기화 될 수 있게 세팅해야 했기때문에 이 부분에서 힘든 점이 많았습니다. 다행히 많은 리허설을 할 수 있는 기회가 있었기 때문에 이러한 과정을 거치며 보완했습니다.

Q: 서준이 부모님과 자연스럽게 대화와 리엑션을 할 수 있었습니다. 실시간 쌍방향 커뮤니케이션을 달성하는 데 어떤 기술이 필요한지, 그 기술은 촬영하는 데 어떤 역할을 했는지요.

J: 우선 현장에서 안정적으로 운영이 될수있도록 네트워크와 프로세서 머신 등 하드웨어들의 하이엔드 퍼포먼스 셋업을 하였으며 소프트웨어와 콘텐츠의 최적화 등을 하여 레이턴시 없는 소통이 가능하도록 하였습니다. 그리고 사연자의 동작과 움직임 행동등에 반응하는 부분들은 실제 모션캡쳐 액터의 위치와 엄마의 위치등으로 확인하고 대응할수있도록 현장에서 모니터링 시스템을 운영하였습니다.

K: 시연자와 액터가 서로 다른 공간에 분리된 구조에서 액터가 시연자 의 위치와 행동을 직접적으로 전달 받는데에 한계가 있었기 때문에 이 부분을 해결하고자, VR을 착용한 시연자의 위치를 트래킹하여, 캐릭터가 시연자 를 똑바로 바라볼수 있게하는 'Lookat' 기능을 추가하고, 이를 토글형식으로 애니메이션이 블렌딩되며 on/off 할 수 있게끔 만들었습니다. 이를 통해 대화중과 같이 서로를 마주봐야 하는 상황에서 보다 서로를 마주본다는 느낌을 주게끔 되었습니다.

Q: '너를 만났다' 시즌4에서는VIVE Mars CamTrack과 버추얼 프로덕션을 사용하시나요? 워크플로(및 사용된 장비)에 대해 좀 설명해 주시겠습니까?

J: VIVE Mars CamTrack과 VIVE FIZ track을 이용한 VP제작 솔루션을 통하여 사연자의 콘텐츠에 대한 체험반응을 담아내어 현장에 있던 가족을 비롯한 관계자들에게 감동을 전달해주는 기회와 경험을 제공해주었습니다. 또한 당시 HMD 중 가장 최고의 성능을 자랑하는 XR elite를 통하여 사연자의 극대화된 몰입경험을 제공 가능하였습니다. 이러한 다양한 기술들이 이루어지기 위해서는 많은 솔루션들이 필요했는데요. 스튜디오간 딜레이가 없기 위한 네트워크 구성방안 및 송출 및 레코딩 시스템 그리고 모니터링 시스템 등 이전의 유사 프로젝트와는 다른 기술들의 집합과 최적화에 대한 경험을 남기게된 프로젝트였습니다.

Q: 메타휴먼을 사용해서 '시뮬레이트'하신 16세 서준이를 잘 봤습니다. 그 기술이 서준이의 표정, 외모, 목소리를 재현하는 데 어떻게 도움이 되었나요?

J: 가족들이 제공해주신 데이터를 활용하여 서준이를 가상으로 되살리는데 많은 도움이 되었습니다. 제작진들은 외형뿐만 아니라 표정과 행동 등에서 성격 등을 확인할 수 있었으며 서준이의 모든 것들을 최대한 담아낼 수 있도록 모든 스탭들이 고민하고 노력해왔습니다. 데이타를 보면서 작업을 진행하면서 서준이가 얼마나 아름답고 착한 친구인지 그리고 서준이의 가족들은 너무나도 사랑이 넘치는 가족이었다는 부분도 확인할 수 있었습니다.

K: 언리얼5 메타휴먼을 사용함으로써 페이셜 세팅에 들어갈 많은 시간을 아낄 수 있었습니다. 그리고 메타휴먼의 경우 일반적으로 사용되는 'blendshape' 방식의 페이셜세팅이 아닌 실제로 웨이트로 작동되는 수많은 본을 가지고 있기 때문에 이를 이용한 다양한 커스텀이 가능했습니다. 이를 통해 서준이 역할의 액터에게 맞게 얼굴의 움직임을 세팅할 수 있었습니다.

Q: VIVE Mars가 사용된 실시간 카메라 트래킹이 이 제작에 어떤 도움이 되는지 설명 좀 해주시겠습니까? VIVE Mars는 어떤 장면에 사용됐나요?

J: 앞서 설명을 드렸지만 VIVE Mars는 저희 컨텐츠의 시작부터 끝까지 함께하였습니다. 여러가지로 제한될 수 밖에 없던 제작현장환경에서도 높은 제작결과물을 낼 수 있었던 것은 VIVE Mars를 통해서 구현이 되었습니다.

Q: '너를 만났다' 시즌3까지는 PC-VR (VIVE Pro Eye), 모션 트래킹 위한 VIVE Tracker및 햅틱 장갑을 사용하여 촬영하신 것으로 알고 있습니다. 시즌4에서는 일체형 헤드셋인 VIVE XR Elite를 도입하시는데 기존 장비와의 차이점과 사용 경험을 좀 알려주시겠습니까?

J: 무엇보다도 제작 당시 가장 최고 수준의 사용자 경험을 제공 가능한 XR Elite를 선택할 수 밖에 없었습니다. MR 콘텐츠부분은 이번에는 아쉽게도 도입되지는 못했지만 MR와 VR이 가능한 유일한 솔루션이었으며 기존의 장비들보다는 작고 강하며 훌륭한 디자인으로 선택할 수 밖에 없었습니다. 물론 맨 처음에 VIVE 베이스 스테이션과의 호환에 대하여 완벽하게 수행하지 못하여 아쉽습니다만 그 외 다른 기술적인 이슈 등에서 HTC에서 VIVE의 언리얼엔진용 SDK통하여 많은 문제점 개선을 해왔습니다.

Q: '너를 만났다'의 하이라이트 중 하나는 심리상담이고 이 프로그램에 심리 상담사와의 대화하는 장면도 나왔습니다. VR 콘텐츠의 인터랙티브 디자인에 심리상담 요소도 포함되나요? 그 디자인에 대한 말씀 좀 부탁드립니다.

K: 기존 시즌도 굉장히 좋은 컨텐츠 였지만, 이번 시즌4에서는 사연자 의 심리 치유에 초점을 두고 기획단계부터 진행을 하였습니다. 저희는 기획 단계를 구현하기 위에 디자인, 기술적부분적으로 실제 구현 할 수 있는 부분들을 많이 고민하였고, 다행히 그 부분들이 사연자 와 시청자 모두에게 잘 전달 되었다고 생각을 하고 있습니다.

J: 최종적으로는 먼저 떠나간 사랑하는 이에 대한 건강하고 올바른 이별에 대한 방향을 가지고 있다고 생각합니다. 사랑하는 이를 먼저 보내고 남아있는 사람들이 극복을 하고 더욱더 성장하는 단계가 되어가기 위해선 남아있는 아쉬움들의 해결이 필요하다고 생각합니다. 그 부분에서 상담은 물론 당사자간의 소통을 통하여 해결할 수 있는 부분은 가장 정확하고 빠르게 올바른 성장으로 가는 길이라 생각하고 있습니다.

Q: VR로 함께 치유를 받은 가족분들의 생각도 궁금합니다. 그들에게 어떤 피드백을 받으셨는지요.

K: 현장에서 가족분들의 반응은 너무나도 감동적 이었습니다. 가족분들의 추억을 같이 공감하면서, 같이 눈물 흘리고, 기뻐 할 수 있었습니다. 이 프로젝트의 진행과정을 통해 조금이라도 상처가 치유되었다는 느낌을 현장에서 느낄 수 있어서 기뻤습니다.

J: 현장에서의 사연자 및 가족들의 반응은 제작진 모두에게 많은 감동을 주었습니다. 사연자 두분들도 각각의 엄마와 아빠로서 다른 사연자의 생각과 행동을 모았으며 서준이를 기억하는 동생들 뿐만아니라 당시에는 너무 어려서 서준이에 기억이 없던 동생들에게도 서준이와 함께하는 가족이라는 경험을 제공한 부분에 대해서 보람이 넘치는 프로젝트였습니다. 사실 이 프로젝트를 하면서 제자신도 돌아보는 계기가 되어 저희 가족들한테 미안하고 더욱더 잘해줘야겠다는 결심을 하게되었지만 막상 또 시간이 지나니 또 잊고 제대로 잘하지 못하는것 같네요. 말하고 나니 민망하고 부끄럽네요.

Q: '너를 만났다' 시즌5도 나오나요? 다음에는 어떤 새로운 방법이나 새로운 이야기를 해보고 싶으신가요? 카메라 트래킹을 사용할 계획 있으신지요.

J: 저희가 판단하고 결정할수있는건 아니지만 벌써부터 많은분들이 다음 시즌을 기대를 하기에 시즌5도 진행되지 않을까 예상을합니다. 다음 부분에 선보이는 기술들은 아마도 이번에 하지못한 MR로 하지않을까 합니다. 이전까지의 완벽한 가상세계의 체험에서 MR 디바이스 및 관련기술들도 발전됨에 따라 사용자의 몰입감을 더욱더 줄수 있는 포토리얼리즘의 방향을 기대합니다. 메타 휴먼 표현기술의 발전뿐만 아니라 가상으로 만든 Full CGI 배경이아닌 NeRF등의 기술로도 활용되지 않을까 기대를 해봅니다.

K: 저희가 결정하는 위치는 아니지만, 아마도 시즌 5도 진행 될 거라 생각합니다. 시즌5가 진행이 되게 되면 더 좋은 기획과 기술을 활용하게 될거라고 생각하고 카메라 트래킹 및 핸드트래킹 기술을 활용하여 좀 더 몰입감 있는 컨텐츠, 시각과 촉각을 모두 만족할수 있는 컨텐츠를 만들수 있기를 희망합니다.