專訪MBC紀錄片《遇見你》製作團隊：如何借助VIVE VR和VIVE Mars虛擬製片，與逝者笑著告別，療癒深層心靈
XR 延伸實境
5 minutes read
四年前，一段標題為「母女在VR中重聚」的YouTube影片吸引了全球的目光。這段影片節錄自韓國MBC電視台製作的真人紀錄片《遇見你》（너를 만났다），展示了以VR技術重現逝者的片段，迄今已累積超過3500萬的觀看次數。即使觀眾對這檔節目或故事背景一無所知，短短10分鐘的影片也足以讓任何人被其中流露的情感所感動，那不僅是因為失去心愛的女兒所帶來的哀傷，更多的是重逢帶來的深切感動。
Grief tech：用科技與逝者重逢
隨著VR虛擬實境、XR擴增實境以及AI等技術的進步，運用科技實現生者與逝者重逢的方式也日益增加。這些技術被《麻省理工科技評論》的作者Charlotte Jee稱之為「grief tech」，意指利用科技手段幫助人們處理悲傷和失去的技術。
在台灣，人們熟知的例子包括唱片製作人包小松在經歷愛女逝世的悲痛後，投入研讀AI相關知識，並透過女兒留下的短短三句話重現聲線，在串上AI聊天機器人後，現在已可以對答如流。同時，日本藝術家松尾公同樣透過AI技術，重現了他已故妻子的歌聲及影像，創作出《妻音源Torichan 歌唱 Desperado》，此作品不僅在2023年獲得日本首屆人工智慧藝術獎（AI Art Grand Prix）的肯定，目前更在台北當代藝術館展出。
目前於台北當代藝術館的《你好，人類！Hello, Human!》展出中。（來源：MOCA Taipei）
即便許多人認為這樣的行為，彷彿使人深陷在哀傷之中，是走不出來的展現。然而，這些留下來的人，或許只是在尋找一種方式來處理自己的情感，或是一次與逝者好好道別的機會。韓國紀錄片《遇見你》，正是希望能夠透過科技，為參與者量身打造虛擬體驗，目標並非讓逝者重生，而是幫助生者揮別傷痛的可能。
虛擬製作與MetaHuman技術，能夠重現逝者嗎？
2024年，《遇見你》迎來第四季。本次主角是三年前遭逢喪子之痛的一對夫妻，當時年僅十三歲的兒子Seo-Jun，因急性腦出血驟逝。儘管為了撫養其他三個孩子而打起精神努力生活，他們的心中始終有一處難以癒合的傷痛。因此，夫妻倆決定報名參加《遇見你》，期望能在虛擬實境中與兒子重逢，並擁有好好道別的機會。
賺人熱淚的韓國MBC電視台所製播的《遇見你》迎來第四季。（來源：MBC）
製作單位特別邀請了VR技術團隊和心理諮商專家，為這對夫妻專門打造兩個虛擬場景，以完成他們的願望。第一個場景是記憶中的海邊，以紀念熱愛大海的Seo-Jun；第二個場景則是漢江公園，這是Seo-Jun生前常和爸爸去騎腳踏車的地方。
栩栩如生的虛擬Seo-Jun。
此外，製作團隊更採用VIVE Mars虛擬製作以及Unreal Engine的MetaHuman技術，讓生命永遠停留在13歲的Seo-Jun，能夠以16歲的模樣，活靈活現的出現在父母面前。為了確保Seo-Jun與父母在虛擬實境中能夠「真實」的互動，不僅需要雙向溝通技術，還需即時動作捕捉，才能呈現流暢自然的動作表現。因應這項挑戰，製作團隊PONY Games、特效團隊IOFX以及技術顧問NIEPCE studio攜手合作，成功完成了這一創新且艱難的任務。
《遇見你》第四季幕後技術團隊訪談
這次，我們有幸能訪問了PONY Games和IOFX兩個技術團隊的負責人，並深入了解幕後的製作過程與挑戰，以及如何運用最新科技來實現《遇見你》這一季中的動人時刻：
Q：兩位好，很榮幸邀請到你們。方便請你們自我介紹一下，並和讀者說明一下分別負責的項目嗎？
J：你好，我是IOFX的執行長兼SM旗下Studio Realive的技術總監，我的名字是Ji Myung-gu（音譯）。在《遇見你》第四季中，我負責了各種實感技術的規劃與設計，以及組織各技術團隊的統籌。
K：我是PONY Games的公司負責人Kang Min-ho（音譯）。 在《遇見你》第四季負責互動部分、即時動作捕捉及利用Unreal Engine的VR互動部份之技術及製作統籌。
Q：可否和我們聊聊《遇見你》這一季的製作過程以及花了多久的時間製作呢？
J：我們與MBC的執行製作團隊自2023年4月起開始開會。從那時候開始，我們就根據內容主題，一起規劃並測試了各式各樣的技術，並建立了一支專門的團隊，為最終選定的參與者來製作符合他們需求的內容，同時全力推動技術上的嘗試。這段內容的製作時程大約花了六個月的時間，我們與PONY Games、Niepce Studio、Studio Realive、Opim Studio等團隊合作，涵蓋了MetaHuman、動作捕捉、互動內容、VR內容製作及虛擬製作等各技術領域的專家。然而，這個專案如果沒有MBC電視台的現場技術指導，和HTC VIVE所提供的VIVE Mars虛擬製片解決方案，也是沒辦法完成的。
K：我們直接參與專案的時間大約也是六個月。大部分的工作在於實現即時互動，讓Unreal Engine中的觸發器（trigger）可以被即時控制，以對應對話和動作的進行，還有讓現場的即時動捕更加順暢。
《遇見你》第四季拍攝現場。（來源：MBC）
Q：聽起來是個複雜且龐大的專案，你們在過程中有遇到什麼挑戰嗎？你們又是如何解決的呢？
J：傳統的戲劇或電影製作方式，通常有著精心策劃的劇情和腳本，但我們在製作這部作品時，則更仰賴拍攝參與者在虛擬環境中的體驗，並以紀錄片的形式呈現，這使我們採用許多之前未曾嘗試的技術。同時，為了建立一個能夠即時運作且不能失誤的流程系統，我們也遇到了重大的挑戰。雖然在初期規劃時有想納入混合實境（MR）的內容設計，但由於時間和技術上的考量，我們最終便專注於實現虛擬實境（VR）內容，同時運用即時動作捕捉及虛擬製片技術來拍攝。
K：在有限的工作室空間內，要設置並同步大量的設備是一大挑戰，我們在這方面遇到了不少困難。幸好有很多次彩排的機會，讓我們能在過程中找到問題，然後解決它。
Q：我們看到影片後發現，虛擬Seo-Jun能夠自然的與父母對話和互動。兩位能和我們分享實現「即時雙向溝通」的技術原理嗎？這項技術在整個拍攝過程中扮演了什麼角色？
J：首先，我們為了確保在現場可以穩定運作，不僅在網路和硬體設備上都拉到非常高的規格，也對軟體與內容進行了最佳化，使得可以實現低延遲的互動。此外，我們在現場採用監控系統，可以根據實際動作捕捉相對位置，讓虛擬Seo-Jun能對父母的動作、移動和行為做出反應。
K：是的，由於現實中的父母和虛擬Seo-Jun分別位於不同的空間，要如何讓虛擬Seo-Jun知道父母的位置和動作是個問題。為了解決這問題，我們不僅需要追蹤父母的位置，還加入了一項讓Seo-Jun直接注視父母的「Lookat」功能，在需要面對面互動時，父母能更真實的感受到Seo-Jun的目光。
Q：16歲的虛擬Seo-Jun非常栩栩如生，你們是如何重現他的表情、外觀和聲音？
J：我們從他家人所提供的資料和檔案，模擬出了16歲的Seo-Jun，製作團隊不僅從他的外表，還從他的表情和動作中理解了他的性格，所有的工作人員都希望能盡力捕捉關於Seo-Jun的一切。在處理這些資料的過程中，我們不僅看到了Seo-Jun是一位多麼美好又善良的孩子，也感受到家人們對他的愛。
K：技術上來說，我們使用Unreal Engine 5的MetaHuman來打造出虛擬Seo-Jun。MetaHuman的一大特點是，它不像傳統是以「blendshape」技術進行臉部綁定，而是使用了許多可以按比重調節的骨骼結構，這讓我們可以進行更細緻和客製化的調整，也因此省下了不少時間。
採用MetaHuman技術模擬16歲的Seo-Jun。
Q：另外，想問問你們是否使用了VIVE Mars CamTrack和虛擬製作？能解釋一下使用的工作流程和設備嗎？
J：沒錯，透過VIVE Mars CamTrack和FIZTrack的虛擬製作技術，我們才能夠成功記錄下參與者在現實世界中的反應和在虛擬實境中的體驗過程，並將這些真摯的感受傳遞給廣大的觀眾，為他們帶來了感動的時刻。此外，我們也使用了VIVE XR Elite作為這一季的頭顯裝置，透過VIVE Mars虛擬製片的解決方案，讓我們能夠將各項技術發揮出最大效益並統合在一起。
拍攝現場有不少技術需要整合。（來源：MBC）
Q：《遇見你》的一大亮點是心理諮商，節目中包括了與諮商師的對話。是否有將心理諮詢的元素整合到VR互動設計中呢？兩位能談談這方面的設計嗎？
K：在內容企劃的階段，我們便把心理諮商的元素放在優先順位，來規劃能勾起他們幸福回憶的場景和互動，而不僅僅是一般的VR體驗。幸運的是，Seo-Jun的父母似乎真的深深的投入其中，並感受這一切。
J：我們相信，找到一個與已故親人好好告別的方法非常重要。對於那些失去愛人的人而言，解開內心的掛念是克服悲傷、邁向成長的關鍵。在過程中，心理諮商與不斷的溝通是最直接且有效的方法。
Ｑ：我們很好奇參與者，也就是Seo-Jun的父母以及其他孩子們，在拍攝現場的反應與體驗後的心得，可以和我們分享一下嗎？
K：在現場時，工作人員受到Seo-Jun家人們的情緒感染，跟著一起哭，一起笑。我們在現場可以深刻的感受到，透過這個專案，他們的創傷有被療癒了，哪怕只是一點點也好，因此覺得很欣慰。
J：除此之外，這次的專案也為Seo-Jun的弟弟妹妹們，留下了一次可貴的家庭經驗。實際上，在進行這個專案時，我自己也反省了一下，覺得應該要更珍惜與善待自己的家人。雖然隨著時間過去，又漸漸忽略了這件事，實在覺得有點尷尬和羞愧。
一起看著VR體驗內容的孩子們。
Q：最後，如果還有《遇見你》第五季的話，你們會想做些什麼嘗試呢？
J：雖然這不是我們能決定的，但已經有很多觀眾在期待下一季，所以我猜想應該會有第五季。我們預期下一階段可能會採用這次沒有納入的MR技術。隨著MR設備和相關技術的進步，我們期待能朝向照相真實主義（Photorealism），提供使用者更深層的沉浸感。我們希望這些擬真技術，不僅能應用在MetaHuman的發展上，也能應用如NeRF這樣的技術來創造場景，而不僅僅是虛擬的CGI背景。
K：我相信隨著第五季的到來，將會有更好的企劃及技術。希望可以運用更好的攝影機追蹤及手部追蹤技術，創造出同時滿足視覺及觸覺的內容。
