建立在堅實技術基礎上的創意娛樂公司”索尼，始終以“人”為本，在前沿技術領域不斷探索進取。后疫情時代，索尼黑科技正式確立了3R戰略（真實（Reality）、實時（Real-time）和遠程（Remote），致力于為內容創作賦能，共同開創前所未有的娛樂表達方式。 “索尼黑科技”專欄將定期為您介紹較具代表性的索尼技術創新成果，探索如何“用創意和科技的力量感動世界”。本期將為您帶來的是索尼正在研發的一種虛擬制作技術——體積空間捕捉技術（Volumetric Capture）。

使用空間現實技術進行電影制作

       體積空間捕捉技術指的是通過多臺攝像機拍攝創建3D CG影像（計算機動畫），并利用這些數據制作出看起來像是在真實地點拍攝的視頻。目前，索尼公司的研發中心、索尼影視娛樂公司和專門從事虛擬制作的索尼創新工作室正在合作制作可用于電影制作的高質量視頻。

受訪人資料：

相互改進技術，追求全新的視覺表達

Q：索尼公司的研發中心、索尼影視娛樂公司和索尼創新工作室是如何合作的？

田中：索尼創新工作室于2018年在美國卡爾弗城的索尼影視娛樂公司所在地成立，是一家利用包括體積空間捕捉技術在內的各種技術從事虛擬制作的特別工作室。在索尼創新工作室成立之前，索尼影視娛樂的視覺制作團隊就對索尼研發中心的體積捕捉技術表示出了興趣。在2018年6月索尼創新工作室的啟動儀式上，我們透露了與索尼影視娛樂共同研發的實時空間捕捉系統。

Q：在啟動儀式上，您展示了什么？

田中：我們將事先錄制好的主持人的3D影像與現場主持人的影像混合在一起，進行實時的演示，讓人覺得有兩個人在一起。逼真的圖像質量讓嘉賓們大吃一驚。
 

Q：從那以后，索尼公司和索尼創新工作室似乎一直在合作？

田中：索尼創新工作室開幕式之后，我們研發中心提出了將體積空間捕捉技術引入日本音樂產業的想法，而索尼創新工作室則追求更高的影像質量，我們也一直以這項技術的新高度為目標。較近，我們開始嘗試將使用體積空間捕捉技術拍攝的角色放置在由索尼創新工作室以獨特技術創造的虛擬空間中。他們所創造的空間具有很高的圖像質量，不知道的人都會覺得好像是在真實的地點拍攝的一樣，所以我們拍攝視頻的圖像質量無法達到他們的要求也是意料之中。為了實現更好的畫質，我們決定讓我們較優秀的工程師到索尼創新工作室現場體驗實際制作，以期與創作者一起進行技術合作。
 

更真實、更簡單。以能夠實際應用于電影制作為目標

Q：在這次合作中，索尼公司帶來了什么樣的優勢？

加治：體積空間捕捉技術的主要優勢是利用3D電腦視覺的渲染技術，即使在沒有安裝攝像機的視點也能創建視頻。如果你試圖從實景視頻中創建3D數據，無論工藝多么精細，形狀都會與現實有差異。在此基礎上添加色彩，只會讓它看起來更不自然，更像CG。因此，我們引入了索尼獨特的影像逼真渲染技術，可以充分利用拍攝的視頻創造出看起來像用傳統相機拍攝的自然影像。雖然目前還沒有實現真正意義上的相機拍攝效果，但我們將繼續開發該技術，將畫質提高到可以應用于電影制作的程度。
 

Q：聽說您在視頻編輯工作方面也有一些計劃，請問您是怎么做的？

加治：我們目前正在研究將之前拍攝的圖像自動轉化為3D模型的技術。要制作高保真的3D模型，需要高度精確的校準，目前，研發中心已經成功實現了這一過程的自動化，并同時強調了實時性，這可以大大減少視頻編輯所需的時間和精力。在索尼創新工作室的電影制作中，很多情況下作品的藝術性需要人工處理，這需要花費大量的時間。另一方面，虛擬制作需要處理比平時更龐大的數據量，這就需要很長的時間來處理和編輯，索尼的自動化技術對提高制作效率很有幫助。
 

由索尼的渲染技術生成的3D CG模型

生成宛如現場實際拍攝的圖像

讓新的視頻體驗更加觸手可及

Q：我們可以期待怎樣的發展和可能？

田中：虛擬制作可以遠程制作看似在現場拍攝的影像。我們相信，通過應用這項技術，我們將能夠創造出一種即使相隔很遠，也能讓人有身臨其境的體驗。我們的較終目標是讓科技變得更加生活化，并將這種體驗直接傳遞給客戶。特別是在新冠病毒大流行的情況下，我們認為虛擬制作的重要性正在穩步提升。我們希望通過繼續全力投入研發這項技術，與索尼創新工作室一起建立新的視頻制作環境，為電影產業做出貢獻。
 

加治：我們相信，索尼創新工作室為追求較高畫質的體積空間捕捉技術提供了較佳環境。我們將繼續努力實現更好的圖像質量，同時加強與各領域合作伙伴的合作，我們相信這些活動將帶來新的體驗。