“建立在堅(jiān)實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂(lè)公司”索尼，始終以“人”為本，在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時(shí)代，索尼黑科技正式確立了3R戰(zhàn)略（真實(shí)（Reality）、實(shí)時(shí)（Real-time）和遠(yuǎn)程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開(kāi)創(chuàng)前所未有的娛樂(lè)表達(dá)方式。“索尼黑科技”專欄將定期為您介紹較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動(dòng)世界”。本期將為您帶來(lái)的是——連接現(xiàn)實(shí)和虛擬世界的現(xiàn)場(chǎng)音樂(lè)體驗(yàn)。

    新冠肺炎疫情加速了音樂(lè)活動(dòng)在線直播的發(fā)展。與此同時(shí)，這些經(jīng)歷讓人們意識(shí)到，沒(méi)有觀眾的在線直播音樂(lè)會(huì)與真實(shí)的親身體驗(yàn)有多么不同。因此索尼決心解決這個(gè)問(wèn)題。作為其 " Lindbergh項(xiàng)目"的一部分，這是舉全集團(tuán)之力推進(jìn)的擴(kuò)展現(xiàn)實(shí)（XR）娛樂(lè)計(jì)劃，索尼旨在提供一種全新的體驗(yàn)，通過(guò)使用VR技術(shù)連接藝術(shù)家和粉絲，來(lái)連接現(xiàn)實(shí)和虛擬世界。為了了解更多關(guān)于這個(gè)項(xiàng)目現(xiàn)在的情況和未來(lái)的走向，我們采訪了項(xiàng)目開(kāi)發(fā)負(fù)責(zé)人今村隆和負(fù)責(zé)UI/UX和交互開(kāi)發(fā)的高橋一真。

受訪人資料：

索尼對(duì)于全新VR現(xiàn)場(chǎng)音樂(lè)活動(dòng)體驗(yàn)的愿景

Q：您所說(shuō)的 "連接現(xiàn)實(shí)和虛擬世界的現(xiàn)場(chǎng)音樂(lè)體驗(yàn)" 是什么意思？

今村隆：索尼并不是唯一一家尋求使用VR技術(shù)向粉絲提供現(xiàn)場(chǎng)音樂(lè)體驗(yàn)的公司。現(xiàn)在市場(chǎng)上已經(jīng)有了一些服務(wù)。大多數(shù)情況下，VR攝像機(jī)被安裝在會(huì)場(chǎng)，內(nèi)容通過(guò)頭戴式顯示器展示給觀眾，讓觀眾在家中進(jìn)行觀看。但是，藝術(shù)家的表演并不是在那個(gè)物理空間中唯一發(fā)生的事情。在現(xiàn)場(chǎng)，你可以感受到周圍興奮的粉絲的熱情，享受與藝術(shù)家的互動(dòng)，并在周邊商店里購(gòu)買商品和其他物品。如果沒(méi)有這些元素，虛擬就遠(yuǎn)遠(yuǎn)不如真實(shí)的體驗(yàn)。我們要做的是將這些真實(shí)體驗(yàn)的價(jià)值轉(zhuǎn)化并移植到虛擬世界中，同時(shí)也為體驗(yàn)添加一個(gè)獨(dú)特的虛擬維度，創(chuàng)造全新的價(jià)值。

連接現(xiàn)實(shí)和虛擬世界的現(xiàn)場(chǎng)音樂(lè)體驗(yàn)——它看起來(lái)是什么樣的？

場(chǎng)館大廳

在演出前，在大廳與你的朋友見(jiàn)面，分享你對(duì)即將到來(lái)的演出的興奮，選擇一個(gè)熒光棒或其他物品帶入會(huì)場(chǎng)，而且可以在音樂(lè)會(huì)前試用一下。

在舞臺(tái)前

即使在現(xiàn)場(chǎng)表演時(shí)也可以與朋友互動(dòng)，一起為表演者加油。你甚至可以鼓掌和揮舞熒光棒或其他物品來(lái)表示支持。你不僅可以看到你的朋友，同時(shí)也可以看到會(huì)場(chǎng)上所有其他的粉絲。

演出過(guò)程中

現(xiàn)場(chǎng)表演不僅僅是流媒體音樂(lè)和視頻，還帶有互動(dòng)功能：觀眾的座位與視頻同步移動(dòng)，藝術(shù)家可以回應(yīng)他們激動(dòng)的粉絲，向他們發(fā)送飛出的心等等，使舞臺(tái)表演更加精彩。

演出結(jié)束后

演出結(jié)束后，你回到大廳，可以一邊享受演出的余韻，一邊與朋友談?wù)撘魳?lè)會(huì)的情況。在演示時(shí)，還向用戶發(fā)送了領(lǐng)取演出照片的機(jī)會(huì)（甚至?xí)畜@喜，如隱藏在照片背面的藝術(shù)家的簽名或留言）。

Q：這個(gè)項(xiàng)目是什么時(shí)候開(kāi)始的？怎樣開(kāi)始的？

今村隆：這段時(shí)間，我們一直致力于現(xiàn)場(chǎng)音樂(lè)空間的VR流媒體方面的探索，2019年12月在PlayStation? VR上取得了顯著的成功。從那時(shí)起，我們一直在努力改進(jìn)VR拍攝技術(shù)，以提高圖像質(zhì)量。我們還參與了一些與提供場(chǎng)地音頻有關(guān)的不同挑戰(zhàn)，這是在線音樂(lè)活動(dòng)體驗(yàn)的重要方面。在這個(gè)領(lǐng)域，我們實(shí)現(xiàn)了Survive Said The Prophet的VR音樂(lè)體驗(yàn)，它在2020年獲得了美國(guó)的Lumiere Award大獎(jiǎng)。然而，當(dāng)我們與音樂(lè)現(xiàn)場(chǎng)的粉絲交流時(shí)，得到的反饋很明顯，僅僅提供音頻和視頻是不夠的。他們說(shuō)，團(tuán)結(jié)統(tǒng)一的現(xiàn)場(chǎng)感是很重要的。我們想知道，如何能夠利用技術(shù)將這些體驗(yàn)帶入生活，這個(gè)項(xiàng)目就應(yīng)運(yùn)而生了。

高橋一真：從那時(shí)起，我們進(jìn)行了大量的討論，意識(shí)到除了音樂(lè)表演本身之外，表演前與朋友聊天、享受音樂(lè)余韻以及身處環(huán)境中的高雅氛圍等方面都是現(xiàn)場(chǎng)表演的重要內(nèi)容。我們一致認(rèn)為，逼真的高畫質(zhì)、近距離接觸藝術(shù)家、隨意改變攝像機(jī)角度等元素是VR現(xiàn)場(chǎng)體驗(yàn)的較佳部分，但僅有這些元素是不夠的。

今村隆：我認(rèn)為在目前的疫情挑戰(zhàn)下，現(xiàn)有的遠(yuǎn)程在線演出形式意義非凡。但是，你只是在客廳里用智能手機(jī)的小屏幕觀看，在演出結(jié)束的那一刻，樂(lè)趣就結(jié)束了，而且沒(méi)有辦法享受前后的氣氛，這有點(diǎn)遺憾。

連接藝術(shù)家與粉絲，粉絲與粉絲

Q：在虛擬空間中重現(xiàn)音樂(lè)活動(dòng)現(xiàn)場(chǎng)的氣氛時(shí)，有什么要著重注意的嗎？

今村隆：較重要的是要避免任何沉浸感的削弱。你需要避免任何將用戶拉回現(xiàn)實(shí)并讓他們思考 "等等，我在做什么？"的事情。在這方面，我們所做的一件事是盡量減少控制，使其簡(jiǎn)單而直觀。我們開(kāi)發(fā)了更多的物理控件，讓用戶真正地拍手和豎起大拇指，而不是像過(guò)去的音樂(lè)VR內(nèi)容那樣，按下控制器上的一個(gè)按鈕來(lái)?yè)]舞熒光棒。這比我們想象的更有效，讓用戶有一種通過(guò)移動(dòng)身體而與音樂(lè)同步搖擺的感覺(jué)，使整個(gè)體驗(yàn)更加有趣。

高橋一真：你剛才看到的演示帶有預(yù)先錄制好的音樂(lè)會(huì)片段，包括藝術(shù)家們準(zhǔn)備好的虛擬反應(yīng)，但如果你嘗試一下，仍然可以享受到與藝術(shù)家互動(dòng)的感覺(jué)。你可能會(huì)大喊大叫，結(jié)果藝術(shù)家還是與你旁邊的人互動(dòng)，而不是跟你互動(dòng)......但這讓你覺(jué)得要更大聲的呼喊才行。藝術(shù)家和粉絲之間的這種聯(lián)系，以及粉絲和其他粉絲之間的聯(lián)系，是我們的一個(gè)關(guān)鍵重點(diǎn)。

你說(shuō)的對(duì)—在現(xiàn)場(chǎng)和同齡人在一起，在感受他們的動(dòng)作和聲音的同時(shí)享受表演，真的感覺(jué)很新鮮。

今村隆：適當(dāng)控制觀眾群內(nèi)的交流也是非常重要的。目前，演示系統(tǒng)允許多達(dá)28個(gè)用戶同時(shí)參與同一現(xiàn)場(chǎng)音樂(lè)活動(dòng)，但你只能較多與四個(gè)人通過(guò)語(yǔ)音聊天密切交流。與這四個(gè)人之外的參與者的互動(dòng)僅限于非語(yǔ)言交流；你聽(tīng)不到他們說(shuō)什么，但可以聽(tīng)到他們鼓掌，看到他們揮舞熒光棒。

高橋一真：除了保持朋友之間的密切溝通，我們非常注重保證周圍粉絲的真實(shí)感。你周圍的觀眾看起來(lái)并不會(huì)像CG或機(jī)器人簡(jiǎn)單地?fù)]舞著他們的熒光棒，我認(rèn)為這有助于增強(qiáng)演出中的沉浸感。

今村隆：觀眾座位的安排是為了讓每一個(gè)參與者都有一個(gè)較好的座位來(lái)享受音樂(lè)會(huì)。這是只有在VR中才能做到的。當(dāng)然，粉絲們喜歡這樣，但內(nèi)容創(chuàng)作者和藝術(shù)家也喜歡這樣，因?yàn)檫@可以讓他們?cè)谘莩鲋邢蛎恳晃挥^眾準(zhǔn)確地展示他們想要的東西。盡管如此，我們還是要注意保持參與者在群體中的相對(duì)位置，以便在與朋友交流時(shí)不會(huì)出現(xiàn)矛盾的動(dòng)作，例如在相互揮手時(shí)。

在索尼多元資產(chǎn)的高歌猛進(jìn)中促進(jìn)技術(shù)的進(jìn)步

Q：你在 " Lindbergh計(jì)劃 "中的經(jīng)驗(yàn)是如何被用來(lái)實(shí)現(xiàn)這一切的？

今村隆：" Lindberg "是我們?cè)谶^(guò)去三年中一直致力于的一個(gè)全集團(tuán)項(xiàng)目，我們不斷與這些領(lǐng)域的專家討論拍攝、成像和音頻技術(shù)。在這次構(gòu)建互動(dòng)體驗(yàn)時(shí)，我們也參考了互動(dòng)技術(shù)團(tuán)隊(duì)的原型。

高橋一真：雖然我們以前也參與過(guò)一些集團(tuán)范圍內(nèi)的項(xiàng)目，但對(duì)我們來(lái)說(shuō)，這是個(gè)特殊的機(jī)會(huì)，可以與藝術(shù)家和娛樂(lè)行業(yè)的其他人如此緊密地聯(lián)系在一起。我們讓娛樂(lè)專家看了我們這些技術(shù)領(lǐng)域的人創(chuàng)造的原型，并一起工作，來(lái)解決批評(píng)意見(jiàn)，并納入他們的想法和建議，以提出新的體驗(yàn)。

今村隆：更具體地說(shuō)，具有不同背景的團(tuán)隊(duì)成員集思廣益，創(chuàng)造出一個(gè)抽象的、獨(dú)特的VR現(xiàn)場(chǎng)音樂(lè)體驗(yàn)的概念。然后，由高橋一真領(lǐng)導(dǎo)的創(chuàng)意中心團(tuán)隊(duì)通過(guò)故事板將這個(gè)想法可視化。然后，這些具體的想法由團(tuán)隊(duì)成員審查，并檢查是否有與概念不一致的地方。有時(shí)，技術(shù)團(tuán)隊(duì)成員會(huì)創(chuàng)建一個(gè)簡(jiǎn)單的原型來(lái)驗(yàn)證這個(gè)概念。我們一遍又一遍地重復(fù)這個(gè)過(guò)程，較終形成了現(xiàn)在的體驗(yàn)。

因?yàn)槲覀儍A向于從技術(shù)出發(fā)提出想法，所以索尼音樂(lè)團(tuán)隊(duì)成員的意見(jiàn)對(duì)于了解藝術(shù)家和娛樂(lè)行業(yè)其他人的觀點(diǎn)是非常有用的。類似的激烈討論持續(xù)了大約三年，而討論的精髓已被應(yīng)用到當(dāng)前的演示中。

挑戰(zhàn)：提供低延遲的藝術(shù)家互動(dòng)

Q：在這個(gè)過(guò)程中，有沒(méi)有什么技術(shù)障礙是一個(gè)特別的挑戰(zhàn)？

高橋一真：在我的設(shè)計(jì)領(lǐng)域里，可能是要找出視覺(jué)表達(dá)的解決方案。雖然我在電視等顯示的二維視覺(jué)設(shè)計(jì)方面有很多經(jīng)驗(yàn)和知識(shí)，但在用戶可以隨意移動(dòng)的三維空間里，這些經(jīng)驗(yàn)在很多情況下是完全沒(méi)有用的。例如，2D圖像中的一個(gè)微不足道的指令，如閃亮的粒子雨，在虛擬空間中看起來(lái)與你的預(yù)期可能完全不同，會(huì)難以看清。解決此類問(wèn)題是體驗(yàn)中令人耳目一新的部分。

Q：你認(rèn)為未來(lái)會(huì)遇到哪些技術(shù)上的障礙？

高橋一真：我想繼續(xù)接受挑戰(zhàn)，即如何利用技術(shù)和設(shè)計(jì)來(lái)較好地展現(xiàn)藝術(shù)家的表演。我們?cè)鯓硬拍茏屩車挥芯G色屏幕的藝術(shù)家們看到，他們的粉絲正在虛擬的會(huì)場(chǎng)空間里為他們加油呢？這就是數(shù)據(jù)可視化——我們的專業(yè)領(lǐng)域的意義所在。現(xiàn)在，我正在研究如何讓藝術(shù)家看到如：右邊的粉絲揮手歡呼，而其他人則用熒光棒在空中寫寫畫畫。

今村隆：關(guān)于藝術(shù)家與粉絲之間的交流，演示中使用了從場(chǎng)景中心發(fā)出的互動(dòng)效果。然而，在實(shí)際的現(xiàn)場(chǎng)表演中，我們將需要使用傳感器來(lái)跟蹤身體動(dòng)作，如臉部位置和手部動(dòng)作，并在此基礎(chǔ)上產(chǎn)生特殊效果。索尼的傳感器和相機(jī)技術(shù)將在這方面發(fā)揮巨大的作用。展望未來(lái)，我想繼續(xù)追求一種在實(shí)際現(xiàn)場(chǎng)音樂(lè)表演中無(wú)法獲得的體驗(yàn)，一種超越現(xiàn)實(shí)生活的體驗(yàn)。

在此基礎(chǔ)上，我們將需要解決延遲問(wèn)題。以目前的流媒體技術(shù)，這種規(guī)模的內(nèi)容將導(dǎo)致約20秒的單向延遲。這么長(zhǎng)的延遲會(huì)扼殺藝術(shù)家和粉絲之間任何形式的真正交流。為了解決這個(gè)問(wèn)題，我們不僅需要技術(shù)解決方案，還需要對(duì)用戶體驗(yàn)進(jìn)行更多思考。這個(gè)解決方案可能需要在音樂(lè)會(huì)場(chǎng)地建立某種基礎(chǔ)設(shè)施，由于場(chǎng)地業(yè)務(wù)是索尼音樂(lè)集團(tuán)的專長(zhǎng)，我相信他們能想出一些獨(dú)特的 "索尼方案"。

擴(kuò)展到現(xiàn)場(chǎng)音樂(lè)表演之外的發(fā)展前景

Q：您能談?wù)劤浆F(xiàn)場(chǎng)音樂(lè)活動(dòng)體驗(yàn)的發(fā)展前景嗎，將現(xiàn)實(shí)和虛擬世界連接起來(lái)？

今村隆：我認(rèn)為除了現(xiàn)場(chǎng)音樂(lè)活動(dòng)，我們還可以在其他領(lǐng)域使用這種形式。這會(huì)有很多的可能性。它可以用于教育，以觀眾參與的形式放映電影，這在較近變得很流行，也可以用于其他領(lǐng)域。我想把它擴(kuò)展到取決于交流的內(nèi)容和體驗(yàn)。

高橋一真：我期望這項(xiàng)技術(shù)可以用來(lái)拉近粉絲、藝術(shù)家和內(nèi)容之間的距離。在未來(lái)，我想創(chuàng)造一些東西，讓人們?cè)谕粫r(shí)間分享經(jīng)驗(yàn)，同時(shí)實(shí)際存在于同一空間。分享的同時(shí)性是特別重要的。我認(rèn)為，彼此分享千載難逢的時(shí)刻是體驗(yàn)的核心和靈魂。

今村隆：我認(rèn)為通過(guò)這一舉措，我們終于成功地創(chuàng)造了一種體驗(yàn)，其中包括允許人們?cè)谔摂M空間中真正享受某些東西的基本要素。我相信，從這里開(kāi)始，通過(guò)添加各種技術(shù)元素，我們可以創(chuàng)造出令人驚奇的、全新的東西。

Q：較后，請(qǐng)告訴我們一些你認(rèn)為只有索尼能做或創(chuàng)造的事情。

今村隆：索尼的神奇之處在于，我們?cè)诩瘓F(tuán)內(nèi)部擁有大量的專業(yè)知識(shí)技能。如果你去市谷或六本木的索尼音樂(lè)集團(tuán)，你可以和娛樂(lè)行業(yè)的人交談。如果你去Sony City，或厚木技術(shù)中心，你可以見(jiàn)到相機(jī)和圖像傳感器工程師，如果你去大崎，你可以見(jiàn)到音頻工程師和研發(fā)團(tuán)隊(duì)。我相信與所有這些偉大的人討論想法、嘗試新事物和創(chuàng)造新經(jīng)驗(yàn)的能力是其他公司無(wú)法復(fù)制的。如果任何人有興趣通過(guò)成為一個(gè)殺手級(jí)團(tuán)隊(duì)的一部分，并與其他團(tuán)隊(duì)的專業(yè)人才相互交流來(lái)創(chuàng)造新的東西，請(qǐng)到索尼來(lái)看看我們。