Dirty Laundry by Blake Ruby 移動 VR 應(yīng)用：音頻設(shè)計詳解。

大家好，我叫朱利安?梅西納，是一名音頻工程師。我的商業(yè)伙伴羅伯特?庫姆博 (Robert Coomber) 和我與音樂家布萊克?魯比 (Blake Ruby) 合作開發(fā)了一款 360 度沉浸音樂體驗 VR 應(yīng)用。本文說的是我們?yōu)楹我x用 Wwise 來做這個項目。另外，各位不妨了解一下其中采用了怎樣的設(shè)備配置、遇到了哪些問題以及最終如何設(shè)法為布萊克的粉絲營造了出眾的沉浸體驗。

簡介

羅伯特和我都是剛從貝爾蒙特大學(xué)畢業(yè)的音頻工程師。跟很多人一樣，我們也非常喜歡音樂和視覺藝術(shù)。隨著兩者的不斷發(fā)展，我們一直在努力探尋如何借助新興技術(shù)來以創(chuàng)新方式提升用戶的視聽體驗?？v觀當(dāng)下趨勢，我們發(fā)現(xiàn)了一個新的實踐方向：結(jié)合空間音頻和游戲引擎來呈現(xiàn)音樂和視覺藝術(shù)。為此，我們構(gòu)建了 Dirty Laundry by Blake Ruby 沉浸項目。?

故事背景：為什么是 3D 音頻？

在羅伯特和我合作構(gòu)建這個沉浸項目之前，我曾為布萊克?魯比制作過《A Lesser Light to Rule The Night》唱片。在制作過程中，我發(fā)現(xiàn)布萊克把自己那部分基本上都錄好了。我覺得可以借此機(jī)會來向粉絲們展示他的這一面，讓大家看到他在 360 度沉浸環(huán)境下精彩絕倫的表現(xiàn)。羅伯特和我知道這項任務(wù)肯定輕松不了，但有藝術(shù)家的積極配合想必會容易很多。?

在啟動 Dirty Laundry 項目之前，我們考察了不知道多少別的 360 度項目?？偟膩碚f，羅伯特和我感覺都不怎么好，尤其是其在音頻方面的效果。這些 360 度項目的音頻要么是單聲道要么是立體聲，即便是空間音頻，也有濾波失衡、動態(tài)過大問題。我們倆都覺得，絕對不能一開始就給人以“體驗效果差強(qiáng)人意”的印象。

我們把這個項目看作一個打造絕佳 360 度沉浸音頻體驗的機(jī)會。為此，我們要跟布萊克一起為聽眾呈現(xiàn)身臨其境的音頻效果。首先面臨的難題是確定把項目部署到哪里才能獲得最佳體驗。最終，我們決定以可下載應(yīng)用的形式來存管和分發(fā)視聽內(nèi)容。這樣不僅可以獲得更好的音頻體驗，而且還能提升品牌形象。當(dāng)然，也可依托 Facebook 或 YouTube 來提供 360 度沉浸體驗。但是，我們希望能做到最好。另外我們還面臨一個挑戰(zhàn)，即大多數(shù)消費者都沒有頭戴設(shè)備。雖然移動 VR 借著 Oculus Quest 等系統(tǒng)取得了很大進(jìn)展，但我們知道并非布萊克的所有粉絲都能馬上接觸到這項技術(shù)。而且，這個項目不是說只面向“玩家”。在想清楚這些之后，我們決定將其部署到 iOS 上。

選用 Wwise

剛開始，我們研究了如何使用 Unity 來構(gòu)建整個工程。后來慢慢發(fā)現(xiàn)，它并不能完全滿足我們的需求（以更多的聲道獲得高品質(zhì)聲音）。為此，我們考慮了很多替代方案，最終決定用 Wwise 來實現(xiàn)。藉此，我們可以將最終混音作為 16 聲道 Ambisonics 音頻來交付。如果不這樣的話，音頻品質(zhì)和混音效果可能會大幅下降。在試用之后，羅伯特和我一致認(rèn)為 Wwise 生態(tài)系統(tǒng)更加方便互動音樂創(chuàng)作者靈活地打造出眾的音頻體驗。隨著編程工作的推進(jìn)，這一點變得越發(fā)明顯。?

這個項目非常復(fù)雜，從預(yù)研、準(zhǔn)備、設(shè)計、制作到整合都有很多變數(shù)。為此，我們在前端和后端方面花費了大量的時間，尤其考慮到最終要在 iOS 上實現(xiàn)。雖然困難重重，但有一點是我們不必?fù)?dān)心的，那就是聽覺效果。說到跟藝術(shù)家合作，作為音頻工程師，很大一部分工作是將音頻效果打造得盡量接近原聲。為此，我們很高興能依靠 Wwise 來解決這個問題。這對首次向布萊克的粉絲呈現(xiàn)高保真沉浸音樂來說非常重要。最終，我們希望能借助 Wwise 的強(qiáng)大功能給聽眾以難忘的視聽體驗。?

制作過程：經(jīng)驗教訓(xùn)

實際制作是在 Columbia Studios A 完成的。這間錄音棚為我們提供了足夠的空間來根據(jù)需要安置相應(yīng)裝置，同時配備了各種必要的設(shè)施（如 Starbird SB-1 立架和 Pro Tools HD）。我們架設(shè)了點陣式話筒和 5.0 環(huán)繞聲話筒陣列 (OCT-5) 以及一階 Ambisonics 話筒 (Sennheiser AMBEO)。同時，監(jiān)聽包括五個有源雅馬哈HS5揚聲器和被安置在中心聲道揚聲器北側(cè)+90?位置的有源KLH重低音揚聲器，左和右聲道揚聲器在距離北方±30?的方向排列，左環(huán)繞后和右環(huán)繞后聲道在距離北方±110?的方向排列。除此之外，我們還設(shè)置了一個耳機(jī)輸出來監(jiān)聽通過 dearVR Ambi Micro 插件解碼為雙耳信號的 Ambisonics 輸出。我們捕捉環(huán)繞/Ambisonics音頻時的主要關(guān)注點是要確保使用與其匹配的具備步進(jìn)電位控制及低失真的前置放大器。出于以上種種考慮，我們最終選擇了 8 聲道 Millenia HV-3D 話筒前置放大器。?

在試聽之后，我們發(fā)現(xiàn)就像預(yù)期的那樣：演奏時錄制的環(huán)繞聲/Ambisonics 音軌相互交疊導(dǎo)致底噪電平升高，而且點陣式話筒和 Ambisonics 話筒之間不受控制地出現(xiàn)類似合唱的問題。這樣的話，某些人聲演奏部分的整體效果難免會差強(qiáng)人意。如果說是其他情況，這些問題都好解決。然而，對 3D 音頻項目來說，問題要復(fù)雜得多。要想解決底噪問題，只能濾掉環(huán)繞聲/Ambisonics 話筒。但是這樣會對臨場感造成影響，后續(xù)的空間化處理效果也會變差。要想解決合唱問題，就得在環(huán)繞聲/Ambisonics 錄音和來自點陣式話筒的特定錄音之間做出選擇。這樣的話，又會丟失很多信息。

解決底噪和合唱問題

為了解決底噪和合唱問題，我們回到 Columbia Studios 并錄制了房間的 Ambisonics 沖激響應(yīng)。這些錄音稍后要與 Ambisonics 3D 卷積混響效果器 AmbiVerb 結(jié)合使用。要想捕獲房間的沖激響應(yīng)，必須盡可能在拍攝當(dāng)天進(jìn)行舞臺演奏以捕獲類似的反射。沖激響應(yīng)的錄制使用了與前面相同的 Sennheiser AMBEO 話筒和 Millenia HV-3D 話筒前置放大器。第一種沖激響應(yīng)為正弦波掃頻信號。這些信號會輸出到放在空間中各個演奏位置的有源 Yamaha HS8 揚聲器。在此過程中，使用 Pro Tools 進(jìn)行錄音。第二種沖激響應(yīng)來自于氣球。這些氣球同樣被放在了各個演奏位置。然后，我對兩種不同的沖激響應(yīng)進(jìn)行了對比，以確定在對正弦掃頻信號進(jìn)行卷積和反卷積處理后能否獲得預(yù)期效果。

在創(chuàng)建沖激響應(yīng)、加錄新的同期人聲并在 Pro Tools 內(nèi)創(chuàng)建分軌之后，就可以開始對音頻進(jìn)行混音了。為此，我們選用了 Reaper 作為 DAW 并在其中實施混音。因為它使用起來非常靈活，更重要的是可以與 dearVR 產(chǎn)品集成。對 3D 音頻進(jìn)行混音涉及諸多方面，這當(dāng)中有很多關(guān)鍵步驟。首先，要明確哪些聲音需要空間表現(xiàn)、哪些聲音朝向固定/無衰減。在很早的時候，我就發(fā)現(xiàn)了固定朝向的兩點好處：一是用作發(fā)送低頻信息的總線。類似于 LFE 聲道，同時保留單聲道；二是用作傳統(tǒng)立體聲輔助效果器（如混響和延遲）的總線。這樣可以確保自動實施聲像擺位。如此一來，無論觀眾選擇將頭轉(zhuǎn)向哪里都能保持一致。倘若延遲和混響是空間化的，那么觀眾對周圍這些效果的感知難免存在誤導(dǎo)，以至于不自覺地看向某個方向。?

利用 dearVR 插件和 Spatial Connect 軟件，混音師可以使用耳機(jī)進(jìn)行雙耳監(jiān)聽，并借助頭戴設(shè)備實施頭部追蹤和視頻饋送。然后，便可依據(jù)視頻中動作的發(fā)生位置來將音頻源放在 3D 空間內(nèi)。我使用一組立體聲樂器總線進(jìn)行了試驗，但發(fā)現(xiàn)只對那些嚴(yán)重依賴立體聲錄制信息的樂器有效（如鋼琴或立體聲合成器等直達(dá)輸入源）。對于像鼓這樣配有大量點陣式話筒的樂器，我決定棄用立體聲總線，改用單聲道音頻源并將其置于相應(yīng)位置，來確保樂器的各個部分與視頻對應(yīng)。我在前面提到了要將沖激響應(yīng)與 3D 卷積混響效果器結(jié)合使用。假如沒有卷積混響效果器，便只能聽到直達(dá)信號，感覺就像置身于四周都是揚聲器的消聲室中一樣。點陣式話筒增添了所需的直達(dá)聲，但無法提供準(zhǔn)確的聲學(xué)空間反射，而且在使用拍攝當(dāng)天錄制的信息時會產(chǎn)生合唱和底噪問題。通過結(jié)合使用 3D 卷積混響效果器和收集的來自氣球的沖激響應(yīng)，我可以人為地創(chuàng)建混響效果來對實施錄音的房間進(jìn)行模擬。目前這些只是為了實現(xiàn)相應(yīng)的功能，借助混響效果來填補空白，并消除反射缺失問題。每個位置的每件樂器都有自己的 3D 卷積混響效果器總線，前端還有 Parametric EQ 協(xié)助調(diào)節(jié)混響效果器的頻率響應(yīng)。

最終創(chuàng)建的音頻文件包括一個 16 聲道三階 Ambisonics 文件和一個固定朝向立體聲文件。三階 Ambisonics 文件很重要，因為其包含了更多球面諧波。藉此，不僅可以在解碼時增大音頻源之間的角度分辨率，還可使音頻濾波不至于太過明顯。不過，由于我們使用了更多的聲道，所以需要一個能夠滿足相應(yīng)要求的中間件解決方案。Wwise 似乎是不二之選，因為其具備這種能力，而且提供有 Auro3D 授權(quán)，可以接受對雙耳信號的解碼。

雖然采用 Wwise 意味著要執(zhí)行一些額外的步驟，但這是我們獲得所需品質(zhì)最有效的辦法。在我們看來，在聲學(xué)空間中使用錄制的樂器時，一階或二階配置聽起來的效果并不理想。不僅修飾過多，而且存在其他形式的失真。這會對體驗帶來不好的影響。我們現(xiàn)在所用的大多數(shù)技術(shù)都是為了滿足實際需要，不過運用類似技術(shù)（比如將固定朝向立體聲用作襯底）也有很大的優(yōu)勢；總之，這就是我們目前對 3D 音樂進(jìn)行混音的方式。

感興趣的話不妨登錄?App Store?來查看并下載這款應(yīng)用。如果對我們的內(nèi)容存有任何疑問或問題，可轉(zhuǎn)到官網(wǎng)與羅伯特和我本人取得聯(lián)系。

朱利安?梅西納 (JULIAN MESsina)

朱利安?梅西納 (Julian Messina) 現(xiàn)任 4th Floor 互動音頻工程師兼聯(lián)合創(chuàng)始人。朱利安畢業(yè)于貝爾蒙特大學(xué)，他和 Robert Coomber 與 Blake Ruby 合作開發(fā)了一款基于 iOS 和 Android 的 3D 音頻體驗和 360 度全景視頻 VR 應(yīng)用。