SpectralMultiEffect 是一款為 Wwise 開(kāi)發(fā)的插件，旨在為聲音設(shè)計(jì)師提供豐富的實(shí)驗(yàn)素材，以便嘗試運(yùn)用各種方式對(duì)音頻實(shí)施變形，藉此增強(qiáng)音頻內(nèi)容和游戲之間的交互性。該插件有兩項(xiàng)主要功能：利用各種效果器對(duì)音頻信號(hào)進(jìn)行修改；通過(guò)相應(yīng)系統(tǒng)訪(fǎng)問(wèn)從音頻數(shù)據(jù)本身獲取的信息以便直接用在游戲中。

SpectralMultiEffect 允許采用多種方式對(duì)頻譜進(jìn)行處理以實(shí)現(xiàn)對(duì)信號(hào)的變換。開(kāi)發(fā)者最多可聯(lián)用三個(gè)效果器，并在運(yùn)行時(shí)通過(guò) Wwise RTPC 功能控制所有可用參數(shù)。藉此，不僅可以啟用或禁用效果器，甚至還可在運(yùn)行時(shí)加以切換。

我發(fā)現(xiàn)很多聲音設(shè)計(jì)師都在想辦法增強(qiáng)音頻內(nèi)容和游戲之間的交互性。為此，我們專(zhuān)門(mén)構(gòu)建了這款插件，方便大家從音頻信號(hào)獲取數(shù)據(jù)，以直接影響或控制游戲的行為。在播放過(guò)程中，開(kāi)發(fā)者可將從音頻信號(hào)獲取的時(shí)域或頻域數(shù)據(jù)提供給應(yīng)用程序來(lái)滿(mǎn)足各種需求。藉此，在游戲和音頻內(nèi)容之間建立緊密的聯(lián)系。

開(kāi)發(fā)者可使用所提供的一系列回調(diào)來(lái)以多種格式從音頻實(shí)時(shí)獲取數(shù)據(jù)。而且，還可將插件直接與聲道或聲音綁定，通過(guò)單獨(dú)的插件實(shí)例及對(duì)應(yīng)的回調(diào)構(gòu)建多條數(shù)據(jù)流。

為游戲構(gòu)建的音頻插件一般都是為了解決某種常見(jiàn)的技術(shù)問(wèn)題，但這并不妨礙我們把 SpectralMultiEffect 打造成一款突破創(chuàng)新的工具。這款插件可幫助開(kāi)發(fā)者嘗試運(yùn)用各種方法來(lái)處理音頻，以獲得精妙的聲音效果并為游戲打造歡暢的互動(dòng)體驗(yàn)。

該插件提供以下功能：

1. 提供了 11 個(gè)不同的應(yīng)用于頻域的效果器，包括音高調(diào)節(jié)、多頻段延遲和頻譜凍結(jié)等。
2. 從時(shí)域或頻域信號(hào)數(shù)據(jù)獲取信息并發(fā)給應(yīng)用程序，以此使音頻和其他游戲元素之間的同步成為可能。
3. 在 Wwise 設(shè)計(jì)工具中監(jiān)控應(yīng)用程序，同時(shí)直觀(guān)地呈現(xiàn)音頻數(shù)據(jù)。
4. 使用預(yù)設(shè)來(lái)驗(yàn)證可能的音頻變換，并在此基礎(chǔ)上根據(jù)需要進(jìn)行調(diào)節(jié)。

使用 SpectralMultiEffect

音頻效果器

總共有三個(gè)插槽，可供聯(lián)用效果器。在插件運(yùn)行過(guò)程中，可隨時(shí)選擇并啟用或禁用效果器。另外，還可在 -/+ 3 個(gè)八度的范圍內(nèi)實(shí)施音高偏移，同時(shí)確保不會(huì)對(duì)聲音的時(shí)長(zhǎng)產(chǎn)生影響。

當(dāng)插件處于活躍狀態(tài)時(shí)，傳入的音頻數(shù)據(jù)會(huì)被轉(zhuǎn)換為頻域信號(hào)。在這一層級(jí)實(shí)施處理之后，會(huì)重新轉(zhuǎn)換為時(shí)域信號(hào)以供播放。

一旦選擇了所要使用的效果器，便可利用 RTPC 系統(tǒng)來(lái)控制其參數(shù)。可用的參數(shù)有很多，但只需控制已啟用的效果器中涉及的那些參數(shù)。

通過(guò)插件回調(diào)獲取音頻信號(hào)數(shù)據(jù)

開(kāi)發(fā)者可通過(guò)用戶(hù)定義的回調(diào)從音頻信號(hào)獲取所需數(shù)據(jù)。

選項(xiàng)包括峰值和 RMS（時(shí)域）以及頻格和頻段（頻域）。相應(yīng)數(shù)據(jù)可以在應(yīng)用效果器處理之前或之后發(fā)送給用戶(hù)。

從音頻信號(hào)獲取數(shù)據(jù)以供應(yīng)用程序使用：

1. 在 Wwise 工程中創(chuàng)建效果器實(shí)例，同時(shí)指派唯一的名稱(chēng)標(biāo)記以在運(yùn)行時(shí)由應(yīng)用程序識(shí)別。

2. 實(shí)現(xiàn) Initialization、Termination 和 Execute 回調(diào)。這些回調(diào)可在 ZcSpectralMultiEffectFXCallback.h 文件中聲明（此文件在插件安裝期間會(huì)被復(fù)制到 Wwise 的 include 目錄下，所以只需在源代碼中添加表示要使用它的 #include 指令即可）。

Initialization 回調(diào)用于配置首選數(shù)據(jù)格式。為此，需填寫(xiě)傳入的 ZcSpectralMultiEffectDataFormat 結(jié)構(gòu)。

在播放過(guò)程中，Execute 回調(diào)會(huì)向應(yīng)用程序提供按規(guī)定格式從信號(hào)獲取的數(shù)據(jù)。同時(shí)，還會(huì)接收用戶(hù)設(shè)置的識(shí)別標(biāo)記以便管理多個(gè)插件實(shí)例。

Termination 回調(diào)負(fù)責(zé)告知特定插件實(shí)例的操作即將結(jié)束。在此，可執(zhí)行與初始化期間采取的操作對(duì)應(yīng)的清理工作。

在 Wwise 設(shè)計(jì)工具中監(jiān)控應(yīng)用程序

在 Wwise 設(shè)計(jì)工具中監(jiān)控應(yīng)用程序時(shí)，可在插件的 Effect Editor 窗口中直觀(guān)地呈現(xiàn)信號(hào)數(shù)據(jù)。在此，可選擇以時(shí)域或頻域數(shù)據(jù)形式來(lái)進(jìn)行監(jiān)控（如下圖所示）。

預(yù)設(shè)

該插件提供多種預(yù)設(shè)，可在設(shè)計(jì)工具內(nèi)從 Effect Editor 窗口右下角的下拉菜單中選擇。這些預(yù)設(shè)包含一系列開(kāi)發(fā)者可能感興趣的設(shè)置。可據(jù)此生成出廠(chǎng)預(yù)設(shè)或創(chuàng)建自己的預(yù)設(shè)，并像其他插件一樣根據(jù)需要自由地使用。

支持的平臺(tái)

SpectralMultiEffect 最初僅可在移動(dòng)平臺(tái) (Android / iOS) 和桌面平臺(tái) (Mac / Windows) 上使用。不過(guò)，我在考慮擴(kuò)大支持范圍，將游戲主機(jī)也涵蓋在內(nèi)。如果想在自己項(xiàng)目的平臺(tái)上使用 SpectralMultiEffect，請(qǐng)通過(guò)公司官網(wǎng)與我取得聯(lián)系并告知詳情。我會(huì)根據(jù)用戶(hù)的意見(jiàn)來(lái)決定稍后要添加哪些平臺(tái)。

馬上試用 zerocrossing 開(kāi)發(fā)的 SpectralMultiEffect?。篽ttps://www.audiokinetic.com/zh/products/plug-ins/spectral-multi-effect/

音頻樣本

以下三組樣本展示了 SpectralMultiEffect 的音頻處理效果。

說(shuō)話(huà)聲文件

此文件的開(kāi)頭是未經(jīng)處理的語(yǔ)音，后面結(jié)合運(yùn)用了不同的 SpectralMultiEffect 效果器逐步進(jìn)行變換。

收聽(tīng)音頻：http://audiokinetic.com/media/blog/SpectralMultiEffect/Voice.wav

鋼琴聲文件

第一個(gè)音頻樣本包含沒(méi)有經(jīng)過(guò)任何處理的原始信號(hào)。后續(xù)樣本均使用 SpectralMultiEffect 進(jìn)行了不同的處理。

收聽(tīng)音頻2：http://audiokinetic.com/media/blog/SpectralMultiEffect/GoldbergVariations21_0.wav

收聽(tīng)音頻3：http://audiokinetic.com/media/blog/SpectralMultiEffect/GoldbergVariations21_1.wav

收聽(tīng)音頻4：http://audiokinetic.com/media/blog/SpectralMultiEffect/GoldbergVariations21_2.wav

收聽(tīng)音頻5：http://audiokinetic.com/media/blog/SpectralMultiEffect/GoldbergVariations21_3.wav

收聽(tīng)音頻6：http://audiokinetic.com/media/blog/SpectralMultiEffect/GoldbergVariations21_4.wav

收聽(tīng)音頻7：http://audiokinetic.com/media/blog/SpectralMultiEffect/GoldbergVariations21_5.wav

銅鑼聲文件

第一個(gè)音頻樣本包含沒(méi)有經(jīng)過(guò)任何處理的原始信號(hào)。后續(xù)樣本均使用 SpectralMultiEffect 進(jìn)行了不同的處理。

收聽(tīng)音頻8：http://audiokinetic.com/media/blog/SpectralMultiEffect/Gong0.wav

收聽(tīng)音頻9：http://audiokinetic.com/media/blog/SpectralMultiEffect/Gong1.wav

收聽(tīng)音頻10：http://audiokinetic.com/media/blog/SpectralMultiEffect/Gong2.wav

收聽(tīng)音頻11：http://audiokinetic.com/media/blog/SpectralMultiEffect/Gong3.wav

收聽(tīng)音頻12：http://audiokinetic.com/media/blog/SpectralMultiEffect/Gong4.wav

收聽(tīng)音頻13：http://audiokinetic.com/media/blog/SpectralMultiEffect/Gong5.wav

收聽(tīng)音頻14：http://audiokinetic.com/media/blog/SpectralMultiEffect/Gong6.wav

收聽(tīng)音頻15：http://audiokinetic.com/media/blog/SpectralMultiEffect/Gong7.wav

哈維爾?阿西尼加斯 (JAVIER ARCINIEGAS)

zerocrossing 首席執(zhí)行官

zerocrossing

在過(guò)去 16 年里，哈維爾?阿西尼加斯 (Javier Arciniegas) 一直在加拿大和日本從事游戲音頻編程工作。阿西尼加斯擁有美國(guó) Mills College 音樂(lè)創(chuàng)作和電子音樂(lè)與錄音媒體雙碩士學(xué)位。他目前在 zerocrossing Co., Ltd. （日本東京）擔(dān)任首席執(zhí)行官。該公司提供各類(lèi)音頻編程服務(wù)，包括聲音引擎及插件開(kāi)發(fā)、集成、定制等等。