Nvidia已經(jīng)發(fā)布了Omniverse Audio2Face 2022.1，這是其基于人工智能的實驗性免費軟件的最新版本，用于從音頻源生成面部動畫。

該版本增加了Audio2Emotion：一個新的系統(tǒng)，可以從演員的聲音中檢測他們的情緒狀態(tài)，并相應(yīng)地調(diào)整3D角色的表現(xiàn)，使其能夠表達喜悅或痛苦等情緒。


該底層技術(shù)構(gòu)成了Omniverse Avatar Cloud Engine的一部分，Omniverse Avatar Cloud Engine是Nvidia在Siggraph 2022上宣布的一套即將推出的用于生成交互式在線化身的AI模型和服務(wù)。


從音頻文件中為Character Creator角色自動生成唇部同步和面部動畫
去年首次發(fā)布的Audio2Face是一個經(jīng)過人工智能訓(xùn)練的工具，用于從音頻源生成3D角色的面部動畫：無論是離線的語音記錄，還是實時的音頻傳輸。


與姐妹應(yīng)用程序Omniverse Machinima一起，該軟件是Nvidia圍繞Omniverse開發(fā)的一套新游戲工具之一，Omniverse是其基于美元的實時協(xié)作平臺。


除了在Omniverse內(nèi)部使用其生成的動畫外，用戶還可以將其輸出轉(zhuǎn)換為混合形驅(qū)動的動畫，并以美元格式輸出到其他DCC應(yīng)用程序。


現(xiàn)在自動修改面部表情以配合演員的情緒狀態(tài)
為此，Omniverse Audio2Face 2022.1增加了對面部情緒的支持，通過一個全臉神經(jīng)網(wǎng)絡(luò) "用一系列的情緒訓(xùn)練，如喜悅、驚訝、憤怒和悲傷"。


新的Audio2Emotion系統(tǒng)從演員的聲音中推斷出他們的情緒狀態(tài)，并相應(yīng)地調(diào)整它所驅(qū)動的3D角色的面部表現(xiàn)。


其結(jié)果是自動生成的動畫，不僅包括與音軌相匹配的嘴唇和面部動作，而且包括與演員的情緒變化相匹配的表情變化。


用戶可以使用一套簡單的滑塊控制，或通過傳統(tǒng)的關(guān)鍵幀編輯來手動調(diào)整表演：除了新的情感面板，軟件的后期處理面板中還增加了一個新的 "簡單關(guān)鍵幀UI"。

視頻預(yù)覽：

（NVIDIA Omniverse ACE：用于交互式頭像開發(fā)的云端原生AI）

Nvidia即將推出的Omniverse Avatar云引擎的部分基礎(chǔ)技術(shù)
Audio2Face和Audio2Emotion的底層技術(shù)也構(gòu)成了Omniverse Avatar Cloud Engine（ACE）的一部分，這是Nvidia新的 "用于互動化身開發(fā)的云原生AI"。


這套人工智能模型和服務(wù)是針對軟件開發(fā)人員的，旨在簡化游戲和實時應(yīng)用程序中創(chuàng)建聊天機器人、虛擬助手和NPC角色的過程。


它被設(shè)計成與平臺無關(guān)--上面的演示顯示用戶與虛幻引擎中的Metauman角色互動--并將在明年發(fā)布時在嵌入式系統(tǒng)和 "所有主要云服務(wù) "上運行。


價格和系統(tǒng)要求
Omniverse Audio2Face在Windows 10上有測試版。它需要一個Nvidia RTX GPU：該公司建議使用GeForce RTX 3070或RTX A4000或更高。所有的Omniverse工具對藝術(shù)家個人都是免費的。

更多CG資訊請關(guān)注：https://www.rrcg.cn/forum-612-1.html