魏晉有曹植《美女篇》“羅衣何飄飄，輕裾隨風(fēng)還”；唐有白居易《長恨歌》“風(fēng)吹仙袂飄搖舉，猶似霓裳羽衣舞”、李白《古風(fēng)》“霓裳曳廣帶，飄拂升天行”... 當(dāng)形容佳人翩翩風(fēng)貌，古詩中不乏描寫衣物隨風(fēng)飄動的佳句，絲羅衣襟風(fēng)里飄舞，輕薄裙紗隨風(fēng)流轉(zhuǎn)，佳人回首顧盼，留下迷人的光彩。

服裝同樣也是數(shù)字角色外形的重要組成部分，寬松服裝的動態(tài)形變，例如舞蹈角色裙子的飛舞、旋轉(zhuǎn)和掉落等，能幫助角色表達(dá)情感、展現(xiàn)個性。

我們提出一種基于深度學(xué)習(xí)的方法，利用虛擬骨骼驅(qū)動的動作網(wǎng)絡(luò)，實時預(yù)測寬松服裝的復(fù)雜形變。該方法可以在保證真實性的同時，在常見配置的電腦上實時運行。除了大幅度動作魯棒（魯棒：Robust的音譯，指系統(tǒng)在擾動或不確定的情況下仍能保持它們的特征行為）之外，還支持實時調(diào)整模擬的物理參數(shù)，例如布料的彎曲強度，從而方便動畫師或是使用者對服裝動畫的效果進(jìn)行調(diào)整。有助于提升數(shù)字人和游戲角色的實時動畫品質(zhì)和藝術(shù)表現(xiàn)力。

這是NExT第三年登上SIGGRAPH的舞臺——繼2019年Matt AI亮相SIGGRAPH Asia Real-Time Live，2021年EyelashNet登上SIGGRAPH Asia Technical Papers后。我們與「浙江大學(xué)-騰訊游戲智能圖形創(chuàng)新技術(shù)聯(lián)合實驗室」金小剛教授團隊關(guān)于“布料仿真”的合研論文“Predicting Loose-Fitting Garment Deformations Using Bone-Driven Motion Networks” 1被SIGGRAPH 2022 Technical Paper收錄，并于北京時間今早7點在大會上進(jìn)行了分享。

現(xiàn)有方案

服裝動畫是計算機圖形學(xué)中的重要課題，緊身的衣物通常和身體表層肌肉貼合密切，可基于身體骨骼的運動來近似驅(qū)動，但寬松服裝通常與身體有一定距離，且在外力和身體各種動作等共同作用下會具有復(fù)雜形變和碰撞，因而一直沒有很好的實時呈現(xiàn)方法。

為了又好又快地得到服裝動畫，人們探索了一系列的方法。這些方法可以分為兩類，一類是基于物理模擬的方法，另一類是基于數(shù)據(jù)驅(qū)動的方法。

物理模擬是通過在計算機中為布料賦予物理參數(shù)，并用真實的物理定律模擬得到結(jié)果。物理模擬的方法可以生成真實高質(zhì)量的服裝動畫，它們這類方法的缺點在于計算時間過長、計算負(fù)擔(dān)過大，難以實時運算。人們探索了一系列加速物理模擬的方法，例如自適應(yīng)的網(wǎng)格，使用GPU并行加速等，始終無法滿足高質(zhì)量實時應(yīng)用場景和實時交互的需求。

基于數(shù)據(jù)驅(qū)動的方法通過深度學(xué)習(xí)，從物理模擬生成或是從真實世界中掃描數(shù)據(jù)中學(xué)習(xí)服裝運動的趨勢。這類方法的特點在于性能高，可實時。但現(xiàn)有的深度學(xué)習(xí)方法大多是針對緊身衣服的，應(yīng)用范圍有限。

訴求總結(jié)

出于以上目的，我們需要探索一個基于深度學(xué)習(xí)的快速的寬松服裝預(yù)測方法。于是提出了“五大性能目標(biāo)”作為開發(fā)方向的指導(dǎo)：

??集成性：能夠與動畫引擎環(huán)境緊密結(jié)合；

??快速性：能夠在常見的計算機上達(dá)到實時；

??準(zhǔn)確性：提供與真實物理模擬相近的結(jié)果；

??靈活性：能夠?qū)Σ煌愋偷姆b提供支持；

??魯棒性：能夠魯棒地處理大幅度的姿勢。

實現(xiàn)方法

整體方法構(gòu)成

給定身體動作（各個關(guān)節(jié)的旋轉(zhuǎn)歐拉角和身體的平移）以及模擬參數(shù)，可以預(yù)測服裝頂點位置的序列。假定在預(yù)測過程中服裝的網(wǎng)格具有恒定的拓?fù)洌ㄍ負(fù)洌嚎臻g內(nèi)的連續(xù)變化下維持不變的性質(zhì)），先生成虛擬骨骼，然后在動作網(wǎng)絡(luò)中使用，最后處理模擬參數(shù)。下圖為方法系統(tǒng)框架的示意圖：

虛擬骨骼生成

虛擬骨骼：虛擬骨骼對應(yīng)一系列使用線性混合蒙皮 (LBS) 方法驅(qū)動服裝形變的骨骼。它是對物理模擬生成的服裝動畫進(jìn)行蒙皮分解得到的結(jié)果。它和動畫師創(chuàng)建的骨架中的骨骼有一些區(qū)別。首先，每一個骨骼都是獨立的，沒有父骨骼或是子骨骼，因此每一個虛擬骨骼都具有自己的旋轉(zhuǎn)和平移。其次，虛擬骨骼并沒有任何語義信息，它僅僅控制一系列在運動時具有相同趨勢的頂點。

接下來需要數(shù)據(jù)準(zhǔn)備和從模擬結(jié)果的網(wǎng)格序列中提取虛擬骨骼。我們使用Houdini的Vellum Solver生成訓(xùn)練所需的數(shù)據(jù)，采樣了10組模擬參數(shù)，每一組參數(shù)都模擬45000幀。相比于從真實人體中捕捉的數(shù)據(jù)，這次使用的卡通類舞蹈動作數(shù)據(jù)是由人工進(jìn)行調(diào)整過的，具有更強的韻律性和節(jié)奏感，更能夠展現(xiàn)寬松服裝的美感。

獲得了模擬的服裝網(wǎng)格之后，使用拉普拉斯平滑（一種平滑算法，能夠在保留幾何網(wǎng)格細(xì)節(jié)的同時，較好地保留網(wǎng)格頂點之間的拓?fù)潢P(guān)系）提取出網(wǎng)格的低頻部分，之后將剩余的部分作為網(wǎng)格的高頻部分。在獲得低頻部分的網(wǎng)格序列之后，使用蒙皮分解方法從中提取出虛擬骨骼。使用的蒙皮分解方法是2014年Le等人2012年在SIGGRAPH上提出的SSDR2，是目前該領(lǐng)域的最優(yōu)方法。使用SSDR能夠?qū)赢嬓蛄蟹纸獬梢粋€LBS模型，以及每一幀的時候其中的骨骼運動情況。

動作網(wǎng)絡(luò)使用

動作網(wǎng)絡(luò)：動作網(wǎng)絡(luò)是一個由虛擬骨骼驅(qū)動的神經(jīng)網(wǎng)絡(luò)，輸入身體動作，輸出對應(yīng)模擬參數(shù)的三維模型頂點位置。該網(wǎng)絡(luò)由低頻和高頻兩個部分組成，分別用來預(yù)測不同幅度的形變。低頻部分將身體的動作轉(zhuǎn)化為虛擬骨骼的旋轉(zhuǎn)和平移，使用蒙皮方法生成對應(yīng)的低頻網(wǎng)格。高頻部分使用低頻網(wǎng)格和虛擬骨骼信息，生成高頻形變。

低頻部分，使用了一種循環(huán)神經(jīng)網(wǎng)絡(luò)(GRU)，將輸入的動作轉(zhuǎn)化為虛擬骨骼的旋轉(zhuǎn)和平移。循環(huán)神經(jīng)網(wǎng)絡(luò)可以保存每一幀的狀態(tài)(hidden state)，并在獲取了每一幀新的動作輸入之后更新該狀態(tài)。從這個角度來說，它可以保證學(xué)習(xí)到服裝的動態(tài)形變，這一部分形變對于寬松衣服的展示是非常重要的。輸入是身體的動作，包含了每一根骨骼的旋轉(zhuǎn)和身體整體的平移。GRU網(wǎng)絡(luò)的輸出獲得了虛擬骨骼的動作之后，可以用上一步獲得的LBS模型得到低頻部分的形變。該部分網(wǎng)絡(luò)的訓(xùn)練使用的損失函數(shù)是LBS生成的低頻部分和物理模擬結(jié)果的差值以及表面平滑程度（拉普拉斯項）的差。

高頻部分，使用了類似的循環(huán)神經(jīng)網(wǎng)絡(luò)來處理虛擬骨骼的旋轉(zhuǎn)和平移，同時使用一個圖神經(jīng)網(wǎng)絡(luò)來處理上一部分生成的低頻形變的網(wǎng)格，將以上兩個網(wǎng)絡(luò)的結(jié)果拼接，并通過一個多層感知機（MLP）來獲得最終的結(jié)果。對于虛擬骨骼，使用GRU處理，得到對應(yīng)的全局信息；使用圖神經(jīng)網(wǎng)絡(luò)處理輸入的低頻部分網(wǎng)格，得到對應(yīng)的局部信息；使用一個MLP來處理拼接的信息，得到最終的高頻部分。訓(xùn)練的時候使用的損失函數(shù)就是預(yù)測的頂點和模擬結(jié)果頂點的位置差，以及與身體的碰撞項。

處理模擬參數(shù)

處理參數(shù)：使用將對應(yīng)不同模擬參數(shù)的動作網(wǎng)絡(luò)的結(jié)果進(jìn)行加權(quán)求和的方式來處理不同的模擬參數(shù)，對于加權(quán)權(quán)重，使用一個徑向基函數(shù)(RBF)核來求得。其中，g(θ)是一個MLP網(wǎng)絡(luò)，用來將輸入的參數(shù)投射到隱空間中，最終結(jié)果是不同動作網(wǎng)絡(luò)的加權(quán)平均。

成果展示

我們的方法能夠?qū)崟r生成具有復(fù)雜形變的寬松服裝。下圖所示為我們的結(jié)果和物理模擬結(jié)果的對比，上行是物理模擬結(jié)果，中間是我們的結(jié)果，下行是我們的結(jié)果和物理模擬結(jié)果的逐頂點差值。可以看出我們的方法較為接近物理模擬結(jié)果，且可以表現(xiàn)出較為復(fù)雜的服裝形變效果。

我們的方法在同一動作下可以生成不同模擬參數(shù)，如下圖從左到右彎曲強度下降，從上到下模擬時間尺度上升，參數(shù)不同會對應(yīng)不同結(jié)果，裙子的形態(tài)發(fā)生不同改變。

我們的方法與其它方法生成結(jié)果的對比如下圖，可以看到在極端的姿勢下，我們的方法能夠生成最近似于物理模擬的結(jié)果。

我們的方法與其它方法在動作網(wǎng)絡(luò)高頻部分的對比如下圖，右下方是我們的結(jié)果和物理模擬結(jié)果的逐頂點差值度量，顯示我們的結(jié)果與模擬結(jié)果是最為接近，且誤差最小。

我們在目前使用的數(shù)據(jù)集與各種方法進(jìn)行了對比，我們的方法在各項指標(biāo)上都顯著優(yōu)于其它方法。對比得到的各項量化指標(biāo)如下，我們的方法都具有較優(yōu)的表現(xiàn)：

更多詳細(xì)信息，請點擊注釋1直達(dá)官網(wǎng)，一起感受“妙布可言”的布料仿真技術(shù)！

浙江大學(xué)-騰訊游戲智能圖形創(chuàng)新技術(shù)聯(lián)合實驗室

浙江大學(xué)是教育部直屬、省部共建的普通高等學(xué)校，經(jīng)過一百多年的建設(shè)與發(fā)展，學(xué)校已成為一所基礎(chǔ)堅實、實力雄厚，特色鮮明，居于國內(nèi)一流水平，在國際上有較大影響的研究型、綜合型大學(xué)。騰訊游戲?qū)W堂致力于打造游戲知識分享和行業(yè)交流的平臺，通過游戲行業(yè)專業(yè)人才培養(yǎng)、高校產(chǎn)學(xué)研合作、行業(yè)交流及開發(fā)者生態(tài)建設(shè)等，推動游戲行業(yè)良性發(fā)展，助力游戲人“成就游戲夢想”。騰訊學(xué)堂為了進(jìn)一步促進(jìn)產(chǎn)學(xué)融合，實現(xiàn)雙方人才、技術(shù)、信息、資源的全面共享與互動，共同建設(shè)了“浙江大學(xué)-騰訊游戲智能圖形創(chuàng)新技術(shù)聯(lián)合實驗室，實驗室將利用浙江大學(xué)在計算機科學(xué)、機械、數(shù)學(xué)等方面的雄厚科研實力，結(jié)合騰訊互動娛樂在產(chǎn)業(yè)化與技術(shù)推廣方面的優(yōu)勢，在虛擬現(xiàn)實、計算機圖形與視覺計算、計算機輔助設(shè)計等領(lǐng)域解決重大技術(shù)問題，促進(jìn)行業(yè)技術(shù)進(jìn)步，聚焦前沿技術(shù)探索，將研發(fā)實驗室建設(shè)成為在國內(nèi)具有一定影響力的科學(xué)研究和人才培養(yǎng)基地。

金小剛教授

教授、博士生導(dǎo)師，來自浙江大學(xué)計算機科學(xué)與技術(shù)學(xué)院。是“十三五”國家重點研發(fā)計劃首席科學(xué)家，浙江大學(xué)-騰訊游戲智能圖形創(chuàng)新技術(shù)聯(lián)合實驗室主任，浙江省虛擬現(xiàn)實產(chǎn)業(yè)聯(lián)盟理事長，中國計算機學(xué)會虛擬現(xiàn)實與可視化專委會副主任委員，杭州錢江特聘專家。在ACM TOG (Proc. of Siggraph)、IEEE TVCG等國際重要學(xué)術(shù)刊物上發(fā)表論文140多篇，多次獲得國內(nèi)外重要獎項。

[1] Xiaoyu Pan, Jiaming Mai, Xinwei Jiang, Dongxue Tang, Jingxiang Li, Tianjia Shao, Kun Zhou, Xiaogang Jin, Dinesh Manocha, Predicting Loose-Fitting Garment Deformations Using Bone-Driven Motion Networks, http://www.cad.zju.edu.cn/home/jin/SigCloth2022/SigCloth2022.htm

[2] Binh Huy Le and Zhigang Deng. 2012. Smooth skinning decomposition with rigid bones. ACM Trans. Graph. 31, 6, Article 199 (November 2012), 10 pages. https://doi.org/10.1145/2366145.2366218