查看引用/信息源請點擊：映維網(wǎng)Nweon

即便給出了糟糕的輸入姿勢，它都可以產(chǎn)生物理上合理的運動

（映維網(wǎng)Nweon?2023年04月04日）為3D骨骼角色創(chuàng)建逼真人體運動是AR/VR等圖形應(yīng)用的重要過程之一。Motion in-betweening是創(chuàng)建骨骼動畫的一種流行方法：美術(shù)提供時間粒度較小的關(guān)鍵幀姿勢，而系統(tǒng)可以自動生成粒度更精細細的中間姿勢。當(dāng)關(guān)鍵幀姿態(tài)在時間上足夠接近時，簡單的線性或樣條插值可以產(chǎn)生平滑和合理的結(jié)果。但由于約束不足，隨著它們變得越來越稀疏，插值就變得不再簡單。

業(yè)界有人提出了稀疏關(guān)鍵幀姿勢（例如超過1秒）的Motion in-betweening方法，通過使用現(xiàn)有的運動數(shù)據(jù)集并以有監(jiān)督方式學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)。一旦學(xué)習(xí)了模型，生成的中間姿態(tài)將屬于訓(xùn)練數(shù)據(jù)的分布范圍，如果使用足夠大和高質(zhì)量的數(shù)據(jù)，則有可能解決約束不足和自然度問題。

在《Motion In-betweening for Physically Simulated Characters》的論文中，Meta人工智能團隊和韓國首爾大學(xué)展示了一種新方法來解決稀疏關(guān)鍵幀姿勢的Motion in-betweening問題。

具體地說，團隊基于物理模擬的character生成中間姿態(tài)，并使用深度強化學(xué)習(xí)（RL）來訓(xùn)練控制policy。他們開發(fā)了適用于所述問題的新公式，其中狀態(tài)只能訪問稀疏的輸入姿勢，而reward則是根據(jù)ground truth運動計算。

由于所述方法使用物理模擬的character，因此與現(xiàn)有的基于運動學(xué)的方法相比，它具有多個獨特的優(yōu)勢。例如，即便給出了糟糕的輸入姿勢，它都可以產(chǎn)生物理上合理的運動。

研究人員的系統(tǒng)采用一系列關(guān)鍵幀姿勢P關(guān)鍵幀 和固定的粗略時間間隔作為輸入，然后以所需的密集時間間隔輸出運動。他們的目標是生成平滑、符合物理、看起來自然的運動，并合理地滿足輸入關(guān)鍵幀約束。

更具體地說，框架學(xué)習(xí)了一種基于深度強化學(xué)習(xí)（RL）的模仿policy。RL中的state包括關(guān)鍵幀state和模擬state。RL中的action是stable PD control的目標姿態(tài)，它計算關(guān)節(jié)力矩來啟動模擬character。物理模擬然后計算下一個狀態(tài)。

研究人員使用了multiplicative reward function，通過關(guān)節(jié)角度、關(guān)節(jié)速度、末端執(zhí)行器位置、質(zhì)心位置和根關(guān)節(jié)變換這五個不同項來測量模擬運動和ground truth運動之間的相似性。

圖2描述了在控制策略中采用的編碼器-解碼器結(jié)構(gòu)。這里的想法是使用關(guān)鍵幀編碼器來生成當(dāng)前時間步長的中間姿勢的簡化向量表示z。編碼器的輸出與模擬狀態(tài)連接，并饋送到動態(tài)解碼器以產(chǎn)生動作。

團隊采用了ScaDiver的開源實現(xiàn)來部署所述方法。PyBullet和RLlib分別用于物理模擬和深度強化學(xué)習(xí)，近端策略優(yōu)化則用作深度RL算法。他們在兩種類型的運動上獨立訓(xùn)練了模型：來自LaFAN1數(shù)據(jù)集的11個運動序列（≈45.5分鐘）；使用預(yù)訓(xùn)練的PFNN controler隨機生成的10個行走序列（≈10分鐘）。

訓(xùn)練總共需要大約3天，并大約生成了400M個模擬步長。圖1顯示了生成的中間姿勢的快照。模型用LaFAN1數(shù)據(jù)集訓(xùn)練，其中學(xué)習(xí)的控制策略可以成功匹配輸入稀疏關(guān)鍵幀，并同時生成物理上合理且類似于地面實況運動的運動。

為了比較方法的有效性，團隊用與上述相同的數(shù)據(jù)訓(xùn)練了一個基線模仿策略，而這個策略消耗了密集指定的關(guān)鍵幀姿勢（即未來的參考運動）。由于所述信息在測試期間不可用，他們通過線性插值輸入的稀疏關(guān)鍵幀姿勢來提供偽參考運動。

圖3顯示了性能比較，其中reward值是沿著歸一化時間描述。Meta和韓國首爾大學(xué)團隊的策略在很大程度上優(yōu)于基線策略，因為基線存在訓(xùn)練/測試時間之間的state不匹配。

相關(guān)論文：Motion In-betweening for Physically Simulated Characters

總的來說，團隊通過使用物理模擬character和深度RL來展示了一種給定時間稀疏關(guān)鍵幀進行Motion in-between的新方法。研究人員表示，他們希望在未來的研究中刪除對連續(xù)關(guān)鍵幀之間的時間間隔的約束。另外，這個學(xué)習(xí)的控制策略只能產(chǎn)生運動，所以他們希望建立一個更通用的模型，并生成更多樣的行為。

---
原文鏈接：https://news.nweon.com/106642