研究靈感來(lái)自動(dòng)物動(dòng)捕和AI人類姿勢(shì)估計(jì)

?

對(duì)于游戲玩家來(lái)說(shuō)，“動(dòng)作捕捉”并不是什么新鮮詞匯，一些有過(guò)初步了解的人腦海中還會(huì)有相關(guān)影像：真人演員穿著遍布連點(diǎn)器的深色皮套，四周皆是綠幕......
?
但實(shí)際上，“動(dòng)作捕捉”技術(shù)在今天已經(jīng)不再局限于人類演員身上，廣大動(dòng)物“演員”亦可上陣。
?
在去年舉辦的Siggraph Asia上，兩位來(lái)自育碧中國(guó)的數(shù)據(jù)專家Abassin Sourou FANGBEMI和Alexis Rolland帶來(lái)了題為《ZooBuilder：用四足動(dòng)物視頻生成3D動(dòng)畫(huà)》的演講。
?
演講中，他們分享了育碧中國(guó)自研的全新高科技工具“ZooBuilder”的部分信息。簡(jiǎn)單來(lái)說(shuō)，該工具能夠通過(guò)AI來(lái)估計(jì)動(dòng)物姿態(tài)，從而得到近似動(dòng)物動(dòng)捕的動(dòng)畫(huà)數(shù)據(jù)，加速研發(fā)進(jìn)程。
?
“我們的目標(biāo)是ZooBuilder最終能適用于所有四足動(dòng)物，希望憑借它來(lái)推動(dòng)動(dòng)畫(huà)和游戲產(chǎn)業(yè)創(chuàng)新?！盇lexis曾如是說(shuō)道。
?
事實(shí)上，在游戲領(lǐng)域，豐富多樣的動(dòng)物早已成為塑造游戲樂(lè)趣不可或缺的一部分。
?
無(wú)論是《古墓麗影》中令人難忘的“人熊大戰(zhàn)”，還是《孤島驚魂》里無(wú)比逼真的野生動(dòng)物生態(tài)系統(tǒng)，都帶給了玩家直面自然生靈的刺激體驗(yàn)。

為進(jìn)一步了解ZooBuilder技術(shù)，競(jìng)核特此約訪了育碧中國(guó)數(shù)據(jù)和AI實(shí)驗(yàn)室經(jīng)理Alexis Rolland、育碧中國(guó)數(shù)據(jù)科學(xué)家Abassin Sourou Fangbemi兩位負(fù)責(zé)該項(xiàng)目的專家，與他們一同探尋AI技術(shù)在游戲行業(yè)的未來(lái)與發(fā)展。

?

從人類到動(dòng)物的技術(shù)邁進(jìn)

?

或許很多人有所不知，歷史上首次有記載的“動(dòng)捕”對(duì)象并非人類，而是賽馬。
?
1872年，美國(guó)加州富豪斯坦福為驗(yàn)證“跑動(dòng)中的馬匹四蹄是否全部騰空”，邀請(qǐng)了英國(guó)攝影師邁布里奇進(jìn)行拍攝驗(yàn)證。
?
具體方法為，將寬門與棉線相連，賽馬奔跑觸碰棉線后便會(huì)觸動(dòng)拍攝機(jī)關(guān)。16臺(tái)照相機(jī)全部拍攝完畢，便能夠驗(yàn)證結(jié)果。
?
該實(shí)驗(yàn)后來(lái)被命名為“動(dòng)物實(shí)驗(yàn)鏡”，后來(lái)也被認(rèn)為是電影的起源之一。除了巧妙的構(gòu)思，或許對(duì)該實(shí)驗(yàn)最大的觀感便是——?jiǎng)游锏膭?dòng)作捕捉難度極高。

?

時(shí)過(guò)境遷，動(dòng)物動(dòng)捕的難度并沒(méi)有隨著科技進(jìn)步有太大的改善。2000年，日本游戲名廠Capcom為制作《鬼武者2》過(guò)長(zhǎng)CG，找來(lái)了日本著名CG小組Robot進(jìn)行拍攝。
?
整個(gè)過(guò)程異常艱難。馬匹在應(yīng)用當(dāng)時(shí)的“穿戴式”馬克點(diǎn)安裝方式（緊身服+采集球）后，無(wú)法獲得散熱幾近窒息。
?
后來(lái)改為直接黏貼采集球到馬身，又由于晃動(dòng)劇烈、汗液分泌導(dǎo)致脫落。最后，勉強(qiáng)在一個(gè)馬術(shù)俱樂(lè)部中才完成了操作。
?
后來(lái)到了R星的《荒野大鏢客2》，問(wèn)題算是勉強(qiáng)得到解決：不惜投入的R星直接購(gòu)買了數(shù)匹純種馬，為每一匹馬的動(dòng)作進(jìn)行了排序，拍攝超過(guò)200次、耗時(shí)數(shù)月才完成計(jì)劃，所得數(shù)據(jù)可以塞滿一塊硬盤。

?

?
但棘手的問(wèn)題仍舊存在：馬還好說(shuō)，如果要?jiǎng)硬兑恍┕粜暂^強(qiáng)的動(dòng)物，例如虎豹，再沿用人類那套方法，恐怕只會(huì)徒增風(fēng)險(xiǎn)，更別提他們的活動(dòng)方式更加難以捉摸。
?
《孤島驚魂》系列中的野生動(dòng)物數(shù)量恐怕在整個(gè)游戲領(lǐng)域都是數(shù)一數(shù)二的存在，也正因如此，育碧對(duì)于動(dòng)物動(dòng)捕的替代解決方案有著更為強(qiáng)烈的需求。
?
“育碧中國(guó)為《刺客信條》和《孤島驚魂》系列研發(fā)簡(jiǎn)單的環(huán)境動(dòng)物和更為復(fù)雜的NPC動(dòng)物接近10年了，”育碧中國(guó)數(shù)據(jù)和AI實(shí)驗(yàn)室經(jīng)理Alexis告訴競(jìng)核，“我認(rèn)為用科技手段實(shí)現(xiàn)動(dòng)物研發(fā)自動(dòng)化是育碧自身比較獨(dú)特的一個(gè)需求?！?/p>

?

他表示，在《孤島》系列中動(dòng)物極大地豐富了玩家們的游戲體驗(yàn)，就他個(gè)人而言，并未看到很多游戲中賦予動(dòng)物如此重要的角色。
?
同時(shí)，受到學(xué)術(shù)界和行業(yè)里利用機(jī)器學(xué)習(xí)、估計(jì)人類姿態(tài)的相關(guān)研究啟發(fā)，Alexis等育碧技術(shù)專家萌生了“為什么我們不圍繞動(dòng)物來(lái)做這個(gè)研究呢？”
?
如果該項(xiàng)目成功，將會(huì)極大縮減動(dòng)物設(shè)計(jì)的投入，也能夠幫助育碧動(dòng)畫(huà)部分實(shí)現(xiàn)自動(dòng)化避免重復(fù)勞動(dòng)。如此動(dòng)力推動(dòng)之下，他們做出了“ZooBuilder”。
?
那么，“ZooBuilder”究竟是如何做出，又具備怎樣的先進(jìn)功能呢？

?

?

“三步”解決動(dòng)物動(dòng)捕難題

?

“開(kāi)發(fā)過(guò)程中，人才和寫(xiě)作產(chǎn)生的合力起到了很大的作用?！盇lexis在采訪中表示，“這個(gè)項(xiàng)目是由育碧中國(guó)AI和數(shù)據(jù)實(shí)驗(yàn)室主導(dǎo)、橫跨成都和上海工作室的團(tuán)隊(duì)，各部分的通力合作非常關(guān)鍵。”
?
具體來(lái)說(shuō)，育碧中國(guó)動(dòng)畫(huà)團(tuán)隊(duì)提供了多年研發(fā)項(xiàng)目積攢的手K動(dòng)畫(huà)素材，用于培訓(xùn)工具AI；身處加拿大、新加坡等地的育碧數(shù)據(jù)科學(xué)家也毫不吝惜地分享了他們的研究經(jīng)驗(yàn)，并針對(duì)項(xiàng)目提供意見(jiàn)參考。
?
但即便如此，研發(fā)仍舊面臨諸多困難，其中就包括“生物多樣性”和“AI復(fù)雜性”兩項(xiàng)技術(shù)挑戰(zhàn)。
?
“生物多樣性”較好理解。動(dòng)物種類何止百種，他們有著不同的骨骼、運(yùn)動(dòng)模式和體型，很難在短期內(nèi)實(shí)現(xiàn)全覆蓋。Alexis介紹稱，目前“ZooBuilder”只針對(duì)陸地四足動(dòng)物，已經(jīng)攻克豹屬動(dòng)物模型，仍有較大研究空間。
?
而對(duì)于“AI復(fù)雜性”，育碧中國(guó)數(shù)據(jù)科學(xué)家Abassin Sourou FANGBEMI從數(shù)據(jù)科學(xué)家的角度表示，為了讓算法模型獲得最優(yōu)性能，需要培訓(xùn)AI，對(duì)培訓(xùn)參數(shù)進(jìn)行設(shè)置，包括學(xué)習(xí)速度、數(shù)據(jù)集大小、模型參數(shù)等等，而培訓(xùn)過(guò)程便近似模擬真實(shí)動(dòng)捕，只不過(guò)對(duì)象存在于視頻而非房間中。
?
而在這當(dāng)中，每一個(gè)參數(shù)都會(huì)對(duì)模型的性能產(chǎn)生直接影響?！叭绻硞€(gè)參數(shù)不理想，我們可能就會(huì)得到一只會(huì)‘柔術(shù)’的豹子?！盇bassin打趣道。

在多方努力下，最終“ZooBuilder”的表現(xiàn)也沒(méi)有讓人失望。
?
“我們不需要把野獸動(dòng)物塞進(jìn)房間里做動(dòng)捕，”Abassin說(shuō)，“只需要用ZooBuilder和四足動(dòng)物的2D視頻，即可得到近似動(dòng)捕的數(shù)據(jù)?！?/strong>

?

?

具體過(guò)程可分解為三個(gè)步驟：首先通過(guò)物體探測(cè)算法來(lái)判斷每一幀上的動(dòng)物所在位置；之后，再使用第二個(gè)算法模型來(lái)找到動(dòng)物骨骼的2D坐標(biāo)；最后，使用第三個(gè)算法模型，利用2D坐標(biāo)推算出3D坐標(biāo)。
?
ZooBuilder最終將輸出近似動(dòng)捕數(shù)據(jù)，可用于導(dǎo)入生成動(dòng)畫(huà)文件。當(dāng)然，如上文所述，該工具目前僅支持豹屬動(dòng)物的有效2D視頻。

但育碧中國(guó)的規(guī)劃正如“ZooBuilder”的項(xiàng)目名稱一般，是覆蓋領(lǐng)域更為廣闊、生物種類更加豐富的“動(dòng)物園鑄造器”。

?

?

短期內(nèi)仍會(huì)專注技術(shù)提升

?

出于對(duì)該項(xiàng)目困難性、復(fù)雜性的綜合評(píng)估，Abassin表示育碧已將其視為長(zhǎng)期研究規(guī)劃。他還告訴競(jìng)核，育碧很愿意和其他優(yōu)秀的研發(fā)機(jī)構(gòu)一起攻克姿態(tài)估計(jì)領(lǐng)域的挑戰(zhàn)。
?
競(jìng)核了解到，ZooBuilder項(xiàng)目此前也獲得過(guò)四川大學(xué)的支持。
?
“我們?cè)?jīng)在成都舉辦過(guò)兩場(chǎng)‘黑客松’，來(lái)促進(jìn)數(shù)據(jù)在游戲行業(yè)的運(yùn)用。”專家們表示，2019年的“黑客松”比賽獲獎(jiǎng)團(tuán)隊(duì)中有一名四川大學(xué)的學(xué)生，后來(lái)成為了育碧實(shí)習(xí)生并參與到了ZooBuilder項(xiàng)目中。
?
雙方合作發(fā)表了一篇研究論文，獲得了在“2020計(jì)算機(jī)動(dòng)畫(huà)研討會(huì)”展示分享的機(jī)會(huì)。言語(yǔ)之間，兩位專家都非常看好大學(xué)生群體“利用數(shù)據(jù)來(lái)解決游戲發(fā)展相關(guān)問(wèn)題的想法”。
?
事實(shí)上，無(wú)論國(guó)內(nèi)或是國(guó)外，以大學(xué)生為主的年輕人群體早已在游戲、科技等領(lǐng)域嶄露頭角，育碧中國(guó)的針對(duì)性招聘也從未停歇。
?
他們也非常誠(chéng)懇地表示，未來(lái)希望能夠繼續(xù)和中國(guó)乃至全球具備AI研究實(shí)力的大學(xué)合作，為游戲研發(fā)生態(tài)提供切實(shí)可行的AI解決方案。
?
Alexis透露稱，目前他們已在和一家美國(guó)知名大學(xué)探討合作可能，該大學(xué)同樣主攻動(dòng)物姿態(tài)估計(jì)，是理想的合作伙伴。
?
但與此同時(shí)，尚未有游戲公司就ZooBuilder這一課題聯(lián)系育碧相關(guān)部門。Alexis也承認(rèn)，至少?gòu)哪壳皝?lái)說(shuō)，動(dòng)物姿態(tài)估計(jì)的研究相較于人類姿態(tài)估計(jì)仍是過(guò)于小眾了。

?

?

談及未來(lái)，Alexis表示該項(xiàng)目的研發(fā)目的主要是自用，暫時(shí)沒(méi)有商業(yè)化規(guī)劃。至于未來(lái)ZooBuilder將會(huì)成長(zhǎng)到何種程度，將取決于育碧本身的需求，但可以肯定的是，研究空間將越來(lái)越大。
?
競(jìng)核認(rèn)為，該技術(shù)上升空間巨大，且如果步入成熟階段，其可應(yīng)用情景范圍極廣。尤其對(duì)于游戲行業(yè)來(lái)說(shuō)，商業(yè)價(jià)值值得期待。
?
但也正如兩位專家所言，ZooBuilder面臨著不少研發(fā)困難，作為一項(xiàng)復(fù)雜的AI工具，需要很長(zhǎng)的成長(zhǎng)期，短期內(nèi)仍舊歸屬于小眾領(lǐng)域。

標(biāo)簽：