微軟專(zhuān)利介紹在HoloLens上創(chuàng)作呈現(xiàn)3D PPT的解決方案
查看引用/信息源請(qǐng)點(diǎn)擊:映維網(wǎng)Nweon
創(chuàng)作和呈現(xiàn)3D演示文稿

(映維網(wǎng)Nweon?2022年05月30日)諸如微軟PPT等傳統(tǒng)的2D演示軟件允許用戶(hù)通過(guò)撰寫(xiě)和交付2D演示文稿來(lái)呈現(xiàn)信息。例如,用戶(hù)可以使用多張幻燈片生成二維演示文稿。但微軟認(rèn)為,傳統(tǒng)的2D信息呈現(xiàn)方法存在數(shù)個(gè)缺點(diǎn)。
通常,人們通常在3D中感知事物,所以2D中的通信對(duì)于現(xiàn)實(shí)世界而言是一個(gè)不完美的模型。換句話(huà)說(shuō),在2D中呈現(xiàn)信息會(huì)限制表達(dá)和感知的效率,從而阻礙交流。另外,根據(jù)通信媒介的不同,人類(lèi)的感知可能存在較大差異,多個(gè)受眾成員之間的認(rèn)知可能缺乏一致性。最后,2D演示可能會(huì)限制觀眾的參與。
針對(duì)這個(gè)問(wèn)題,微軟希望通過(guò)創(chuàng)作和呈現(xiàn)3D演示文稿來(lái)改善溝通,而名為“Authoring and presenting 3d presentations in augmented reality”就介紹了用于創(chuàng)作和呈現(xiàn)三維PPT的方法和系統(tǒng)。

在一個(gè)實(shí)施例中,可以生成三維表示文件,其中包括三維房間模型、三維asset,以及3D asset的行為。3D演示文稿將資源行為編排為3D演示文稿的場(chǎng)景和節(jié)拍。通常,每個(gè)場(chǎng)景或節(jié)拍表示3D asset的特定排列和相應(yīng)的asset行為。所以在創(chuàng)作模式期間,一個(gè)或多個(gè)作者可以將asset行為設(shè)置為在演示模式期間觸發(fā)。
可以將3D呈現(xiàn)文件加載到作者設(shè)備、呈現(xiàn)者設(shè)備和/或觀眾設(shè)備中,并且可以在各種用戶(hù)設(shè)備之間以協(xié)調(diào)的方式呈現(xiàn)3D asset的3D圖像和相應(yīng)的asset行為。因此,作者或演示者可以使用各種導(dǎo)航命令導(dǎo)航場(chǎng)景和3D演示文稿。
空間創(chuàng)作是指作者為3D asset設(shè)置asset行為的過(guò)程。例如,通過(guò)在3D環(huán)境中安排3D asset的位置和方向,創(chuàng)作者可以為asset行為設(shè)置其他行為參數(shù),添加模板行為等。3D演示環(huán)境支持多個(gè)共同作者同時(shí)創(chuàng)作,涵蓋同一房間和遠(yuǎn)程用戶(hù)(例如使用Avatar來(lái)模擬遠(yuǎn)程用戶(hù)的存在)。
因此,可以執(zhí)行空間創(chuàng)作來(lái)設(shè)置由給定場(chǎng)景觸發(fā)的asset行為的行為參數(shù)。
在一個(gè)實(shí)施例中,每個(gè)作者穿戴頭戴式顯示器,而頭顯可以以協(xié)調(diào)的方式呈現(xiàn)3D asset的3D圖像和相應(yīng)行為,以便作者基本上同時(shí)看到相同的asset行為。同樣,3D演示環(huán)境支持多個(gè)共同演示者向多個(gè)觀眾成員提供3D演示。
在一個(gè)實(shí)施例中,每個(gè)演示者和觀眾成員穿戴頭戴式顯示器,后者可以以協(xié)調(diào)的方式呈現(xiàn)3D asset的3D虛擬圖像和相應(yīng)行為,以便演示者和觀眾成員基本上同時(shí)看到相同的asset行為。
每個(gè)用戶(hù)設(shè)備都可以生成一個(gè)虛擬3D環(huán)境,并作為用戶(hù)設(shè)備的參考框架,例如坐標(biāo)系和原點(diǎn)。為了將3D asset的虛擬圖像與將要交付演示文稿的房間或空間對(duì)齊,設(shè)置3D演示文件的作者可以生成或以其他方式訪問(wèn)演示室的3D模型,例如通過(guò)掃描房間、自動(dòng)檢測(cè)預(yù)映射房間、手動(dòng)輸入房間設(shè)置等等。
3D房間模型可以合并到用戶(hù)設(shè)備的虛擬三維環(huán)境中,或以其他方式與用戶(hù)設(shè)備的虛擬3D環(huán)境相關(guān)聯(lián),例如,使用虛擬房間錨定來(lái)設(shè)置相對(duì)于用戶(hù)設(shè)備的虛擬3D環(huán)境的位置和方向。3D表達(dá)的3D asset可以栓系到虛擬三維環(huán)境中的固定位置,比如使用虛擬對(duì)象錨定。
3D房間模型、虛擬房間定位點(diǎn)、3D asset和虛擬對(duì)象定位點(diǎn)可由每個(gè)用戶(hù)設(shè)備訪問(wèn)或分發(fā)。因此,可以向每個(gè)用戶(hù)設(shè)備提供對(duì)房間中的表面和3D表示的3D asset感知。
在一個(gè)或多個(gè)用戶(hù)設(shè)備是增強(qiáng)現(xiàn)實(shí)頭顯的實(shí)施例中,用戶(hù)可以看到編寫(xiě)或呈現(xiàn)演示文稿的實(shí)際物理房間或空間,不需要為頭顯渲染相應(yīng)的3D房間模型。不過(guò),AR頭顯的虛擬3D環(huán)境可以與物理房間或空間對(duì)齊,比如通過(guò)調(diào)整一個(gè)或多個(gè)房間設(shè)置。
這可以使用3D界面手動(dòng)完成,例如使用一個(gè)或多個(gè)手勢(shì)來(lái)調(diào)整虛擬房間定位點(diǎn)的位置、調(diào)整3D模型的方向、調(diào)整可移動(dòng)墻壁和/或可移動(dòng)桌面的虛擬定位點(diǎn)的位置等等等。這同時(shí)也可以使用2D界面手動(dòng)完成,或者自動(dòng)完成。
在一個(gè)實(shí)施例中,一旦作者執(zhí)行了房間對(duì)齊,則可以將特定的或所有相應(yīng)的房間設(shè)置分發(fā)給一個(gè)或多個(gè)后續(xù)用戶(hù)設(shè)備。在一個(gè)實(shí)施例中,只向需要房間對(duì)齊的用戶(hù)設(shè)備提供有相關(guān)的房間設(shè)置。因此,用戶(hù)設(shè)備可以訪問(wèn)房間設(shè)置,以將設(shè)備的虛擬3D環(huán)境與物理房間或空間對(duì)齊。
多個(gè)用戶(hù)設(shè)備可以參與創(chuàng)作和演示模式。為此,系統(tǒng)可以為多個(gè)用戶(hù)提供了一個(gè)大廳。通常,大廳是一個(gè)虛擬暫存區(qū),并允許多個(gè)用戶(hù)設(shè)備在其中進(jìn)行通信,以促進(jìn)3D演示的協(xié)調(diào)渲染。在一個(gè)實(shí)施例中,一個(gè)設(shè)備用作主機(jī),其余設(shè)備用作客戶(hù)端。主機(jī)設(shè)備將3D演示文件分發(fā)給客戶(hù)端設(shè)備,每個(gè)客戶(hù)端設(shè)備渲染3D演示以同時(shí)查看基本相同的asset行為。
在創(chuàng)作模式下,主機(jī)和客戶(hù)端共同作者可以與3D asset交互并設(shè)置asset行為。在演示模式下,指定用戶(hù)可以與指定的3D asset交互。例如,客戶(hù)端可以從主機(jī)請(qǐng)求或自動(dòng)授予3D asset的臨時(shí)所有權(quán)。作為非限制性示例,可以使用一個(gè)或多個(gè)檢測(cè)到的輸入來(lái)啟動(dòng)簽入和簽出請(qǐng)求。如果獲得批準(zhǔn),用戶(hù)可以獲得3D asset的臨時(shí)所有權(quán)并進(jìn)行授權(quán)更改。
作者在創(chuàng)作模式下設(shè)置的asset行為可以進(jìn)行分發(fā)和存儲(chǔ),例如在更新的3D演示文件中。對(duì)當(dāng)前渲染的asset行為的更改都可以實(shí)時(shí)分布,以便每個(gè)主機(jī)和客戶(hù)端可以在基本相同的時(shí)間渲染相同的asset行為。
在演示模式下,特定功能可以對(duì)部分或所有用戶(hù)進(jìn)行限制(例如記錄asset行為),而其他功能則可以有選擇地啟用,例如允許觀眾成員拖動(dòng)指定的3D動(dòng)畫(huà)。因此,可以設(shè)置不同的配置文件或權(quán)限來(lái)區(qū)分不同的用戶(hù)組,并為每個(gè)組提供不同的權(quán)限。。
可以使用各種可視化工具來(lái)生成3D asset、asset行為和/或虛擬圖像??梢暬ぞ呖梢园M器工具、演示助手工具、交互模式和模板asset行為??梢栽趧?chuàng)作模式期間切換諸如透視圖模擬器之類(lèi)的模擬器,以模擬觀眾透視圖。
在一個(gè)實(shí)施例中,演示助手工具(如僅演示者可見(jiàn)的虛擬提詞器)可以添加到3D演示中。感官編排線(xiàn)索可以添加到3D場(chǎng)景中,以向演示者提供提醒。感官觸發(fā)器可以嵌入到3D演示中,以觸發(fā)各種效果,例如場(chǎng)景過(guò)渡和動(dòng)畫(huà)等。
可以在創(chuàng)作或演示模式下切換具有照明模式的交互式圖形??梢郧袚Q交互式3D拖動(dòng)模式,以允許觀眾成員拖動(dòng)3D動(dòng)畫(huà)。可以切換其他交互式動(dòng)畫(huà),其中不同用戶(hù)的位置可以影響數(shù)據(jù)可視化。模板行為可以應(yīng)用于3D asset。例如,木偶制作允許一個(gè)或多個(gè)作者記錄3D asset在動(dòng)畫(huà)期間移動(dòng)的3D路徑,并為給定的asset狀態(tài)指定asset行為,例如音頻、粒子效果、路徑可視化和過(guò)渡等。
在一個(gè)實(shí)施例中,可以使用數(shù)據(jù)可視化模板將3D體積生成器動(dòng)畫(huà)添加到3D演示文稿中,以演示數(shù)字量或比較。數(shù)據(jù)可視化模板可以使用各種asset行為來(lái)生成靜態(tài)和/或動(dòng)態(tài)可視化。
考圖1示出了適用于實(shí)施本發(fā)明實(shí)施例的示例性環(huán)境100框圖。環(huán)境100適用于增強(qiáng)現(xiàn)實(shí),并有助于創(chuàng)作和交付3D演示文稿。環(huán)境100包括主機(jī)設(shè)備和一個(gè)或多個(gè)客戶(hù)端設(shè)備。每個(gè)主機(jī)和客戶(hù)端設(shè)備都能夠合成增強(qiáng)現(xiàn)實(shí)圖像。
環(huán)境100的組件通過(guò)網(wǎng)絡(luò)150彼此通信,網(wǎng)絡(luò)150可以包括但不限于任何有線(xiàn)和/或無(wú)線(xiàn)協(xié)議。另外和/或可選地,網(wǎng)絡(luò)150可以包括一個(gè)或多個(gè)局域網(wǎng)(lan)和/或廣域網(wǎng)。
當(dāng)用戶(hù)(例如,作者或演示者)使用主機(jī)設(shè)備200啟動(dòng)3D演示文稿時(shí),3D環(huán)境生成器205訪問(wèn)3D房間模型(或物理空間的其他3D模型),使用3D房間模型生成虛擬3D環(huán)境,并在必要時(shí)將虛擬3D環(huán)境與物理房間或空間對(duì)齊。3D房間模型通常是房間或空間中曲面的數(shù)學(xué)表示。
在一個(gè)實(shí)施例中,可以使用各種類(lèi)型的房間模型、建模技術(shù)和建模工具。在一個(gè)實(shí)施例中,可以自動(dòng)生成新的3D房間模型,例如通過(guò)使用3D掃描儀掃描房間。
另外和/或可選地,3D環(huán)境生成器205可以提供一個(gè)界面,并允許用戶(hù)使用所述界面手動(dòng)設(shè)置或調(diào)整房間設(shè)置,例如定義墻壁位置和尺寸、桌子位置和尺寸、觀眾人數(shù)等。在這種情況下,可以在一個(gè)房間中執(zhí)行創(chuàng)作,并自動(dòng)適應(yīng)不同的房間。例如,用戶(hù)可以相對(duì)于一個(gè)3D房間模型的特定曲面為3D asset安排虛擬對(duì)象定位。以這種方式,如果在生成演示文稿后需要調(diào)整建模曲面,則內(nèi)容會(huì)隨之移動(dòng)。
3D環(huán)境生成器205可以包括或激活對(duì)齊組件207以調(diào)整房間設(shè)置,以將虛擬3D環(huán)境與主機(jī)設(shè)備200所在的物理房間或空間對(duì)齊。
對(duì)齊組件207可以為3D房間模型生成或訪問(wèn)虛擬房間定位。虛擬房間定位點(diǎn)通常是與3D房間模型相關(guān)聯(lián)的參考點(diǎn),并且可以包括3D房間模型的默認(rèn)方向。虛擬房間定位可以以將房間或空間的虛擬表示與相應(yīng)的物理房間或空間對(duì)齊的方式放置在虛擬3D環(huán)境中。
在某些情況下,3D房間模型可能無(wú)法與物理房間或空間完全對(duì)齊。因此,對(duì)齊組件207提供的接口還可以允許手動(dòng)調(diào)整3D房間模型。例如,可以通過(guò)渲染房間表面的虛擬圖像和相應(yīng)的虛擬表面定位,并允許調(diào)整虛擬表面定位來(lái)調(diào)整3D房間模型,從而調(diào)整房間表面。
一旦為3D演示文稿執(zhí)行了房間對(duì)齊,對(duì)3D房間模型和/或相應(yīng)房間設(shè)置的更改將有利地進(jìn)行保存,以便可以將其分發(fā)給加入3D演示文稿的每個(gè)用戶(hù)設(shè)備。在一個(gè)實(shí)施例中,一旦主機(jī)設(shè)備啟動(dòng)了3D呈現(xiàn)并執(zhí)行了房間對(duì)齊,則自動(dòng)執(zhí)行客戶(hù)端設(shè)備的對(duì)齊。因此,想要加入3D演示文稿的客戶(hù)只需加入托管大廳即可。

在創(chuàng)作模式期間,可以提供創(chuàng)作面板。創(chuàng)作面板可以在任何形狀或位置的2D或3D中渲染。在一個(gè)實(shí)施例中,創(chuàng)作面板渲染為復(fù)合增強(qiáng)現(xiàn)實(shí)圖像中的虛擬曲面。“創(chuàng)作”面板包括各種創(chuàng)作工具,以幫助用戶(hù)創(chuàng)作3D演示文稿。例如,創(chuàng)作面板可以包括3D演示的導(dǎo)航控件、導(dǎo)入工具、編輯工具、模擬器工具),演示助手工具、交互式工具等等。根據(jù)用戶(hù)的角色,可以啟用或禁用部分或全部創(chuàng)作工具。

在演示模式期間,可以使用存儲(chǔ)在3D演示文件中的3D asset和asset行為渲染3D asset的虛擬圖像。在切換的交互模式期間,具有適當(dāng)權(quán)限的用戶(hù)可以請(qǐng)求指定3D asset的臨時(shí)所有權(quán),以更改asset的當(dāng)前渲染狀態(tài)、生成或激活3D asset等。
在交互模式中,交互式3D asset的改變狀態(tài)有利地基本實(shí)時(shí)地分布到大廳中的每個(gè)用戶(hù)設(shè)備,以便每個(gè)用戶(hù)設(shè)備可以更新3D asset的渲染。因此,每個(gè)用戶(hù)設(shè)備可以在基本相同的時(shí)間呈現(xiàn)相同的asset狀態(tài)。

圖3A-B說(shuō)明了使用3D界面移動(dòng)3D asset進(jìn)行空間創(chuàng)作的示例性技術(shù)。共同創(chuàng)作者310和340在同一個(gè)房間,每個(gè)人都有AR頭顯。Avatar330表示佩戴VR頭顯并位于遠(yuǎn)程未知的遠(yuǎn)程用戶(hù)。
在圖3A中,共同創(chuàng)作者310通過(guò)相對(duì)于虛擬圖像320定位她的手312,并啟動(dòng)捏指手勢(shì)來(lái)拾取虛擬圖像320。在捏指的同時(shí),她將手312移動(dòng)到圖3B中的位置314,釋放捏指手勢(shì),以將虛擬圖像320放到桌面。這個(gè)操作可以實(shí)時(shí)反應(yīng)至共同創(chuàng)作者340和Avtar330的感知視圖。
以這種方式,作者可以高效地生成3D演示文稿,編排3D asset的行為,而演示者可以高效地交付3D演示文稿,以便每個(gè)用戶(hù)在基本相同的時(shí)間看到相同的asset行為。
相關(guān)專(zhuān)利:Microsoft Patent | Authoring and presenting 3d presentations in augmented reality
名為“Authoring and presenting 3d presentations in augmented reality”的微軟專(zhuān)利申請(qǐng)最初在2021年7月提交,并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。
---
原文鏈接:https://news.nweon.com/97553