查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

混合現(xiàn)實(shí)圖像捕獲和智能檢測(cè)技術(shù)

（映維網(wǎng)Nweon?2022年03月18日）對(duì)于企業(yè)，有時(shí)候記錄項(xiàng)目階段或產(chǎn)品的照片非常重要。例如，裝配線操作員的一個(gè)任務(wù)可以是在裝配的各個(gè)階段拍攝產(chǎn)品的照片。當(dāng)拍攝同一產(chǎn)品的多個(gè)實(shí)例時(shí)，人類操作員可以從稍微不同的有利位置拍攝每個(gè)產(chǎn)品的照片。諸如缺陷這樣的特定產(chǎn)品細(xì)節(jié)可能會(huì)一個(gè)位置可見(jiàn)或不可見(jiàn)。由于人類拍攝的照片對(duì)于透視圖而言可能缺乏一致性，所以很難使用所述照片作為后續(xù)比較或評(píng)估成像產(chǎn)品的基礎(chǔ)。另外，人工操作員在檢查產(chǎn)品時(shí)經(jīng)常出錯(cuò)和/或采用不一致的標(biāo)準(zhǔn)。

在名為“Mixed reality image capture and smart inspection”的專利申請(qǐng)中，微軟介紹了一種混合現(xiàn)實(shí)圖像捕獲和智能檢測(cè)技術(shù)。團(tuán)隊(duì)表示，相關(guān)可以檢查在依賴于照片記錄或維護(hù)的系統(tǒng)中特別使用的特征，例如用于質(zhì)量保證的產(chǎn)品檢查系統(tǒng)。

簡(jiǎn)單來(lái)說(shuō)，發(fā)明主要描述了一種混合現(xiàn)實(shí)幀對(duì)齊工具，它可以將用戶引導(dǎo)到預(yù)定義的有利位置，然后定位攝像頭以捕捉對(duì)象的照片。這種智能引導(dǎo)工具可以用于確保拍攝對(duì)象的特定特征可見(jiàn)，和/或從基本相似或相同的有利位置拍攝相同對(duì)象的圖像集合，從而產(chǎn)生一致的圖像集。

同時(shí)，專利指出可以根據(jù)人類操作員從一致的有利位置收集的一組對(duì)象圖像訓(xùn)練機(jī)器學(xué)習(xí)模型。例如，操作員可以提供與每張照片相關(guān)聯(lián)的輸入，指示每張照片中的主題是否與特定標(biāo)準(zhǔn)一致。一旦訓(xùn)練完成，機(jī)器學(xué)習(xí)模型可以動(dòng)態(tài)評(píng)估對(duì)象的新圖像，并客觀地確定新圖像中的對(duì)象是否與標(biāo)準(zhǔn)一致。在一個(gè)實(shí)施例中，機(jī)器學(xué)習(xí)模型的輸出可以經(jīng)過(guò)進(jìn)一步的處理和分析，并且系統(tǒng)適于提供實(shí)時(shí)反饋，例如在產(chǎn)品有缺陷時(shí)通知操作員，或者總結(jié)對(duì)成像的特定產(chǎn)品的分析。例如，生產(chǎn)裝配線上的操作員拍攝產(chǎn)品組件的照片，并會(huì)立即收到系統(tǒng)實(shí)時(shí)反饋，從而判斷產(chǎn)品是否符合規(guī)定的質(zhì)量標(biāo)準(zhǔn)。

圖1是一個(gè)示例處理設(shè)備102，它提供了用于收集和檢查真實(shí)世界圖像的混合現(xiàn)實(shí)用戶體驗(yàn)。處理設(shè)備102可以是能夠在三維真實(shí)世界參考框架內(nèi)投射數(shù)字對(duì)象，并令數(shù)字對(duì)象和真實(shí)對(duì)象在用戶視場(chǎng)中共存的頭戴式設(shè)備。在另一個(gè)實(shí)施例中，專利描述的技術(shù)可以在任何混合現(xiàn)實(shí)設(shè)備中實(shí)現(xiàn)，包括提供2D混合現(xiàn)實(shí)體驗(yàn)的設(shè)備。

處理設(shè)備102包括投影光學(xué)元件104，后者配置為在佩戴處理設(shè)備102或與處理設(shè)備102交互的用戶120的視場(chǎng)118內(nèi)投影細(xì)節(jié)對(duì)象。處理設(shè)備102同時(shí)包括攝像頭106，其可用于捕捉混合現(xiàn)實(shí)體驗(yàn)的靜止圖像或視頻幀。處理設(shè)備102同時(shí)包括存儲(chǔ)操作系統(tǒng)（未示出）和可由處理器112執(zhí)行的一個(gè)或多個(gè)應(yīng)用程序的存儲(chǔ)器110。在其他應(yīng)用中，處理設(shè)備102存儲(chǔ)并本地執(zhí)行混合現(xiàn)實(shí)幀對(duì)齊工具114和圖像檢查工具116。在一個(gè)實(shí)施例中，混合現(xiàn)實(shí)幀對(duì)齊工具114和/或圖像檢查工具116可以由通過(guò)局域網(wǎng)或廣域網(wǎng)與處理設(shè)備102通信的設(shè)備遠(yuǎn)程執(zhí)行。

混合現(xiàn)實(shí)幀對(duì)齊工具114用于引導(dǎo)用戶將處理設(shè)備102定位在相對(duì)于目標(biāo)對(duì)象的特定預(yù)定義有利位置。一旦混合現(xiàn)實(shí)幀對(duì)齊工具114確定攝像頭106的鏡頭位于預(yù)定義的有利位置，混合現(xiàn)實(shí)幀對(duì)齊工具114就可以將指令發(fā)送到圖像捕獲工具136，例如，使用攝像頭106自動(dòng)捕獲照片的指令或提示用戶提供輸入以觸發(fā)照片捕獲的指令。然后，可以任選地將捕獲的照片提供給圖像檢查工具116。

專利描述的技術(shù)存在一系列的示例，例如產(chǎn)品檢查。當(dāng)制造廠的操作完成了目標(biāo)拍攝對(duì)象122（例如自行的部件）的特定工作階段時(shí)，操作員可能需要拍攝目標(biāo)拍攝對(duì)象122的照片，以確保其總體狀況/質(zhì)量，而相關(guān)內(nèi)容可供另一方（如人工或機(jī)器檢查員）進(jìn)行后續(xù)評(píng)估。

在一個(gè)實(shí)現(xiàn)中，混合現(xiàn)實(shí)幀對(duì)齊工具114幫助用戶120從相對(duì)于目標(biāo)拍攝對(duì)象122的一致有利位置收集場(chǎng)景100的多張照片。多張照片可以是同一產(chǎn)品的不同副本。

當(dāng)混合現(xiàn)實(shí)幀對(duì)齊工具114正在執(zhí)行時(shí)，用戶通過(guò)將攝像頭106指向預(yù)定義的真實(shí)世界錨定對(duì)象來(lái)啟動(dòng)圖像捕獲模式，例如通過(guò)將頭顯與錨定對(duì)象124一起定位在頭顯視場(chǎng)118中或附近。在一個(gè)實(shí)施例中，圖1的錨定對(duì)象124是條形碼貼紙，其放置在相對(duì)于場(chǎng)景100內(nèi)的目標(biāo)對(duì)象（例如自行車部件）具有已知預(yù)定義空間間隔的位置，例如桌子。例如，錨定對(duì)象124可以由系統(tǒng)管理員在混合現(xiàn)實(shí)幀對(duì)齊工具114的設(shè)置階段期間定義，例如通過(guò)上傳錨定對(duì)象的照片或提供系統(tǒng)可用的其他指令來(lái)容易地在場(chǎng)景100中識(shí)別錨定對(duì)象124。

當(dāng)混合現(xiàn)實(shí)幀對(duì)齊工具114識(shí)別視場(chǎng)118中的錨定對(duì)象124時(shí)，混合現(xiàn)實(shí)幀對(duì)齊工具114定義一個(gè)3D坐標(biāo)系（其原點(diǎn)對(duì)應(yīng)于錨定對(duì)象124的位置），并將第一數(shù)字目標(biāo)126（例如全息目標(biāo)）投影到一個(gè)預(yù)定位置（所述位置由相對(duì)于錨定對(duì)象124的偏移向量d定義）。在圖像捕獲處理的整個(gè)持續(xù)期間，第一數(shù)字目標(biāo)126保持固定在所述位置。因此，即使用戶移動(dòng)處理設(shè)備102以改變攝像頭106的視圖118，例如通過(guò)從左向右移動(dòng)他/她的頭部，第一數(shù)字目標(biāo)126依然相對(duì)于場(chǎng)景中的真實(shí)世界對(duì)象固定。

在一個(gè)實(shí)施例中，在應(yīng)用的設(shè)置階段，相對(duì)于錨定對(duì)象124的已知位置和產(chǎn)品122或?qū)⑴臄z對(duì)象的已知位置來(lái)定義偏移向量d。例如，系統(tǒng)管理員可以在初始化圖像檢查工具112的系統(tǒng)參數(shù)時(shí)定義偏移向量d。

偏移向量d表示相對(duì)于錨定對(duì)象124的位置。在所述位置，第一數(shù)字目標(biāo)126將在每次執(zhí)行混合現(xiàn)實(shí)幀對(duì)齊工具114時(shí)進(jìn)行投影。理想情況下，偏移向量d定義為將第一數(shù)字目標(biāo)126投影到感興趣對(duì)象的預(yù)期位置。例如，可以假設(shè)，當(dāng)將感興趣的攝影對(duì)象122放置在相對(duì)于錨定對(duì)象124的已知距離的臺(tái)上時(shí)，將對(duì)其進(jìn)行拍攝。在所示的示例中，用戶120正在記錄自行車上后變速器的外觀，例如，用戶120可以定位自行車，使前后輪胎與預(yù)定義的位置、標(biāo)記對(duì)齊，等，以確保后撥鏈器按照偏移向量d定義的距離和方向從錨定對(duì)象124偏移。在另一個(gè)實(shí)現(xiàn)中，混合現(xiàn)實(shí)幀對(duì)齊工具114自行定義偏移向量d，例如，基于描繪預(yù)定義的錨定對(duì)象124和預(yù)定義的感興趣的攝影對(duì)象122兩者的一個(gè)或多個(gè)輸入圖像。

在另一種實(shí)施例中，錨定對(duì)象124是QR標(biāo)簽或位于目標(biāo)對(duì)象（例如自行車的后變速器）的其他對(duì)象。在上述任一情況下，系統(tǒng)管理員可將偏移向量d定義為零，指示呈現(xiàn)第一數(shù)字目標(biāo)126以與包括錨定對(duì)象124的場(chǎng)景100的區(qū)域重合。

除了投影第一數(shù)字目標(biāo)126之外，混合現(xiàn)實(shí)幀對(duì)齊工具114同時(shí)控制投影光學(xué)元件104，從而在用戶120的視場(chǎng)內(nèi)投影第二數(shù)字目標(biāo)128。第二數(shù)字目標(biāo)128投影在相對(duì)于攝像頭106固定，且在整個(gè)照片拍攝過(guò)程期間相對(duì)于場(chǎng)景100動(dòng)態(tài)移動(dòng)的位置。例如，即使攝像頭106在空間中物理地移動(dòng)，第二數(shù)字目標(biāo)128都會(huì)投影在相對(duì)于攝像頭106在由錨定對(duì)象124定義的坐標(biāo)系中的位置的固定偏移[x，y，x]的空間點(diǎn)。

當(dāng)用戶移動(dòng)攝像頭106時(shí)，混合現(xiàn)實(shí)幀對(duì)齊工具114可以基于攝像頭106視場(chǎng)的變化來(lái)改變第二數(shù)字目標(biāo)128的位置、大小和方向。在一個(gè)實(shí)現(xiàn)中，第二數(shù)字目標(biāo)128的大小隨著距離第一數(shù)字目標(biāo)126的投影位置的距離的變化而變化。例如，如果用戶靠近第一數(shù)字目標(biāo)126的固定位置，這可能會(huì)致使第二數(shù)字目標(biāo)128縮小。

在一個(gè)實(shí)施例中，混合現(xiàn)實(shí)幀對(duì)齊工具114響應(yīng)于檢測(cè)到的攝像頭106的鏡頭和第一數(shù)字目標(biāo)126的固定位置之間的角度間隔變化，改變第一數(shù)字目標(biāo)126和第二數(shù)字目標(biāo)128之間的角度間隔。例如，第二數(shù)字目標(biāo)128最初可能出現(xiàn)在垂直于用戶視線的第一平面內(nèi)定向，而第一數(shù)字目標(biāo)126最初出現(xiàn)在與第一平面不同且不平行的第二平面內(nèi)延伸。當(dāng)用戶120繞過(guò)目標(biāo)攝影對(duì)象122并接近預(yù)定義的有利位置時(shí)，第一數(shù)字目標(biāo)126的投影平面可以移動(dòng)，使得第一數(shù)字目標(biāo)126變得更平行于第二數(shù)字目標(biāo)128，同時(shí)減少用戶120和預(yù)定義有利位置之間的間隔。

當(dāng)?shù)诙?shù)字目標(biāo)128滿足相對(duì)于第一數(shù)字目標(biāo)126的預(yù)定義空間關(guān)系時(shí)，拍攝對(duì)象的照片。例如，用戶120可以在空間中移動(dòng)攝像頭106，直到第二數(shù)字目標(biāo)128與第一數(shù)字目標(biāo)126對(duì)齊。在相同或另一實(shí)施例中，用戶120移動(dòng)攝像頭106以移動(dòng)第二數(shù)字目標(biāo)128的外觀大小和/或方向，直到第二數(shù)字目標(biāo)128的大小和/或方向與第一數(shù)字目標(biāo)126的大小和/或方向足夠相似以滿足預(yù)定義的相似性閾值。

在一個(gè)實(shí)施例中，當(dāng)滿足預(yù)定義的空間關(guān)系時(shí)，混合現(xiàn)實(shí)幀對(duì)齊工具114自動(dòng)捕獲對(duì)象的照片，而不需要用戶120的輸入。換句話說(shuō)，用戶不提供定義何時(shí)捕獲照片或直接觸發(fā)照片捕獲的輸入。相反，當(dāng)攝像頭被定位在相對(duì)于錨定對(duì)象124和圖像對(duì)象的預(yù)定義有利位置時(shí)，圖像捕獲工具136自動(dòng)捕獲照片。

在一個(gè)實(shí)施例中，當(dāng)滿足虛擬目標(biāo)之間的預(yù)定義空間關(guān)系時(shí)，混合現(xiàn)實(shí)幀對(duì)齊工具114向用戶120提供實(shí)時(shí)反饋，例如通過(guò)提供視覺(jué)或音頻提示。這可用于向用戶120傳達(dá)照片已完成自動(dòng)捕獲，或可替換地，提示用戶提供觸發(fā)照片捕獲的輸入。

為了說(shuō)明通過(guò)混合現(xiàn)實(shí)幀對(duì)齊工具114捕獲的圖像的一個(gè)示例使用，顯示處理設(shè)備102進(jìn)一步包括圖像檢測(cè)器132。例如，圖像檢查器132是經(jīng)過(guò)訓(xùn)練的機(jī)器學(xué)習(xí)模型。在一個(gè)實(shí)施例中，使用訓(xùn)練數(shù)據(jù)130訓(xùn)練圖像檢查器132，訓(xùn)練數(shù)據(jù)130包括由系統(tǒng)管理員提供的圖像集和監(jiān)督學(xué)習(xí)輸入。例如，系統(tǒng)管理員可以利用混合現(xiàn)實(shí)幀對(duì)齊工具114來(lái)收集位于相同裝配位置的相同產(chǎn)品類型的一組圖像。系統(tǒng)管理員可以通過(guò)提供圖像以及進(jìn)一步的有監(jiān)督學(xué)習(xí)輸入來(lái)訓(xùn)練模型識(shí)別“缺陷產(chǎn)品”。由于圖像集在每個(gè)圖像中的產(chǎn)品位置高度一致，所以與使用從不太一致的有利位置拍攝的對(duì)象圖像進(jìn)行訓(xùn)練的類似模型相比，經(jīng)過(guò)訓(xùn)練的模型將顯示出更高的可靠性。

在一個(gè)實(shí)施例中，圖像檢查工具116可以包括向用戶120提供實(shí)時(shí)反饋的反饋工具134。例如，如果用戶120使用混合現(xiàn)實(shí)幀對(duì)齊工具114捕捉對(duì)象的圖像，則圖像可以提供給圖像檢查器132，圖像檢查器132進(jìn)而確定圖像中的對(duì)象是否具有特定特征，例如，產(chǎn)品是否有缺陷。反饋工具134實(shí)時(shí)地將圖像檢測(cè)器132的輸出傳回給用戶120，例如通過(guò)處理設(shè)備102的用戶接口。在這種情況下，可以立即（例如在拍攝照片的幾秒鐘內(nèi)）通知用戶120照片是否滿足已由圖像檢查器132評(píng)估的標(biāo)準(zhǔn)。

圖2示出了當(dāng)引導(dǎo)用戶將攝像頭定位在相對(duì)于目標(biāo)對(duì)象或位置的預(yù)定義有利位置時(shí)，混合現(xiàn)實(shí)幀對(duì)齊工具如何動(dòng)態(tài)更新數(shù)字目標(biāo)的位置的示例。

當(dāng)進(jìn)入圖像捕獲模式時(shí)，混合現(xiàn)實(shí)幀對(duì)齊工具投影第一數(shù)字目標(biāo)（a）和第二數(shù)字目標(biāo)（B）。第二數(shù)字目標(biāo)（B）被投影到相對(duì)于現(xiàn)實(shí)世界場(chǎng)景中的識(shí)別“錨定對(duì)象”固定的位置，。假設(shè)第二數(shù)字目標(biāo)的投影位置對(duì)應(yīng)于用戶想要拍攝的對(duì)象的真實(shí)世界位置。

在整個(gè)圖像捕獲過(guò)程中，第二數(shù)字目標(biāo)（B）保持固定（例如錨定）在真實(shí)場(chǎng)景中的固定位置，而第一數(shù)字目標(biāo)（a）由頭顯的投影系統(tǒng)移動(dòng)，以反映系統(tǒng)攝像頭的移動(dòng)。因此，用戶看到第一數(shù)字目標(biāo)（A）相對(duì)于場(chǎng)景以及相對(duì)于第二數(shù)字目標(biāo)（B）的運(yùn)動(dòng)。

當(dāng)用戶如視圖202所示向上看時(shí)，攝像頭的視線向上傾斜（在虛線箭頭指示的位置），使得攝像頭的視線與第二數(shù)字目標(biāo)（B）正上方的位置相交。這意味著用戶相對(duì)于圖像對(duì)象的方向不同于預(yù)定義有利位置的方向。當(dāng)用戶降低視線以向下移動(dòng)頭顯時(shí)，第一數(shù)字目標(biāo)（A）的位置（從用戶角度）發(fā)生變化，以與第二數(shù)字目標(biāo)（B）對(duì)齊，如視圖204所示。在本例中，用戶已重新定向攝像頭，使其相對(duì)于目標(biāo)具有與預(yù)定義有利位置一致的方向?qū)R。

如另一視圖206所示，第一數(shù)字目標(biāo)（A）最初可能出現(xiàn)在與第二數(shù)字目標(biāo)（B）的平面不平行的平面中。這意味著用戶相對(duì)于圖像對(duì)象的角度方向不同于預(yù)定義有利位置的角度方向。當(dāng)用戶圍繞圖像對(duì)象在圓圈中行走時(shí)，第二數(shù)字目標(biāo)（B）的角方向似乎發(fā)生移動(dòng)，而第一數(shù)字目標(biāo)（a）的角方向與用戶的視線平行。當(dāng)攝像頭的角度與預(yù)定義的有利位置相關(guān)聯(lián)的角度一致時(shí)，這兩個(gè)平面看起來(lái)彼此平行，如視圖208所示。在這個(gè)示例中，用戶已重新定向攝像頭，使其相對(duì)于目標(biāo)具有與預(yù)定義有利位置一致的角度定向。

如另一視圖210所示，第一數(shù)字目標(biāo)（A）和第二數(shù)字目標(biāo)（B）可能具有不同的尺寸，即使它們?cè)谟脩粢暰€內(nèi)的方向和平面方向上對(duì)齊。這意味著用戶與圖像對(duì)象的分離不同于預(yù)定義的有利位置。在該示例中，當(dāng)用戶朝第二數(shù)字目標(biāo)（B）的固定現(xiàn)實(shí)世界位置行走時(shí)，第一數(shù)字目標(biāo)（A）的尺寸增大，當(dāng)用戶朝相反方向行走時(shí)，第一數(shù)字目標(biāo)（A）的尺寸減小，如視圖212所示。值得注意的是，可以使用其他視覺(jué)效果來(lái)傳達(dá)相同的概念。

如上文所述，混合現(xiàn)實(shí)幀對(duì)齊工具可響應(yīng)于確定第一數(shù)字目標(biāo)（a）和第二數(shù)字目標(biāo)（B）滿足預(yù)定義的空間關(guān)系而捕捉目標(biāo)的照片。在不同的實(shí)現(xiàn)中，可以基于不同的標(biāo)準(zhǔn)來(lái)滿足預(yù)定義的空間關(guān)系，例如基于關(guān)于方向?qū)R、角度定向和/或深度定義的一個(gè)或多個(gè)條件。

在圖2的示例中，預(yù)定義空間關(guān)系的滿足取決于攝像頭相對(duì)于圖像目標(biāo)的方向、攝像頭相對(duì)于圖像目標(biāo)的角度分離以及攝像頭相對(duì)于圖像目標(biāo)的深度?；旌犀F(xiàn)實(shí)幀對(duì)齊工具114確定目標(biāo)之間滿足預(yù)定義的空間關(guān)系，并自動(dòng)捕獲圖像或?qū)⑤敵鰝魉徒o用戶，以表示攝像頭位于預(yù)定義的有利位置，以便用戶可以手動(dòng)拍照，例如通過(guò)提供觸摸、語(yǔ)音、或系統(tǒng)的視覺(jué)輸入。

圖3A-3D示出了混合現(xiàn)實(shí)幀對(duì)齊工具的示例投影，所述工具可用于引導(dǎo)用戶將攝像頭定位在相對(duì)于感興趣的對(duì)象312的預(yù)定義有利位置。

圖3A示出了由在頭顯304執(zhí)行的混合現(xiàn)實(shí)幀對(duì)齊工具生成的示例數(shù)字目標(biāo)初始位置。例如，混合現(xiàn)實(shí)幀對(duì)齊工具可以定義一個(gè)坐標(biāo)系，所述坐標(biāo)系的原點(diǎn)固定在場(chǎng)景中已識(shí)別的錨定對(duì)象上。第一數(shù)字目標(biāo)306以相對(duì)于所識(shí)別的錨定對(duì)象的預(yù)定義偏移投影在對(duì)應(yīng)于目標(biāo)攝影對(duì)象的位置。混合相對(duì)幀對(duì)齊工具同時(shí)控制投影光學(xué)器件在相對(duì)于頭顯304固定的位置投影第二數(shù)字目標(biāo)308。因此，當(dāng)用戶302移動(dòng)頭部以改變頭顯304的位置時(shí)，第二數(shù)字目標(biāo)308移動(dòng)以鏡像所述位置。預(yù)定義空間關(guān)系的滿足可致使頭顯304自動(dòng)捕獲感興趣對(duì)象的照片，或者可選地，提示用戶輸入觸發(fā)圖像捕獲的輸入。

圖3B示出了當(dāng)用戶將攝像頭從圖3A所示的位置移向預(yù)定的有利位置時(shí)，數(shù)字目標(biāo)306、308的位置發(fā)生的相對(duì)移動(dòng)。圖3C示出了當(dāng)用戶將頭顯304移動(dòng)到與預(yù)定義有利位置一致的位置時(shí)，數(shù)字目標(biāo)306、308的位置發(fā)生的另一相對(duì)移動(dòng)。這里，用戶302已經(jīng)將頭部從圖3B所示的位置移動(dòng)，以使視線進(jìn)一步向下朝向第一數(shù)字目標(biāo)306，使得第二數(shù)字目標(biāo)308移動(dòng)到與第一數(shù)字目標(biāo)306相對(duì)對(duì)齊的位置。在一個(gè)實(shí)現(xiàn)中，混合現(xiàn)實(shí)幀對(duì)齊工具向用戶302提供視覺(jué)或音頻提示，以指示頭顯304現(xiàn)在處于與預(yù)定義有利位置一致的位置。例如，第一數(shù)字目標(biāo)306和第二數(shù)字目標(biāo)308可以合并成單個(gè)目標(biāo)和/或目標(biāo)的顏色可以改變。在一個(gè)實(shí)施例中，播放音頻效果以傳達(dá)頭顯304正確定位在對(duì)應(yīng)于預(yù)定義有利位置的位置。

當(dāng)HMD 304的位置與預(yù)定義有利位置的位置一致時(shí)，第一數(shù)字目標(biāo)306和第二數(shù)字目標(biāo)308滿足預(yù)定義的空間關(guān)系。這個(gè)時(shí)候，系統(tǒng)可以自動(dòng)捕獲對(duì)象312的圖像，或者等待用戶302提供觸發(fā)圖像捕獲的輸入。

圖3D示出了圖像檢查工具的示例性菜單選項(xiàng)314，如上文關(guān)于圖3A-3C所述，圖像檢查工具可在拍攝照片后呈現(xiàn)。這里，示范性菜單選項(xiàng)314作為混合現(xiàn)實(shí)圖形用戶界面的一部分呈現(xiàn)。菜單選項(xiàng)314包括“比較”、“重試”和“完成”。如果用戶選擇“比較”選項(xiàng)，則圖像檢查工具可以例如從數(shù)據(jù)庫(kù)中提取參考圖像，并將參考圖像并排投影到新捕獲的圖像，以允許用戶302主觀地評(píng)估兩個(gè)圖像之間的相似性和差異性。例如，可以呈現(xiàn)非缺陷產(chǎn)品的參考圖像，以允許用戶302評(píng)估新捕獲的圖像中呈現(xiàn)的產(chǎn)品是否有缺陷。

圖4示出了用于引導(dǎo)用戶將相機(jī)定位在相對(duì)于圖像對(duì)象的預(yù)定義有利位置的示例操作。第一接收操作402接收指定坐標(biāo)系錨定點(diǎn)的真實(shí)世界對(duì)象的輸入圖像。第二接收操作404接收定義真實(shí)世界錨定點(diǎn)和預(yù)期圖像對(duì)象位置之間的空間偏移（例如，2D或3D向量）的輸入。例如，系統(tǒng)管理員可以在初始化或設(shè)置過(guò)程中向應(yīng)用程序提供接收操作402和404的輸入。

在應(yīng)用的圖像捕獲模式期間，識(shí)別操作406識(shí)別場(chǎng)景中先前被指定為坐標(biāo)系定位點(diǎn)的真實(shí)世界對(duì)象。坐標(biāo)系定義操作408定義具有與所識(shí)別的真實(shí)世界對(duì)象的位置相對(duì)應(yīng)的原點(diǎn)的三維坐標(biāo)系，并且第一投影操作410使用所定義的空間偏移將第一虛擬目標(biāo)投影到預(yù)期的圖像對(duì)象位置。第二投影操作412將第二虛擬目標(biāo)投影到相對(duì)于系統(tǒng)攝像頭在空間中保持固定的位置。當(dāng)用戶移動(dòng)攝像頭時(shí)，更新操作414動(dòng)態(tài)地更新第二虛擬目標(biāo)在三維坐標(biāo)系內(nèi)的位置，以確保第二虛擬目標(biāo)投影到相對(duì)于攝像頭的固定偏移處連續(xù)出現(xiàn)，使第一個(gè)數(shù)字目標(biāo)移動(dòng)到位，以反映攝像頭的運(yùn)動(dòng)。在一個(gè)實(shí)現(xiàn)中，更新操作414基于攝像頭和真實(shí)世界錨定點(diǎn)之間的相對(duì)距離改變第一數(shù)字目標(biāo)的大小。

確定操作416確定第一虛擬目標(biāo)和第二虛擬目標(biāo)是否滿足預(yù)定義的空間關(guān)系。在不同的實(shí)現(xiàn)中，預(yù)定義的空間關(guān)系可能取決于兩個(gè)目標(biāo)的一個(gè)或多個(gè)相對(duì)位置、方向和/或大小。如果確定操作416確定不滿足預(yù)定義的空間關(guān)系，則繼續(xù)更新操作414，直到確定滿足預(yù)定義的空間關(guān)系，此時(shí)圖像捕獲操作418捕獲圖像對(duì)象的圖像。

相關(guān)專利：Microsoft Patent | Mixed reality image capture and smart inspection

名為“Mixed reality image capture and smart inspection”的微軟專利最初在2020年11月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/95299