查看引用/信息源請點(diǎn)擊：映維網(wǎng)

基于并行位置估計(jì)來為頭戴式顯示設(shè)備導(dǎo)航

（映維網(wǎng)?2021年12月23日）計(jì)算設(shè)備可以包括用于估計(jì)的當(dāng)前位置的導(dǎo)航模式。例如，計(jì)算設(shè)備可通過全球定位系統(tǒng)（GPS）、視覺慣性里程計(jì)（VIO）或行人航位推算（PDR）進(jìn)行導(dǎo)航。計(jì)算設(shè)備確定自己的地理位置可以帶來重要的幫助。

作為一個(gè)例子，所述信息可以呈現(xiàn)給用戶，以緯度和經(jīng)度坐標(biāo)形式或以圖形地圖方式來提供位置到導(dǎo)航，從而幫助用戶確定自己的位置，或者確定設(shè)備的當(dāng)前位置（當(dāng)設(shè)備丟失時(shí)）。作為另一個(gè)示例，設(shè)備可配置為根據(jù)其當(dāng)前位置執(zhí)行特定的動(dòng)作或功能。

以頭戴式設(shè)備為例，它可通過一系列不同的導(dǎo)航技術(shù)確定其地理位置，例如全球定位系統(tǒng)（GPS）導(dǎo)航、視覺慣性里程計(jì)（VIO）和行人航位推算（PDR）等。然而，所述技術(shù)存在各自的缺點(diǎn)，例如GPS導(dǎo)航需要足夠的信號(hào)強(qiáng)度和與閾值數(shù)量的衛(wèi)星的通信，而VIO在低光和低紋理場景中會(huì)受到影響。所以，僅依賴一種導(dǎo)航模式的設(shè)備在準(zhǔn)確報(bào)告其地理位置時(shí)往往會(huì)遇到困難。

在名為“Device navigation based on concurrent position estimates”的專利申請中，微軟就介紹了一種基于并行位置估計(jì)來為頭戴式顯示設(shè)備導(dǎo)航的方法。

對于頭戴式顯示設(shè)備，特定于位置的虛擬圖像可呈現(xiàn)給用戶眼睛，并且特定于位置的虛擬圖像可以隨著設(shè)備位置的變化而變化或更新，如圖1A所示。圖1A描繪了在真實(shí)環(huán)境104中使用頭戴式顯示設(shè)備102的示例用戶100。頭戴式顯示設(shè)備包括近眼顯示器106，其配置為向用戶眼睛呈現(xiàn)虛擬圖像。同時(shí)，所述近眼顯示器允許用戶感知現(xiàn)實(shí)世界。

在圖1A中，頭戴式顯示設(shè)備102通過近眼顯示器向用戶眼睛呈現(xiàn)特定于位置的虛擬圖像110和112，包括指示設(shè)備相對于周圍環(huán)境的大致位置的標(biāo)記111。虛擬圖像112采用持久標(biāo)記的形式，并且標(biāo)記朝向地標(biāo)的方向（在本例中為用戶的家）。在其他情況下，可使用其他地標(biāo)，例如用戶的汽車、另一用戶的位置、地理特征（如附近的建筑物、山脈、興趣點(diǎn)）。

當(dāng)頭戴式顯示設(shè)備在環(huán)境中移動(dòng)時(shí)，特定位置的虛擬圖像可以更新，從而反映設(shè)備最近報(bào)告的位置，如圖1B所示。圖1B示出了用戶100在真實(shí)環(huán)境104中使用頭戴式顯示設(shè)備102。但在圖1B中，頭戴式顯示設(shè)備在真實(shí)環(huán)境中的位置已經(jīng)改變。所以，通過改變標(biāo)記111相對于地圖特征的位置來更新虛擬圖像110。類似地，根據(jù)相對于用戶的家的朝向來相應(yīng)地更新虛擬圖像112。

在一個(gè)實(shí)施例中，頭戴式設(shè)備可以通過多個(gè)導(dǎo)航模式同時(shí)輸出多個(gè)位置估計(jì)，并將具有最高置信值的位置估計(jì)報(bào)告為設(shè)備的當(dāng)前報(bào)告位置。隨著設(shè)備的移動(dòng)及其環(huán)境的變化，一些導(dǎo)航模式的輸出可能變得更加可靠，而另一些導(dǎo)航模式則變得不那么可靠。所以，在任何給定的時(shí)間，設(shè)備可以報(bào)告由各種導(dǎo)航模式中所估計(jì)的位置，以便準(zhǔn)確地追蹤和報(bào)告設(shè)備的移動(dòng)。

圖2示出了用于計(jì)算設(shè)備導(dǎo)航的示例方法200，而圖3則是一個(gè)關(guān)于頭戴式顯示器的示例。如圖3所示，設(shè)備300包括近眼顯示器302，其配置為向用戶眼睛呈現(xiàn)虛擬圖像303。在各種實(shí)施例中，頭戴式顯示設(shè)備300可配置為提供增強(qiáng)和/或虛擬現(xiàn)實(shí)體驗(yàn)。

近眼顯示器顯示的虛擬圖像可以采用任何合適的形式，并且可以隨著頭戴式顯示設(shè)備位置的變化而動(dòng)態(tài)更新（或不動(dòng)態(tài)更新）。圖1描述的位置特定虛擬圖像是一個(gè)非限制性示例。特定位置的虛擬圖像可以在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)設(shè)置中呈現(xiàn)。例如，即使在完全虛擬的環(huán)境中，系統(tǒng)都可以提供動(dòng)態(tài)更新的映射，并指示設(shè)備相對于周圍真實(shí)世界環(huán)境或虛擬虛擬環(huán)境的位置。類似地，可以為真實(shí)世界中的真實(shí)地標(biāo)或虛構(gòu)地標(biāo)提供指示朝向方向的標(biāo)記。

回到圖2。在202，方法200包括經(jīng)由計(jì)算設(shè)備的第一和第二導(dǎo)航模式同時(shí)輸出第一和第二位置估計(jì)。但應(yīng)當(dāng)理解的是，計(jì)算設(shè)備可以具有兩個(gè)以上的導(dǎo)航模式，并且因而可以輸出兩個(gè)以上的并發(fā)位置估計(jì)。換言之，計(jì)算設(shè)備還可以經(jīng)由第三導(dǎo)航模態(tài)與第一和第二位置估計(jì)同時(shí)輸出第三位置估計(jì)。

如上所述，示例導(dǎo)航模式可能包括GPS、VIO和PDR。圖3的頭戴式顯示設(shè)備300包括三個(gè)導(dǎo)航傳感器308、310和312，對應(yīng)于三種不同的導(dǎo)航模式。例如，導(dǎo)航傳感器308可以是GPS傳感器，配置為與多個(gè)軌道GPS衛(wèi)星接口以估計(jì)設(shè)備的當(dāng)前地理位置。這可以表示為絕對位置，并以緯度和經(jīng)度坐標(biāo)表示。

與GPS傳感器輸出的絕對位置不同，其他導(dǎo)航模式可能會(huì)輸出相對于先前報(bào)告位置的位置估計(jì)值。例如，導(dǎo)航傳感器310可以包括配置成對周圍真實(shí)世界環(huán)境成像的攝像頭。通過分析捕獲的圖像以識(shí)別周圍環(huán)境中的圖像特征，并評(píng)估特征如何隨著設(shè)備視角的變化而變化，設(shè)備可通過視覺里程計(jì)估計(jì)其相對位置。在某些情況下，這可以與適當(dāng)?shù)倪\(yùn)動(dòng)傳感器（例如慣性測量單元IMU）的輸出相結(jié)合，以實(shí)現(xiàn)視覺慣性里程計(jì)估計(jì)。需要注意的是，這將帶來位置的位置估計(jì)，而不是新的絕對位置。

導(dǎo)航傳感器312可包括運(yùn)動(dòng)傳感器（例如IMU、加速計(jì)、磁強(qiáng)計(jì)、陀螺儀）的適當(dāng)集合，其配置用于通過PDR估計(jì)設(shè)備遠(yuǎn)離先前報(bào)告位置的運(yùn)動(dòng)方向和幅度。同樣，這將帶來位置的位置估計(jì)，而不是新的絕對位置。

在較長的時(shí)間尺度上，相對位置估計(jì)（如VIO和PDR輸出的估計(jì)）可能不如絕對位置估計(jì)（如GPS輸出的估計(jì)）準(zhǔn)確。這是因?yàn)槊總€(gè)相對位置估計(jì)可能會(huì)受到某種程度的傳感器誤差或漂移的影響。當(dāng)輸出多個(gè)連續(xù)的相對位置估計(jì)值時(shí)，每個(gè)估計(jì)值可能會(huì)使先前相對估計(jì)值的傳感器誤差/漂移復(fù)合，導(dǎo)致設(shè)備的報(bào)告位置逐漸偏離設(shè)備的實(shí)際位置。相比之下，絕對位置估計(jì)值與之前報(bào)告的設(shè)備位置無關(guān)。所以，與絕對位置估計(jì)相關(guān)的任何傳感器誤差/漂移只會(huì)影響該位置估計(jì)，不會(huì)在一系列估計(jì)中復(fù)合。

圖4示意性地示出了經(jīng)由多個(gè)輸入模式的多個(gè)位置估計(jì)的并發(fā)輸出。如圖所示，在時(shí)間幀400A，通過三種不同的導(dǎo)航模式輸出三種不同的位置估計(jì)402A、402B和402C。每個(gè)不同的位置估計(jì)對應(yīng)于不同的形狀。換句話說，位置估計(jì)402A（正方形）由第一導(dǎo)航模式（例如，GPS）輸出，而位置估計(jì)402B和402C（圓形和三角形）由第二和第三導(dǎo)航模式（例如，VIO和PDR）輸出。

回到圖2，在204，方法200包括，基于確定第一位置估計(jì)具有比第二位置估計(jì)更高的置信值，將第一位置估計(jì)報(bào)告為計(jì)算設(shè)備的第一報(bào)告位置。具體地，第一位置估計(jì)402A渲染為黑色以指示其具有最高置信值，并且因此被報(bào)告為計(jì)算設(shè)備的第一報(bào)告位置。

如上所述，設(shè)備使用的各種導(dǎo)航模式在各種情況下可能或多或少地可靠。例如，GPS導(dǎo)航通常需要設(shè)備檢測至少具有適當(dāng)信號(hào)強(qiáng)度的閾值數(shù)量的GPS衛(wèi)星，以便輸出準(zhǔn)確的位置估計(jì)。因此，當(dāng)設(shè)備進(jìn)入室內(nèi)環(huán)境時(shí)，GPS位置估計(jì)的精度可能會(huì)受到影響。

類似地，VIO依賴于檢測周圍真實(shí)環(huán)境中捕獲的圖像中的特征。所以，VIO位置估計(jì)的準(zhǔn)確性可能會(huì)在弱光環(huán)境中以及具有相對較少獨(dú)特可檢測特征的環(huán)境中降低。例如，如果設(shè)備位于空場中，則設(shè)備可能難以檢測足夠數(shù)量的特征以準(zhǔn)確追蹤設(shè)備的移動(dòng)。

關(guān)于PDR，用于實(shí)施PDR的運(yùn)動(dòng)傳感器通常會(huì)出現(xiàn)一定程度的漂移或其他誤差。隨著時(shí)間的推移，設(shè)備繼續(xù)移動(dòng)，而錯(cuò)誤將變得復(fù)雜，并導(dǎo)致設(shè)備位置的估計(jì)越來越不準(zhǔn)確。

因此，計(jì)算設(shè)備的每個(gè)導(dǎo)航模態(tài)輸出的每個(gè)位置估計(jì)值可分配相應(yīng)的置信值。所述置信值可以任何適當(dāng)?shù)姆绞接?jì)算，并基于有助于每個(gè)導(dǎo)航模式精度的各種因素的任何適當(dāng)權(quán)重。應(yīng)理解，用于計(jì)算置信值的具體方法以及每個(gè)置信值所采用的具體形式將因?qū)嵤┖蛯?dǎo)航模式的不同而不同。

例如，如上所述，與相對位置估計(jì)序列相比，絕對位置估計(jì)序列通常不易受到傳感器誤差/漂移的影響。因此，當(dāng)確定特定位置估計(jì)的置信值時(shí)，用于輸出估計(jì)的導(dǎo)航模態(tài)的性質(zhì)（即，絕對vs相對）可被視為輸入。因此，絕對位置估計(jì)（例如，GPS）通常比相對位置估計(jì)（例如，VIO，PDR）具有更高的置信度，尤其是在先前報(bào)告的設(shè)備位置由相對導(dǎo)航模式輸出的情況下。

無論如何，每次設(shè)備通過兩個(gè)或多個(gè)導(dǎo)航模式同時(shí)輸出位置估計(jì)值時(shí)，具有最高置信值的位置估計(jì)值將被報(bào)告為計(jì)算設(shè)備的報(bào)告位置。值得注意的是，“報(bào)告”位置不需要向計(jì)算設(shè)備的用戶顯示或以其他方式指示該位置。相反，“報(bào)告的位置”是計(jì)算設(shè)備在當(dāng)前時(shí)間的當(dāng)前位置的內(nèi)部參考。換句話說，計(jì)算設(shè)備的任何特定于位置的功能可以將最近報(bào)告的位置視為計(jì)算設(shè)備的實(shí)際位置。例如，請求設(shè)備的當(dāng)前位置（如通過位置API）的計(jì)算設(shè)備的任何軟件應(yīng)用程序可以提供最近報(bào)告的位置，而不管該位置是否曾經(jīng)以視覺方式指示給用戶。

回到圖2，在206，方法200包括在計(jì)算設(shè)備離開第一報(bào)告位置時(shí)，經(jīng)由計(jì)算設(shè)備的第一和第二導(dǎo)航模式同時(shí)輸出第一和第二后續(xù)位置估計(jì)。再一次，計(jì)算設(shè)備在某些情況下可以包括兩個(gè)以上的導(dǎo)航模式，并且因此可以同時(shí)輸出兩個(gè)以上的后續(xù)位置估計(jì)。如圖所示，在多個(gè)連續(xù)時(shí)間幀400B-400G中的每一個(gè)，設(shè)備經(jīng)由計(jì)算設(shè)備的各種導(dǎo)航模式同時(shí)輸出新的位置估計(jì)。連續(xù)時(shí)間幀可以以任何合適的頻率出現(xiàn)，例如每秒1幀、每秒5幀、每秒10幀、每秒30幀、每秒60幀。在一些示例中，連續(xù)時(shí)間幀可能不會(huì)以任何固定頻率出現(xiàn)。相反，當(dāng)設(shè)備的一個(gè)或多個(gè)軟件應(yīng)用程序請求設(shè)備的當(dāng)前位置時(shí)，導(dǎo)航模式可以同時(shí)輸出位置估計(jì)。

回到圖2，在208，方法200包括報(bào)告經(jīng)由第二導(dǎo)航模態(tài)輸出的第二后續(xù)位置估計(jì)，作為計(jì)算設(shè)備的第二報(bào)告位置。這可以基于確定經(jīng)由第一導(dǎo)航模態(tài)輸出的第二后續(xù)位置估計(jì)的置信值高于第一后續(xù)位置估計(jì)的置信值來實(shí)現(xiàn)。這也在圖4中示意性地示出。如圖4所示，在時(shí)間幀400B處，第二后續(xù)位置估計(jì)404B渲染為黑色，以指示其被報(bào)告為計(jì)算設(shè)備的第二報(bào)告位置，而不是第一后續(xù)位置估計(jì)404A。

繼續(xù)圖4，在時(shí)間幀400C，經(jīng)由第三導(dǎo)航模態(tài)報(bào)告的第三后續(xù)位置估計(jì)406C報(bào)告為計(jì)算設(shè)備的第三報(bào)告位置。通常，在任何特定時(shí)間幀，計(jì)算設(shè)備的每個(gè)導(dǎo)航模態(tài)可以輸出計(jì)算設(shè)備的不同位置估計(jì)。所述位置估計(jì)值中具有最高置信值的任何一個(gè)都可以報(bào)告為計(jì)算設(shè)備的最近報(bào)告位置。

在一個(gè)示例場景中，第一導(dǎo)航模式可以是GPS導(dǎo)航。當(dāng)設(shè)備在第一個(gè)和第二個(gè)報(bào)告位置之間移動(dòng)時(shí)，設(shè)備可用的GPS衛(wèi)星數(shù)量可能會(huì)減少，從而降低第一個(gè)后續(xù)位置估計(jì)的置信值。

在另一示例場景中，第一導(dǎo)航模態(tài)可以是VIO。當(dāng)設(shè)備在第一和第二報(bào)告位置之間移動(dòng)時(shí)，設(shè)備環(huán)境中的環(huán)境光水平可能降低，從而降低第一后續(xù)位置估計(jì)的置信值。另外，或者，當(dāng)設(shè)備的攝像頭可見的場景中的紋理級(jí)別在第一和第二報(bào)告位置之間降低時(shí)，第一后續(xù)位置估計(jì)的置信值可以降低。

在另一示例場景中，第一導(dǎo)航模態(tài)可以是PDR。如上所述，用于實(shí)現(xiàn)PDR的傳感器通常會(huì)出現(xiàn)一定程度的誤差，并且所述誤差會(huì)隨著時(shí)間的推移而加劇。因此，經(jīng)由PDR輸出的位置估計(jì)的置信值可以與自替代導(dǎo)航模式（例如配置為輸出絕對位置估計(jì)的導(dǎo)航模式）可用以來經(jīng)過的時(shí)間成反比。換言之，隨著在報(bào)告第一位置之后的時(shí)間流逝，經(jīng)由PDR輸出的位置估計(jì)的置信值可以降低到低于對應(yīng)于經(jīng)由其他導(dǎo)航模式輸出的其他位置估計(jì)的置信值。

再次回到圖2，在210，方法200包括通過近眼顯示器向用戶眼睛呈現(xiàn)特定于位置的虛擬圖像，特定于位置的虛擬圖像隨著頭戴式顯示設(shè)備從第一報(bào)告位置移動(dòng)到第二報(bào)告位置而動(dòng)態(tài)更新。步驟210以虛線示出，以指示特定位置虛擬圖像的呈現(xiàn)和更新可在方法200的整個(gè)過程中進(jìn)行。

需要注意的是，可以考慮導(dǎo)航模式對續(xù)航能力的影響。例如，某些導(dǎo)航模式可能比其他導(dǎo)航模式對設(shè)備電池續(xù)航的影響更大。例如，VIO可能比GPS或PDR消耗更多的電池電量。因此，當(dāng)?shù)谝粚?dǎo)航模態(tài)是VIO時(shí)，在報(bào)告第二位置之前，設(shè)備的剩余電池電平可以降低到閾值（例如20%）以下。因此，在一些示例中，當(dāng)設(shè)備電池電量降至閾值以下時(shí)，VIO（和/或其他電池密集型導(dǎo)航模式）可能被禁用。因此，該導(dǎo)航模態(tài)可能不會(huì)在下一時(shí)間幀輸出位置估計(jì)。因此，可報(bào)告由第二（例如，較少電池密集型）導(dǎo)航模態(tài)輸出的第二后續(xù)位置估計(jì)。

此外，在某些情況下，設(shè)備可能會(huì)收到用戶輸入，以指定設(shè)備的手動(dòng)定義位置。然后，可以將手動(dòng)定義的位置報(bào)告為設(shè)備的最近報(bào)告的位置。用戶輸入可以采用任何合適的形式。例如，用戶可以手動(dòng)輸入數(shù)字坐標(biāo)。用戶可以指定一個(gè)特定的航向，例如北方。作為另一示例，用戶可以在地圖應(yīng)用程序中放置定義手動(dòng)定義位置的標(biāo)記。

通過利用多種導(dǎo)航模式的并發(fā)估計(jì)，系統(tǒng)可以更精準(zhǔn)地判斷設(shè)備的當(dāng)前位置，并用以支持各種用例和功能。

相關(guān)專利：Microsoft Patent | Device navigation based on concurrent position estimates

名為“Device navigation based on concurrent position estimates”的微軟專利最初在2020年6月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/92798