原創(chuàng) | 文 BFT機(jī)器人

01

研究內(nèi)容

這篇論文的研究內(nèi)容是基于大腦啟發(fā)的多模態(tài)混合神經(jīng)網(wǎng)絡(luò)，用于機(jī)器人地點(diǎn)識(shí)別。研究人員設(shè)計(jì)了一個(gè)名為NeuroGPR的系統(tǒng)，該系統(tǒng)可以模擬大腦的多模態(tài)感知機(jī)制，從傳統(tǒng)和神經(jīng)形態(tài)傳感器中編碼和整合多模態(tài)線索，以實(shí)現(xiàn)機(jī)器人的地點(diǎn)識(shí)別。為了實(shí)現(xiàn)這一目標(biāo)，研究人員使用了多尺度液態(tài)狀態(tài)機(jī)等多種神經(jīng)網(wǎng)絡(luò)模型，以異步融合多模態(tài)信息。研究結(jié)果表明，NeuroGPR在機(jī)器人地點(diǎn)識(shí)別方面表現(xiàn)出更好的性能和魯棒性，具有廣泛的應(yīng)用前景。

02

論文原理

a.大腦啟發(fā)的多模態(tài)感知機(jī)制

研究人員從大腦的多模態(tài)感知機(jī)制中獲取靈，設(shè)計(jì)了一個(gè)基于大腦啟發(fā)的多模態(tài)混合神經(jīng)網(wǎng)絡(luò)模型，用于機(jī)器人地點(diǎn)識(shí)別。該模型可以模擬大腦的多模態(tài)感知機(jī)制，從傳統(tǒng)和神經(jīng)形態(tài)傳感器中編碼和整合多模態(tài)線索，以實(shí)現(xiàn)機(jī)器人的地點(diǎn)識(shí)別。

圖1所示。人類和機(jī)器人的位置識(shí)別機(jī)制。

A)人類可以根據(jù)具有時(shí)空連續(xù)性的多態(tài)感覺線索來識(shí)別一個(gè)地方。位置由外部感覺織響和內(nèi)部連接的時(shí)空細(xì)的給碼。多通消的感覺線索可以共同激活這些細(xì)胞。聯(lián)合放電模式可以唯一地編碼和回憶一個(gè)特定的地方。

(B) 該機(jī)器人可以識(shí)別一個(gè)地方的大腦啟發(fā)的地方識(shí)別系統(tǒng)，simiarlv的機(jī)器人可以使用多模態(tài)傳感器獲得環(huán)境的感官線索。一個(gè)部署在一個(gè)神經(jīng)形態(tài)計(jì)算芯片上的mhnn模型被用來對這些感覺線索進(jìn)行碼，該模型可以用多時(shí)空尺度的融合方法對位置進(jìn)行可第的識(shí)別。

b.多尺度液態(tài)狀態(tài)機(jī)

研究人員引入了多尺度液態(tài)狀態(tài)機(jī)等多種神經(jīng)網(wǎng)絡(luò)模型，以異步融合多模態(tài)信息。這些模型可以在不同的時(shí)間尺度和空間尺度上處理信息，從而提高了信息處理的效率和準(zhǔn)確性。

c.混合神經(jīng)芯片

研究人員在Tianjic等混合神經(jīng)芯片上實(shí)現(xiàn)了NeuroGPR系統(tǒng)，并將其集成到四足機(jī)器人中進(jìn)行測試。混合神經(jīng)芯片具有并行計(jì)算和低功耗等優(yōu)點(diǎn)，適用于移動(dòng)機(jī)器人等資源受限的場景。

圖2.神經(jīng)地質(zhì)雷達(dá)系統(tǒng)的體系結(jié)構(gòu)。AJMHNN模型由一個(gè)CNN、一個(gè)SNN和三個(gè)戛納組成。從感官線索表示中提取多模態(tài)特征，并利用MLSM進(jìn)行多時(shí)空尺度融合。

(B)神經(jīng)地質(zhì)雷達(dá)系統(tǒng)的關(guān)鍵組成部分。該系統(tǒng)由多模態(tài)傳感器、神經(jīng)形態(tài)計(jì)算芯片天極和四足機(jī)器人組成。

(C)神經(jīng)地質(zhì)雷達(dá)系統(tǒng)的管道，主機(jī)計(jì)算平臺(tái)專門用于傳感器數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、機(jī)器人控制和數(shù)據(jù)通信。MHNN被映射并部署在Tianjic上，Tianiic根據(jù)查詢數(shù)據(jù)的輸入來識(shí)別位置。

03

創(chuàng)新點(diǎn)

1. 設(shè)計(jì)了一個(gè)基于大腦啟發(fā)的多模態(tài)混合神經(jīng)網(wǎng)絡(luò)模型。

該模型可以模擬大腦的多模態(tài)感知機(jī)制，從傳統(tǒng)和神經(jīng)形態(tài)傳感器中編碼和整合多模態(tài)線索，以實(shí)現(xiàn)機(jī)器人的地點(diǎn)識(shí)別。

2. 引入了多尺度液態(tài)狀態(tài)機(jī)等多種神經(jīng)網(wǎng)絡(luò)模型，以異步融合多模態(tài)信息。

這些模型可以在不同的時(shí)間尺度和空間尺度上處理信息，從而提高了信息處理的效率和準(zhǔn)確性。

3. 在Tianjic等混合神經(jīng)芯片上實(shí)現(xiàn)了NeuroGPR系統(tǒng)，并將其集成到四足機(jī)器人中進(jìn)行測試。

實(shí)驗(yàn)結(jié)果表明，NeuroGPR在機(jī)器人地點(diǎn)識(shí)別方面表現(xiàn)出更好的性能和魯棒性，具有廣泛的應(yīng)用前景。

4. 通過比較NeuroGPR與傳統(tǒng)和現(xiàn)有的基于生物啟發(fā)的方法，證明了NeuroGPR的優(yōu)越性。

此外，NeuroGPR還具有低延遲和低功耗等優(yōu)點(diǎn)，適用于移動(dòng)機(jī)器人等資源受限的場景。

04

實(shí)驗(yàn)過程

1.設(shè)計(jì)和實(shí)現(xiàn)NeuroGPR系統(tǒng)。

研究人員設(shè)計(jì)了一個(gè)基于大腦啟發(fā)的多模態(tài)混合神經(jīng)網(wǎng)絡(luò)模型，用于機(jī)器人地點(diǎn)識(shí)別。他們還引入了多尺度液態(tài)狀態(tài)機(jī)等多種神經(jīng)網(wǎng)絡(luò)模型，以異步融合多模態(tài)信息。最后，他們在Tianjic等混合神經(jīng)芯片上實(shí)現(xiàn)了NeuroGPR系統(tǒng)，并將其集成到四足機(jī)器人中進(jìn)行測試。

2. 進(jìn)行地點(diǎn)識(shí)別實(shí)驗(yàn)。

研究人員在不同的環(huán)境中測試了NeuroGPR系統(tǒng)的地點(diǎn)識(shí)別能力，包括走廊、樓梯、森林等場景。他們使用傳統(tǒng)和神經(jīng)形態(tài)傳感器獲取多模態(tài)線索，并將其輸入到NeuroGPR系統(tǒng)中進(jìn)行處理和識(shí)別。實(shí)驗(yàn)結(jié)果表明，NeuroGPR在不同的環(huán)境中都表現(xiàn)出了較好的地點(diǎn)識(shí)別能力。

測試的查詢線索的快照

圖3所示，實(shí)驗(yàn)環(huán)境的快照。機(jī)器人實(shí)驗(yàn)在房間(A)、走廊(C)和森林(E)環(huán)境中的快照。房間(B)、走廊(D)和森林(F)環(huán)境中用于訓(xùn)練的參考線索

3. 比較NeuroGPR與傳統(tǒng)和現(xiàn)有的基于生物啟發(fā)的方法。

研究人員將NeuroGPR與傳統(tǒng)的視覺SLAM方法和現(xiàn)有的基于生物啟發(fā)的方法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明，NeuroGPR在地點(diǎn)識(shí)別方面表現(xiàn)出了更好的性能和魯棒性。

4. 測試NeuroGPR在移動(dòng)機(jī)器人上的應(yīng)用。

研究人員將NeuroGPR集成到四足機(jī)器人中進(jìn)行測試，實(shí)驗(yàn)結(jié)果表明，NeuroGPR在移動(dòng)機(jī)器人上的應(yīng)用具有低延遲和低功耗等優(yōu)點(diǎn)，適用于資源受限的場景。

05

比較NeuroGPR與傳統(tǒng)和現(xiàn)有的基于生物啟發(fā)的方法

研究人員在不同的環(huán)境中測試了NeuroGPR和其他方法的地點(diǎn)識(shí)別準(zhǔn)確性，實(shí)驗(yàn)結(jié)果表明，NeuroGPR在地點(diǎn)識(shí)別方面表現(xiàn)出了更好的性能和魯棒性。

研究人員在Tianjic等混合神經(jīng)芯片上測試了NeuroGPR和其他方法的計(jì)算效率，實(shí)驗(yàn)結(jié)果表明，NeuroGPR具有更低的延遲和功耗，適用于移動(dòng)機(jī)器人等資源受限的場景。

研究人員測試了NeuroGPR和其他方法在不同的環(huán)境和條件下的魯棒性，例如光照變化、天氣變化、運(yùn)動(dòng)模糊等，實(shí)驗(yàn)結(jié)果表明，NeuroGPR具有更好的魯棒性和適應(yīng)性。

圖4，對環(huán)境變化魯棒性的實(shí)驗(yàn)結(jié)果。同模塊對清華大學(xué)森林?jǐn)?shù)據(jù)集A)、布里斯班事PR數(shù)集(B)和走廊數(shù)據(jù)集)識(shí)別精度的影響。在房間數(shù)據(jù)集D)、走廊數(shù)據(jù)集(E)和Brisbane-Event-PR數(shù)據(jù)集(F)上評估不同模型的識(shí)精度。的平均誤差和SD的基礎(chǔ)上，在五個(gè)實(shí)驗(yàn)中獲得的結(jié)果。

06

進(jìn)行計(jì)算性能測試的步驟

1.在Tianjic等混合神經(jīng)芯片上測試NeuroGPR系統(tǒng)的計(jì)算性能。

研究人員使用Tianjic等混合神經(jīng)芯片測試了NeuroGPR系統(tǒng)的計(jì)算性能，包括計(jì)算延遲和功耗等指標(biāo)。他們還將NeuroGPR系統(tǒng)與其他常用的移動(dòng)機(jī)器人處理器進(jìn)行了比較，以評估其計(jì)算性能的優(yōu)劣。

圖5，計(jì)算效率和精度的實(shí)驗(yàn)結(jié)果。處理單個(gè)NN工作負(fù)載(A)和多NN工作負(fù)載(B)的延遲計(jì)算。(C)多神經(jīng)絡(luò)負(fù)荷試驗(yàn)下加工MHNN的功耗.D)神經(jīng)地質(zhì)雷在機(jī)器人上運(yùn)行的準(zhǔn)確性?；诓煌瑪?shù)據(jù)集的位置識(shí)別精度(E)、查全率(F)和查全率曲線(G和H)。平均誤差和SDS是根據(jù)五個(gè)實(shí)驗(yàn)的結(jié)果得出的。

2. 在其他常用的移動(dòng)機(jī)器人處理器上測試NeuroGPR系統(tǒng)的計(jì)算性能。

研究人員在其他常用的移動(dòng)機(jī)器人處理器上測試了NeuroGPR系統(tǒng)的計(jì)算性能，包括NVIDIA Xavier NX和AGX Orin等處理器。他們使用NVIDIA tegrastats等工具獲取了這些處理器的計(jì)算延遲和功耗等指標(biāo)，并將其與Tianjic等混合神經(jīng)芯片進(jìn)行了比較。

07

結(jié)論

1.NeuroGPR系統(tǒng)在不同的環(huán)境中都表現(xiàn)出了較好的地點(diǎn)識(shí)別能力，具有較高的準(zhǔn)確性和魯棒性。

2.與傳統(tǒng)的視覺SLAM方法和現(xiàn)有的基于生物啟發(fā)的方法相比，NeuroGPR在地點(diǎn)識(shí)別方面表現(xiàn)出了更好的性能和魯棒性。

3.NeuroGPR在移動(dòng)機(jī)器人上的應(yīng)用具有低延遲和低功耗等優(yōu)點(diǎn)，適用于資源受限的場景。

4.在計(jì)算性能測試中，NeuroGPR具有更低的延遲和功耗，適用于移動(dòng)機(jī)器人等資源受限的場景。

08

社會(huì)意義

該研究成果對促進(jìn)機(jī)器人技術(shù)發(fā)展、推動(dòng)人工智能技術(shù)進(jìn)步、以及促進(jìn)人機(jī)交互技術(shù)的發(fā)展中都具有重要的意義，并且該系統(tǒng)還可以在各行各業(yè)中廣泛運(yùn)用，以下四個(gè)領(lǐng)域?yàn)槔?/p>

1. 機(jī)器人導(dǎo)航和環(huán)境感知。

NeuroGPR系統(tǒng)可以幫助機(jī)器人在未知環(huán)境中進(jìn)行自主導(dǎo)航和地點(diǎn)識(shí)別，從而提高機(jī)器人的智能化水平和工作效率。

2. 智能制造和自動(dòng)化控制。

NeuroGPR系統(tǒng)可以用于智能制造中的自動(dòng)化控制和質(zhì)量檢測，從而提高生產(chǎn)效率和產(chǎn)品質(zhì)量。

3. 智能家居和智能城市。

NeuroGPR系統(tǒng)可以用于智能家居、智能城市和智能交通等領(lǐng)域，以提高人們的生活質(zhì)量和城市的可持續(xù)發(fā)展。

4. 醫(yī)療保健和輔助生活。

NeuroGPR系統(tǒng)可以用于醫(yī)療保健和輔助生活領(lǐng)域，例如幫助殘障人士進(jìn)行自主移動(dòng)和生活，提高他們的生活質(zhì)量。

由此可見，NeuroGPR系統(tǒng)具有廣泛的應(yīng)用前景，可以幫助解決許多行業(yè)的實(shí)際問題，提高生產(chǎn)效率和提升人們的生活質(zhì)量。

更多精彩內(nèi)容請關(guān)注公眾號(hào)：BFT機(jī)器人
本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請與我們聯(lián)系。若您對該文章內(nèi)容有任何疑問，請與我們聯(lián)系，將及時(shí)回應(yīng)。