端到端自動駕駛下的軌跡預測，未來走向如何？最新綜述一覽前沿！
今天自動駕駛之心為大家分享軌跡預測最新綜述！如果您有相關工作需要分享，請在文末聯(lián)系我們！
論文作者?| Vibha Bharilya
編輯 | 自動駕駛之心
論文鏈接：https://arxiv.org/abs/2307.07527
人為失誤對導致人員傷亡、車輛損壞和安全問題的道路碰撞的重大影響約占94%（誤差為±2.2%），因此需要探索替代方法。自動駕駛汽車（AVs）已經成為一種很有前途的解決方案，它用先進的計算機輔助決策系統(tǒng)取代了人類駕駛員。然而為了讓AV有效地在道路上行駛，它們必須具備預測附近交通參與者未來行為的能力，類似于人類駕駛員的預測駕駛能力。建立在現(xiàn)有文獻的基礎上，對于推進該領域并全面了解自動駕駛背景下的軌跡預測方法至關重要。為了滿足這一需求，我們進行了一項全面的綜述，重點關注AV的軌跡預測方法，特別強調機器學習技術，包括基于深度學習和強化學習的方法。我們已經廣泛研究了200多項與AVs背景下的軌跡預測相關的研究。本文首先介紹了預測車輛軌跡的一般問題，并概述了貫穿始終的關鍵概念和術語。在簡要概述了傳統(tǒng)方法之后，本文對幾種基于深度學習的技術進行了全面評估。對每種方法進行了簡要總結，并對其優(yōu)缺點進行了詳細分析。討論進一步擴展到基于強化學習的方法。本文還研究了軌跡預測任務中常用的各種數(shù)據(jù)集和評估指標。為了鼓勵進行公正客觀的討論，我們比較了兩種主要的學習過程，考慮到具體的功能特征。通過識別現(xiàn)有文獻中的挑戰(zhàn)并概述潛在的研究方向，這篇綜述對AV軌跡預測領域的知識進步做出了重大貢獻。其主要目標是簡化當前的研究工作，并提供未來的視角，最終有利于該領域的未來發(fā)展。
動機
軌道預測已經獲得了巨大的發(fā)展，一些學者也在這一領域進行研究。表I總結了相關的調查現(xiàn)狀，以及不同的分類方法和貢獻。
運動預測包括根據(jù)所需的抽象水平預測物體的行為、動作或軌跡?！靶袨椤币辉~包括一般動作及其執(zhí)行方式，如“跟隨道路并保持安全距離”。另一方面，“機動”是指物體可以在不需要詳細說明的情況下執(zhí)行的離散動作，如“右轉”，通過描述對象在離散時間步長上的位置來提供最詳細的預測類型。先前的調查主要強調自動駕駛汽車領域的運動預測和行為預測。此外，其他綜述混合了車輛和行人的軌跡預測。關于自動駕駛軌跡預測機器學習方法的全面而專門的綜述仍然相對未被探索。此外，近年來軌跡預測領域的一些進步，包括基于計算機視覺的方法、強化學習等，在現(xiàn)有的調查中沒有得到解決，這些調查也需要探索。因此，在這一領域存在著進一步探索和研究的巨大潛力。
趨勢
近年來，自動駕駛在汽車行業(yè)越來越受歡迎。包括特斯拉、通用汽車和寶馬在內的知名汽車制造商進行了大量投資，并專注于自動駕駛汽車的軌跡預測和相關技術，以開發(fā)AD技術。與AD相關的關鍵詞的全球搜索趨勢，如軌跡預測、駕駛輔助、行為預測、軌跡規(guī)劃和避障，如圖1和圖2所示。在圖1中，相關關鍵詞的比較顯示了在同一時間段內的變化。這表明，駕駛輔助和避障在全球范圍內產生了類似程度的興奮。然而，在AD領域，最近在軌跡預測、軌跡規(guī)劃和行為預測等關鍵詞方面取得了進展。值得注意的是，軌跡預測專注于自動駕駛中更具體的領域。在圖2中，描述了全球范圍內與關鍵字相關的平均搜索次數(shù)。值得注意的是，與軌跡預測、軌跡規(guī)劃和行為預測等其他術語相比，駕駛輔助和避障關鍵詞的搜索次數(shù)更高。軌跡預測目前正在AD領域發(fā)展，這表明人們對該領域的興趣和發(fā)展越來越大。
主要貢獻
總結來說，本文的主要貢獻如下：
本文對自動駕駛汽車軌跡預測方法進行了實證研究，并廣泛關注基于機器學習的方法。為了更好地理解，還簡要介紹了AV的軌跡預測問題、相關術語和傳統(tǒng)方法；
簡要評估了軌跡預測中的傳統(tǒng)方法，如基于物理的方法、采樣方法和概率模型，并討論了它們的優(yōu)缺點；
對自動駕駛汽車軌跡預測中普遍使用的基于深度學習和強化學習的方法進行了全面評估；
為用于評估軌跡預測方法性能的度量和數(shù)據(jù)集提供了分析總結；
對這些方法進行了比較，分析了每種方法的優(yōu)缺點。此外，還確定了挑戰(zhàn)和潛在的研究途徑。
軌跡預測方法中的應用技術
自動駕駛中的軌跡預測方法可以大致分為以下幾類：
傳統(tǒng)方法
傳統(tǒng)的軌跡預測方法是指在自動駕駛（AD）中通常用于預測道路使用者未來軌跡的傳統(tǒng)方法。這些方法通常依賴于成熟的數(shù)學和統(tǒng)計技術，根據(jù)歷史數(shù)據(jù)和預定義的模型進行預測。一些常用的常規(guī)方法有：
基于物理的模型：這些方法依賴于物理定律和運動學原理來預測車輛的未來軌跡。他們考慮了當前位置、速度、加速度和道路限制等因素來估計未來的路徑；
運動學模型：這些模型假設物體的運動可以用簡單的數(shù)學方程來描述，例如等速或恒加速度模型。他們根據(jù)物體的當前狀態(tài)及其假定的運動動力學來估計未來的位置；
卡爾曼濾波器：卡爾曼濾波器廣泛用于跟蹤和預測任務。他們將傳感器的測量與數(shù)學模型的預測相結合，以估計物體的當前狀態(tài)，并預測其未來軌跡；
馬爾可夫模型：馬爾可夫模型捕捉對象連續(xù)狀態(tài)之間的概率相關性。他們使用歷史數(shù)據(jù)來估計過渡概率，并根據(jù)最可能的狀態(tài)序列進行預測；
概率模型：概率方法通過將未來軌跡表示為概率分布來考慮軌跡預測中的不確定性。這些模型利用統(tǒng)計技術來估計最可能的軌跡，并提供置信度度量；
貝葉斯濾波器：貝葉斯濾波器，如卡爾曼濾波器和粒子濾波器，廣泛用于軌跡預測。這些濾波器將傳感器的測量值與動態(tài)模型相結合，以估計車輛的未來軌跡。它們可以處理有噪聲的傳感器數(shù)據(jù)并提供實時預測。
用于軌跡預測的常規(guī)方法通常在計算上高效并且相對容易實現(xiàn)。然而，它們在處理具有復雜交互和不確定性的復雜場景方面可能存在局限性。因此，人們對探索更先進的基于機器學習的方法越來越感興趣，如深度學習和強化學習，以提高軌跡預測的準確性和穩(wěn)健性。
基于深度學習的方法
近年來，基于深度學習的方法在自動駕駛汽車（AV）的軌跡預測方面受到了極大的關注。這些方法利用人工神經網絡的力量，從大量數(shù)據(jù)中學習復雜的模式和關系。以下是一些常見的基于深度學習的軌跡預測方法：
遞歸神經網絡（RNN）：由于其能夠對序列數(shù)據(jù)進行建模，因此在軌跡預測中被廣泛使用。長短期記憶（LSTM）和門控遞歸單元（GRU）等模型可以捕捉時間相關性，并根據(jù)過去的觀測結果預測未來的軌跡；
卷積神經網絡（CNNs）：CNNs主要用于圖像處理任務，但也可以通過將軌跡數(shù)據(jù)視為類圖像表示來應用于軌跡預測。細胞神經網絡可以從軌跡數(shù)據(jù)中提取空間特征，并學習基于這些特征預測未來軌跡；
生成對抗性網絡（GANs）：GANs由生成器網絡和鑒別器網絡組成。它們可以用于軌跡預測，方法是訓練生成器生成真實的未來軌跡，訓練鑒別器區(qū)分真實軌跡和生成軌跡。GANs可以捕捉訓練數(shù)據(jù)的分布，并生成多樣化且合理的軌跡預測；
變分自動編碼器（VAE）：VAE是學習輸入數(shù)據(jù)的潛在表示的生成模型。它們可以通過學習過去軌跡的潛在空間表示并基于該潛在表示生成未來軌跡來用于軌跡預測。VAE能夠生成多樣化的概率軌跡預測；
Transformer模型：最初為自然語言處理任務引入的Transformer模型在軌跡預測方面也顯示出了前景。這些模型可以捕捉場景中不同代理之間的長期依賴關系和交互。通過關注相關的空間和時間信息，變換器模型可以生成準確的軌跡預測。
與傳統(tǒng)方法相比，基于深度學習的方法在捕捉復雜模式、處理不同場景和生成更準確的軌跡預測方面的性能有所提高。然而，它們需要大量標記的訓練數(shù)據(jù)和用于訓練和推理的計算資源。此外，學習模型的可解釋性可能是一個挑戰(zhàn)，因此驗證預測并了解模型在現(xiàn)實世界場景中的局限性非常重要。
基于強化學習的方法、
強化學習（RL）方法已被探索用于自動駕駛（AD）中的軌跡預測，為學習預測未來軌跡的最優(yōu)策略提供了一種獨特的方法。雖然RL傳統(tǒng)上與決策和控制相關，但它也可以用于軌跡預測。以下是一些用于軌跡預測的RL方法：
逆強化學習（IRL）：IRL背后的關鍵思想是觀察和分析通常由人類駕駛員提供的專家演示，然后推斷激勵他們行動的潛在獎勵函數(shù)。這種推斷的獎勵函數(shù)可用于預測與觀察到的專家行為一致的未來軌跡；
深度逆強化學習（Deep IRL）：深度IRL是反向強化學習的擴展，它將深度神經網絡與IRL框架相結合，用于預測AD中的軌跡。深度IRL旨在使用深度學習技術從專家演示中推斷潛在的獎勵函數(shù)，從而允許獎勵函數(shù)的更復雜和高維表示；
模仿學習（IL）：用于軌跡預測的IL使自主系統(tǒng)能夠模仿人類駕駛員的行為，并生成與專家演示一致的軌跡。它利用人類駕駛員的知識和專業(yè)知識，做出更像人類的預測，并以類似于人類駕駛的方式在環(huán)境中導航。
通過將RL方法應用于軌跡預測，模型可以從數(shù)據(jù)和與環(huán)境的交互中學習，從而對未來軌跡做出準確的預測。然而，重要的是要考慮RL算法的復雜性和訓練數(shù)據(jù)的可用性之間的權衡，以及在現(xiàn)實世界環(huán)境中對各種駕駛場景和不確定性進行泛化的挑戰(zhàn)。
傳統(tǒng)軌跡預測方法
本節(jié)將預測方法分為三大類，即基于物理的模型、采樣方法和概率模型，表II簡要概述了軌跡預測的傳統(tǒng)方法及其局限性和優(yōu)勢。在圖6中，描述了幾種傳統(tǒng)方法及其在解決自動駕駛汽車（AV）軌跡預測任務中的作用。對論文的分析表明，在本次調查中，56%的論文關注概率方法，35%的論文關注抽樣方法，其余9%的論文致力于抽樣方法。
基于物理的方法
第一類建議的基于物理的預測模型使用經典力學的運動方程作為目標物體未來運動建模的基礎?？梢允褂脛恿W或運動學模型來描述物理行為。動力學模型考慮了引起運動的輪胎橫向和縱向力，但通常選擇基本動力學模型來平衡預測精度和計算工作量。相比之下，運動學模型由于其簡單的形式而更常用，并且卡爾曼濾波（KF）技術可以處理車輛當前條件下的干擾，如不確定性或噪聲。例如，張等人提出了一種基于車-車通信和KF的方法，使宿主車輛能夠預測遠程車輛的軌跡并避開障礙物。
基于采樣的方法
這些技術包括對交通參與者的未來狀態(tài)進行采樣。這些方法不是預測單個軌跡，而是生成可能的車輛狀態(tài)分布，這使它們對噪聲和不確定性更具魯棒性。采樣主要有兩種類型：生成多個軌跡段或粒子狀態(tài)。在他們的研究中，Houenou等人將基于機動的方法與假設恒定偏航率和加速度（CYRA）的基于模型的方法相結合，開發(fā)了一種軌跡預測方法。他們確定了機動，并從通過最小化成本函數(shù)生成的集合中選擇了最佳軌跡。
概率模型
軌跡預測中的概率框架是指使用概率論來建模和估計物體或實體（如車輛、行人或其他移動物體）未來軌跡的可能性。它涉及表示預測過程中的不確定性和可變性，并為預測軌跡提供概率分布或置信度度量。在概率框架中，軌跡預測通常被公式化為條件概率問題，其中目標是在給定觀察到的過去軌跡、傳感器測量和其他相關信息的情況下估計未來軌跡的概率分布。這包括結合概率模型、統(tǒng)計技術和機器學習算法來捕捉數(shù)據(jù)中的不確定性和相關性。
高斯混合模型：高斯混合模型（GMM）是一種概率模型，通常用于軌跡預測，以捕捉數(shù)據(jù)的不確定性和復雜性。它將軌跡的分布表示為多個高斯分布的組合，每個高斯分布表示軌跡的可能模式或簇?？傊珿MM通過捕捉數(shù)據(jù)中的復雜模式和變化，為軌跡預測提供了一種通用且穩(wěn)健的方法。它們能夠處理多模式分布，這允許表示車輛表現(xiàn)出的不同機動類型或行為模式。然而，需要注意的是，使用GMM進行訓練和推理可能需要計算。此外，確定模型中高斯分量或模式的最佳數(shù)量可能是一項具有挑戰(zhàn)性的任務。
高斯過程：當利用高斯過程（GP）進行軌跡預測時，軌跡被視為沿時間軸從GP中提取的樣本。這些樣本由N個離散點表示，這些離散點被映射到N維空間。在這個N維空間中，樣本遵循高斯分布。在建模步驟中，GP模型的主要目標是基于這些樣本來估計GP參數(shù)。通過將GP與觀測到的軌跡樣本擬合，該模型捕捉到了數(shù)據(jù)的基本模式和動態(tài)。GP參數(shù)，如均值和協(xié)方差，定義了GP的特征，并確定了預測軌跡的形狀和不確定性。總之，GP是AVs軌跡預測的一種有價值的工具，它具有靈活性、概率預測、適應性以及與其他技術的潛在集成等優(yōu)點。然而，基于軌跡樣本的方法的一個局限性是其對新環(huán)境的適用性有限，這阻礙了其對不同場景和環(huán)境的適應性。
隱馬爾可夫模型：在使用隱馬爾可夫模型（HMM）的軌跡預測中，觀測序列由交通參與者的先前狀態(tài)組成。HMM算法被應用于基于這些過去的觀測來估計最有可能的未來觀測序列?？傊?，HMM對軌跡預測非常有益，因為它能夠捕獲時間相關性，處理丟失或有噪聲的數(shù)據(jù)，并考慮到預測未來軌跡所涉及的不確定性。然而，HMM的一個假設是隱藏狀態(tài)是馬爾可夫的，這意味著過渡到未來狀態(tài)的概率僅取決于當前狀態(tài)。
動態(tài)貝葉斯網絡：通過結合時間序列并利用貝葉斯網絡框架，動態(tài)貝葉斯網絡（DBN）為軌跡預測提供了一種基于機動的方法。DBN和貝葉斯網絡共享進行概率推斷的基本概念和方法?？傊?，當用于軌跡預測時，DBN考慮了交通參與者之間的互動，從而提高了傳統(tǒng)基于機器學習的方法的性能。然而，DBN在準確識別機動和生成軌跡方面仍然面臨挑戰(zhàn)。許多現(xiàn)有的方法僅限于區(qū)分兩個或三個動作，如車道保持和變道，這限制了模型在廣泛場景中推廣的能力。因此，需要進一步改進基于DBN的方法，以增強其機動識別能力，并提高模型在軌跡預測任務中的泛化能力。
總結
基于深度學習的預測方法
傳統(tǒng)的預測技術僅在基本預測場景和短期預測任務中有效。基于深度學習的軌跡預測模型由于能夠考慮有助于準確預測的各種因素而廣受歡迎。這些模型考慮了物理因素，如車輛的位置、速度、加速度、尺寸和形狀。他們還考慮了與道路相關的因素，如交通標志、紅綠燈、道路幾何形狀和道路障礙物。此外，還考慮了與交互相關的因素，包括車輛之間的距離、相對速度和通信系統(tǒng)的存在。圖7提供了這些方法的總體概述。以下部分概述了用于自動駕駛汽車（AV）軌跡預測的最流行的基于深度學習的方法。
序列建模
基于深度學習的軌跡預測方法通常涉及使用序列網絡從歷史軌跡中提取特征，并可以作為輸出層。這些網絡通常包括遞歸神經網絡（RNN）、時序卷積神經網絡（TCN）、注意力機制（AM）和變換器。圖8提供了在軌跡預測的順序建模中使用不同算法的研究論文分布的百分比視覺表示?？梢杂^察到，與RNN、AM和Transformers等其他算法相比，TCN在AV軌跡預測任務中不太常用。
RNN：遞歸神經網絡（RNN）被設計用于處理時間信息，而傳統(tǒng)的機器學習方法和卷積神經網絡（CNNs）擅長處理空間信息。它維護過去時間步長數(shù)據(jù)的記錄，并結合輸入和隱藏狀態(tài)以生成所需的輸出。然而，當處理大量的時間步長時，RNN的梯度可能會減弱或爆炸，從而引發(fā)問題。為了解決這個問題，已經開發(fā)了門控RNN，如長短期記憶網絡（LSTM）和門控遞歸單元（GRU）?；赗NN的軌跡預測模型被分類為單個RNN模型或多個RNN模型。為了基于機動或單模態(tài)軌跡預測來預測軌跡，使用單RNN模型。此外，它可以被納入輔助模型中，以促進更復雜的功能，例如感知交互的預測。神經網絡的發(fā)展導致了各種類型的RNN架構的廣泛使用。盡管RNN被廣泛用于分析和預測數(shù)據(jù)序列，如軌跡預測，但它們在模擬空間關系（如車輛交互）和處理類似圖像的數(shù)據(jù)（如駕駛場景的上下文）方面存在局限性。這就是為什么復雜的基于RNN的解決方案通常需要多種技術來克服單個RNN的局限性?？傊琑NN通過有效地建模時間相關性，為軌跡預測提供了一種強大的方法。它們可以處理可變長度的序列并提供可解釋性。然而，它們可能會受到梯度消失或爆炸以及順序計算限制的影響。在將RNN應用于軌跡預測任務時，了解這些因素至關重要。表III總結了基于RNN的軌跡預測方法，提供了以秒為單位的預測范圍（PH）和預測軌跡數(shù)量的信息。該表還包括用于訓練和測試的評估指標（EM），并強調了每項研究的優(yōu)勢和劣勢。
時序卷積網絡
時序卷積網絡（TCN）是一種流行的深度神經網絡架構，用于軌跡預測任務。在軌跡預測任務中，TCN根據(jù)歷史軌跡數(shù)據(jù)進行訓練，并用于預測車輛或行人的未來軌跡。
總之，TCN為軌跡預測任務中的時間依賴性建模提供了一種強大的方法。它們擅長捕捉短期和長期動態(tài)，執(zhí)行高效的并行計算，并具有可解釋的感受野。然而，空間關系和長期記憶可能需要額外的考慮。表IV概述了基于TCN的軌跡預測方法，包括預測范圍（以秒為單位）、預測的軌跡數(shù)量以及用于訓練和測試的評估指標。該表還強調了每項研究的優(yōu)勢和劣勢。
注意力機制
注意力機制（AM）是一種認知模型，通過使用有限的注意力資源從大量數(shù)據(jù)中有效提取高價值信息，來近似人類的思維過程。它經常用于深度學習任務，，自注意力是一種流行的基于輸入序列識別權重和新上下文向量的方法。最近的一些研究已經將注意力機制用于軌跡預測和意圖估計。
總之，軌跡預測中的注意力機制提高了模型關注相關信息、處理可變長度序列、提供可解釋性以及增強對噪聲的魯棒性的能力。然而，它也存在與計算開銷、模型復雜性、注意力偏差和數(shù)據(jù)依賴性相關的潛在缺點。表五全面總結了基于注意力的軌跡預測方法。它包括重要信息，如預測范圍（以秒為單位）、預測軌跡的數(shù)量以及用于訓練和測試的評估指標。此外，該表還提供了對每項研究的優(yōu)勢和劣勢的見解。
Transformer
Transformer是一種利用注意力機制概念的神經網絡設計，已被用于各種項目?？傊?，transformer通過捕捉復雜的依賴關系和交互作用，展示了其在軌跡預測方面的潛力。它們提供了可擴展性、遷移學習功能以及處理多個代理的能力。然而，它們需要大量的計算資源，并且可能在可解釋性和數(shù)據(jù)效率方面存在挑戰(zhàn)。表VI總結了基于Transformer的軌跡預測方法，介紹了關鍵細節(jié)，如預測范圍（以秒為單位）、預測的軌跡數(shù)量以及用于訓練和測試的評估指標。此外，該表強調了每項研究的優(yōu)勢和劣勢。
基于視覺建模
有兩種類型的預測方法，它們在制定預測的方式上有所不同。第一種是鳥瞰圖（BEV）方法，它使用一種算法來處理自上而下的類似地圖的視圖中的數(shù)據(jù)。第二種是自車相機預測，它涉及通過自車載體的視角來觀察世界。然而，由于各種因素，自車相機方法通常比BEV方法更具挑戰(zhàn)性。首先，BEV方法提供了更寬的視野和更準確的預測，而自車相機方法的視野更窄，預測范圍有限。此外，自車攝像機方法比BEV方法更容易出現(xiàn)障礙。盡管存在這些困難，但自車攝像頭方法仍然比純電動汽車方法更有益，因為大多數(shù)車輛都無法使用攝像頭來定位道路上的目標代理和純電動汽車。因此，預測系統(tǒng)應該能夠從自車載體的角度看待世界，如圖9所示。各種基于視覺的技術及其對解決自動駕駛汽車軌跡預測任務的貢獻如圖10所示。在AVs研究論文中，每種技術對軌跡預測的貢獻大致相等。本節(jié)重點介紹了卷積神經網絡（CNNs）和圖神經網絡（GNN）在解決該領域中的應用。
CNN
卷積神經網絡已成功應用于各種計算機視覺任務，包括軌跡預測。盡管細胞神經網絡主要是為圖像數(shù)據(jù)設計的，但通過將軌跡序列視為結構化網格狀輸入，它們可以適用于軌跡預測。
然而，大多數(shù)使用CNN框架的技術都采用鳥瞰圖（BEV）作為輸入，顯示自上而下的交通狀況視圖。BEV圖像可以使用多個數(shù)據(jù)源創(chuàng)建，包括激光雷達點云、占用網格（OG）和高精地圖（HD地圖）。最近的一些研究利用CNN從復雜的BEV表示中提取特征。
總之，CNN在捕捉空間模式和識別軌跡數(shù)據(jù)中的空間關系方面具有優(yōu)勢。它們在參數(shù)共享方面是高效的，并且可以處理更大的數(shù)據(jù)集。然而，他們可能會在建模時間依賴性和處理可變長度序列方面遇到困難。表VII概述了基于CNN的軌跡預測方法，包括以秒為單位測量的預測范圍和預測的軌跡數(shù)量。該表還概述了用于訓練和測試的評估指標，并強調了每項研究的優(yōu)勢和劣勢。以下各節(jié)將介紹基于GNN預測車輛軌跡的方法。
GNN
當考慮將交互相關因素考慮在內的預測技術時，環(huán)境的每個元素都可以被視為圖中的一個節(jié)點。然而，許多現(xiàn)實世界的應用程序從非歐幾里得空間生成數(shù)據(jù)，而分析歐幾里得空間數(shù)據(jù)的傳統(tǒng)基于深度學習的方法在這種情況下表現(xiàn)不佳。每個場景都可以表示為具有可變大小無序節(jié)點的不規(guī)則圖，并且由于附近節(jié)點數(shù)量的變化，一些關鍵操作（如卷積）不直接適用于圖。然而，圖中的每個節(jié)點都通過邊連接到其他節(jié)點，這可以用來確定各種對象的相互依賴性。圖神經網絡（GNN）非常適合基于交互相關元素的車輛軌跡預測挑戰(zhàn)。方法如圖11所示。
GCN：圖卷積網絡（GCN）是圖神經網絡領域中一種流行的技術。它將卷積運算從傳統(tǒng)的圖像數(shù)據(jù)處理擴展到了圖形數(shù)據(jù)處理。關鍵思想是創(chuàng)建一個映射函數(shù)，該函數(shù)可以從網絡中的節(jié)點特征及其相鄰節(jié)點中提取感知交互的特征?？傊?，GCN通過顯式地建模對象之間的空間依賴性和關系，為軌跡預測提供了一種很有前途的方法。它們可以有效地捕捉上下文信息并處理不規(guī)則的圖形結構。然而，在將GCN應用于軌跡預測任務時，應仔細考慮可擴展性、圖構建和時間依賴性建模。表VIII概述了基于GCN的軌跡預測方法，包括以秒為單位測量的預測范圍和預測的軌跡數(shù)量，以及用于訓練和測試的評估指標。該表還強調了每項研究的優(yōu)勢和劣勢。
GAN：從one-hop鄰域收集數(shù)據(jù)的方法在圖注意力網絡（GAT）和GCN之間變化很大，GAT采用注意力機制代替靜態(tài)歸一化卷積過程?？傊珿AT使模型能夠關注圖中的相關節(jié)點（例如，車輛、行人），分配不同的權重來捕捉每個節(jié)點特征對預測特定對象軌跡的重要性。然而，GAT的性能在很大程度上取決于圖結構的質量和表示。設計合適的圖表示并考慮節(jié)點和邊的選擇對于獲得最佳結果至關重要。表IX總結了基于GAN的軌跡預測方法，強調了預測的軌跡數(shù)量和以秒為單位測量的預測范圍。該表還提供了對每項研究的優(yōu)勢和劣勢的見解，以及用于訓練和測試的評估指標。
其他GNN：高精地圖在自動駕駛汽車的軌跡預測中起著至關重要的作用。高精地圖提供了有關道路網絡的詳細信息，包括車道標記、交通信號和道路邊界，這有助于更準確地預測車輛或行人的未來軌跡。研究人員正在探索整合多種信息來源的方法，包括高精地圖、傳感器數(shù)據(jù)和機器學習算法，以提高自動駕駛汽車軌跡預測的準確性和穩(wěn)健性。表X總結了用于軌跡預測的其他基于圖神經網絡的方法，重點是預測的軌跡數(shù)量和以秒為單位測量的預測范圍。該表還提供了每項研究的優(yōu)勢和劣勢，以及用于訓練和測試的評估指標。
CNN和GNN的結合
一些研究人員提出了使用RNN和CNN的組合來處理軌跡預測的時間和空間信息的模型。表XI總結了基于CNN的軌跡預測方法，強調了預測的軌跡數(shù)量和以秒為單位測量的預測范圍。該表還強調了每項研究的優(yōu)勢和劣勢，包括用于訓練和測試的評估指標。
生成式模型
由于結果的潛在多樣性，預測多模態(tài)軌跡帶來了挑戰(zhàn)和不確定性。為了解決這個問題，一些研究人員轉向生成模型來創(chuàng)建能夠捕捉潛在多樣性的多模態(tài)軌跡。然而，為了使多模態(tài)軌跡預測模型有效，其輸出分布必須滿足一定的要求，包括多樣性、社會可接受性和可控性。僅使用一個基本事實來實現(xiàn)最優(yōu)分布可能很困難，并且可能導致不那么多樣化和不可接受的預測。為了克服這一挑戰(zhàn)，已經提出了生成對抗性網絡（GANs）和變分自動編碼器（VAE）作為解決方案。圖12說明了兩個生成模型在協(xié)助自動駕駛汽車（AV）完成軌跡預測任務方面的研究論文的參與情況（以百分比表示）。這兩個模型對預測過程的貢獻大致相等，顯示了它們在生成準確軌跡預測方面的共同責任。
GAN：在軌跡預測任務中，生成對抗性網絡（GANs）用于基于輸入數(shù)據(jù)生成真實的軌跡。生成器將歷史軌跡數(shù)據(jù)作為輸入并生成未來軌跡，而鑒別器評估生成的軌跡的真實性。生成器經過訓練，通過欺騙鑒別器使其相信生成的軌跡是真實的，來提高生成軌跡的真實性。該方法如圖13所示。表XII總結了基于GAN的軌跡預測方法。
VAE：自動編碼器（AE）使用編碼器壓縮數(shù)據(jù)，并使用解碼器對其進行解碼，以產生重建誤差最小的重建輸出。然而，AE被批評為僅僅“記憶”數(shù)據(jù)，數(shù)據(jù)生成能力有限。相反，變分自動編碼器（VAE）具有跨越整個空間的生成能力，它解決了自動編碼器中的非正則化潛在空間問題。VAE旨在最大限度地減少重建損失和相似性損失。表XIII總結了基于變分自動編碼器的軌跡預測方法。
基于強化學習的方法
RL技術用于估計潛在成本函數(shù)或直接識別用于軌跡預測的最優(yōu)策略。在任何一種方法中，都假設被觀察的代理總是試圖通過利用基于特定成本函數(shù)的最優(yōu)策略來達到其目標。圖15說明了RL方法在AV中的應用。在MDP的框架內，基于RL的方法可以分為反向強化學習（IRL）方法、模仿學習（IL）方法和深度IRL方法，如下所述。圖14說明了RL的不同變體的研究文章的分布，以百分比表示，以及它們在解決AV中的軌跡預測任務中的參與情況。
Inverse Reinforcement Learning
逆強化學習（IRL）背后的主要思想是學習解釋觀察到的主體行為的獎勵函數(shù)。IRL的目的不是直接模仿觀察到的軌跡，而是了解驅動這些軌跡的潛在動機或目標。通過推斷獎勵函數(shù)，該算法可以推廣到觀測到的軌跡之外，并對未來的軌跡進行預測?？傊?，雖然IRL有潛力提供更深入的見解和更靈活的軌跡預測，但在實際應用中應仔細考慮對專家演示的要求以及與質量和計算復雜性相關的挑戰(zhàn)。
Deep Inverse Reinforcement Learning
深度逆強化學習（Deep IRL）是逆強化學習（IRL）的擴展，在企業(yè)的深度神經網絡（DNN）中，從專家演示中學習獎勵函數(shù)。
總之，Deep IRL通過利用深度神經網絡提供了更強大和自適應的軌跡預測模型的潛力。然而，為了在自動駕駛軌跡預測中成功應用，需要仔細解決與數(shù)據(jù)需求、計算復雜性、可解釋性和過擬合相關的挑戰(zhàn)。
模仿學習
反向強化學習（IRL）算法的一個缺點是，它們難以在獎勵很少或沒有直接獎勵函數(shù)的情況下進行訓練。為了解決這個問題，有人建議將模仿學習（IL）作為一種解決方案。IL旨在根據(jù)專家的觀察快速確定政策，而不需要成本函數(shù)?？傊琁L和GAIL是很有前途的方法，可以在獎勵有限或沒有直接獎勵函數(shù)的情況下解決訓練RL算法的挑戰(zhàn)。他們在建模人類駕駛行為和生成真實預測方面的成功為他們在其他現(xiàn)實世界場景中的應用開辟了可能性。表XIV總結了基于強化學習的軌跡預測方法，并強調了每項研究的優(yōu)勢和劣勢。
數(shù)據(jù)集
數(shù)據(jù)集匯總如下表：
評價指標匯總如下表：
討論
在本節(jié)中，通過對代表性模型的比較，對所提出的模型進行了公平的評估。所選擇的標準包括與軌跡預測任務有關的不同因素，以及在該領域使用模型的總體先決條件。盡管如此，該比較揭示了普遍的模式，并提供了對特定特征和使用場景的理解。應比較基于深度學習的模型和基于強化學習的方法。比較結果匯總在表XVII中。
基于深度學習的模型已經證明了它們在很長一段時間內產生準確預測的能力，因為它們可以進行長達8秒的長期預測。然而，這些模型通常由神經網絡組成，因此被視為黑匣子模型，這降低了它們的可解釋性，并可能在驗證和批準方面帶來挑戰(zhàn)。盡管如此，這些模型具有整體性的優(yōu)勢，因為它們可以將來自多個來源的各種特征（包括對象交互和語義數(shù)據(jù)）集成到神經網絡中。然而，為了獲得良好的預測性能，仔細選擇有效的特征是至關重要的?？臻g特征和相應表示的使用使得能夠考慮主體之間的交互，這使得交互意識成為可能。基于深度學習的模型能夠以不同的抽象級別描述復雜的過程，并能夠將軌跡作為預測結果輸出。然而，這些模型需要反映特定應用領域的有效訓練數(shù)據(jù)，以實現(xiàn)全面和穩(wěn)健的預測。因此，這些模型高度依賴于數(shù)據(jù)。此外，這些模型的自適應性僅限于模型訓練數(shù)據(jù)范圍內的場景。由于其整體方法，基于深度學習的模型通常與高計算成本有關，而高計算成本受所用神經網絡大小的強烈影響。然而，在當前的技術狀態(tài)下，基于深度學習的模型提供了最高的預測精度。
基于強化學習的方法也能夠進行長期預測。然而，可解釋性的程度因所使用的具體方法而異。間接模型生成一個映射到狀態(tài)動作元組的成本函數(shù)，該函數(shù)可用于解釋策略的提議輸出。盡管如此，解釋成本函數(shù)是如何從專家的論證中確定的還是很有挑戰(zhàn)性的。輸出政策的直接模型并沒有從演示中明確推導出成本函數(shù)，這使得它們不太容易解釋。這些模型可以直接將多個對象之間的交互視為輸入特征。此外，可以使用廣泛的特征，包括來自道路地圖的語義信息，作為輸入，使這些模型具有整體性。
基于強化學習的模型能夠通過利用底層策略來描述復雜的策略。然而，模型的輸出通常由離散的操作組成，因為策略包括對象可以執(zhí)行的狀態(tài)-動作元組。盡管可以從后續(xù)模塊中導出顯式軌跡，但這些模型在很大程度上依賴于不同的數(shù)據(jù)，包括演示，用于訓練。提取全面的成本函數(shù)或穩(wěn)健策略尤其具有挑戰(zhàn)性，因為它強烈依賴于專家的行為觀察，因此很難進行正確的訓練。基于強化學習的模型旨在推理物體的運動，使其能夠很好地適應未知場景。然而，與基于深度學習的模型類似，基于強化學習方法的整體模型具有較高的計算成本。此外，學習魯棒策略的復雜性會對預測準確性產生負面影響。
挑戰(zhàn)和未來趨勢
挑戰(zhàn)
不確定性：流量代理的未來軌跡本質上是不確定的，不可能100%準確地預測。各種因素，如傳感器測量中的噪聲、不可預測的環(huán)境變化和其他交通代理的未知意圖，都可能導致這種不確定性。
復雜動力學：交通代理的運動可能受到各種物理定律的影響，包括重力、摩擦力和空氣動力。這些動力學可能是高度復雜和非線性的，因此很難精確建模。
傳感器覆蓋范圍有限：自動駕駛汽車依靠一套傳感器來感知環(huán)境，包括攝像頭、激光雷達和雷達。然而，如圖18所示，這些傳感器的覆蓋范圍是有限的，并且可能受到閉塞、天氣條件和其他因素的影響，這些因素可能使準確跟蹤其他交通代理的運動變得困難。
有限的數(shù)據(jù)：在某些情況下，可用于軌跡預測的數(shù)據(jù)可能有限或不完整。當傳感器出現(xiàn)故障，或者歷史數(shù)據(jù)丟失或損壞時，可能會發(fā)生這種情況。
長期預測：預測長時間范圍（不少于3秒）的軌跡可能具有挑戰(zhàn)性，因為初始預測中的小誤差可能會加劇，并導致與真實軌跡的顯著偏差。
復雜的道路環(huán)境：自動駕駛汽車在復雜動態(tài)的道路環(huán)境中運行，包括十字路口、環(huán)形交叉路口和擁擠的城市區(qū)域。預測這些環(huán)境中的軌跡需要能夠處理多個主體之間復雜互動的模型，包括其他車輛、行人和騎自行車的人。
多模態(tài)輸出：在自動駕駛中，代理人的行為表現(xiàn)出多模態(tài)，其中一個過去的軌跡可以有多個潛在的未來軌跡，如圖19所示。
稀疏和嘈雜的數(shù)據(jù)：來自傳感器的數(shù)據(jù)可能稀疏和嘈雜，特別是在城市地區(qū)，建筑物和其他結構可能會阻礙傳感器和被跟蹤物體之間的視線。這可能使得難以準確地對其他交通代理隨時間的運動進行建模。
多代理交互：在許多現(xiàn)實世界場景中，多個代理相互交互，并且它們的軌跡是相互依賴的。預測一個代理的軌跡可能取決于其他代理的行為，如圖20，這使得問題更加具有挑戰(zhàn)性。
異構環(huán)境：異構環(huán)境是指包含各種元素的環(huán)境，如各種類型的車輛、行人、騎自行車的人、不同的道路類型以及它們之間的復雜交互。為了有效地預測這種環(huán)境中的軌跡，預測模型需要考慮不同類型的代理，結合上下文信息，融合傳感器數(shù)據(jù)，建模多個代理之間的交互，估計不確定性，并實現(xiàn)適應性。
安全關鍵應用：自動駕駛汽車是安全關鍵系統(tǒng)，軌跡預測中的錯誤可能會產生嚴重后果，包括事故和傷害。因此，軌跡預測算法需要高度準確和可靠，并具有明確的安全裕度。
實時約束：自動駕駛汽車在實時環(huán)境中運行，軌跡預測算法需要能夠實時處理數(shù)據(jù)并生成預測。這需要能夠處理傳感器產生的大量數(shù)據(jù)的高效算法和硬件架構。
未來方向
結合上下文和意圖：當前軌跡預測方法的一個局限性是，它們通常只關注其他車輛的運動，而沒有未來的研究可以探索如何結合上下文信息，如道路布局和交通規(guī)則，以及其他駕駛員的意圖，以提高軌跡預測的準確性。
多傳感器集成：自動駕駛汽車依靠一套傳感器來感知環(huán)境，未來的研究可以探索如何集成多個傳感器的數(shù)據(jù)，以提高軌跡預測的準確性。這可能涉及開發(fā)新的算法來融合來自相機、激光雷達、雷達和其他傳感器的數(shù)據(jù)，以及探索新的傳感器模式，如聲學或熱傳感器。
不確定性建模：軌跡預測本質上是不確定的，未來的研究可以探索如何通過預測管道建模和傳播不確定性。這可能涉及開發(fā)新的概率模型，如貝葉斯神經網絡，或探索不確定性量化和傳播的新技術。
人類感知軌跡預測：自動駕駛汽車運行的環(huán)境不僅包括其他車輛，還包括行人和騎自行車的人。未來的研究可以探索如何開發(fā)軌跡預測方法，這些方法能夠感知人類行為，并能夠準確預測擁擠城市環(huán)境中行人和騎自行車者的運動。
實時實現(xiàn)和硬件加速：自動駕駛汽車在實時環(huán)境中運行，軌跡預測算法需要能夠實時處理數(shù)據(jù)和生成預測。未來的研究可以探索如何優(yōu)化軌跡預測算法以實現(xiàn)實時性能，以及開發(fā)新的硬件架構以實現(xiàn)高效計算。
確保安全性和穩(wěn)健性：在自動駕駛系統(tǒng)中，安全性至關重要。未來的研究應該致力于開發(fā)優(yōu)先考慮安全性和穩(wěn)健性的軌跡預測方法。這包括研究處理罕見或異常事件的技術，在具有挑戰(zhàn)性的天氣條件下提高預測準確性，以及考慮軌跡預測算法中的倫理方面。
相對軌跡預測：相對軌跡預測是指預測周圍物體或代理相對于自車或坐標系的未來運動或路徑的任務。未來的研究應側重于估計其他車輛、行人和騎自行車的人相對于自車的相對位移、速度和軌跡。
隨機障礙物感知軌跡預測：這種方法是指在考慮周圍環(huán)境中存在意外或隨機障礙物的情況下預測車輛的未來軌跡。這些障礙物可能是道路之間的動物或物體，行人的突然到來，以及導致道路之間不確定障礙物的道路事故。未來的研究應側重于將罕見事件納入預測模型，并收集和分析與這些罕見事件相關的數(shù)據(jù)，以開發(fā)更全面、更穩(wěn)健的預測模型。
具有挑戰(zhàn)性的天氣條件：惡劣的天氣條件，如大雨、雪、霧或低能見度，可能會影響傳感器的性能，并限制軌跡預測關鍵數(shù)據(jù)的可用性。未來的研究應側重于結合傳感器融合、自適應濾波、概率建模和機器學習等技術，以提高惡劣天氣條件下軌跡預測的可靠性和準確性。
車輛對車輛（V2V）通信和車輛對一切（V2X）通信策略：V2V通信是指車輛之間直接交換信息。V2X通信擴展到V2V之外，包括與其他實體的通信，如基礎設施、行人、騎自行車的人和交通管理系統(tǒng)。通過共享位置、速度、加速度和意圖等實時數(shù)據(jù)，車輛可以協(xié)作以增強軌跡預測。
幾種方法的混合：第3、4和5節(jié)提出了解決軌跡預測任務的多種策略。根據(jù)具體的環(huán)境和要求，混合可以采取不同的形式。這可以帶來更準確、更穩(wěn)健的軌跡預測。
① 全網獨家視頻課程
BEV感知、毫米波雷達視覺融合、多傳感器標定、多傳感器融合、多模態(tài)3D目標檢測、點云3D目標檢測、目標跟蹤、Occupancy、cuda與TensorRT模型部署、協(xié)同感知、語義分割、自動駕駛仿真、傳感器部署、決策規(guī)劃、軌跡預測等多個方向學習視頻（掃碼學習）
視頻官網：www.zdjszx.com
② 國內首個自動駕駛學習社區(qū)
近2000人的交流社區(qū)，涉及30+自動駕駛技術棧學習路線，想要了解更多自動駕駛感知（2D檢測、分割、2D/3D車道線、BEV感知、3D目標檢測、Occupancy、多傳感器融合、多傳感器標定、目標跟蹤、光流估計）、自動駕駛定位建圖（SLAM、高精地圖、局部在線地圖）、自動駕駛規(guī)劃控制/軌跡預測等領域技術方案、AI模型部署落地實戰(zhàn)、行業(yè)動態(tài)、崗位發(fā)布，歡迎掃描下方二維碼，加入自動駕駛之心知識星球，這是一個真正有干貨的地方，與領域大佬交流入門、學習、工作、跳槽上的各類難題，日常分享論文+代碼+視頻，期待交流！
自動駕駛之心是首個自動駕駛開發(fā)者社區(qū)，聚焦目標檢測、語義分割、全景分割、實例分割、關鍵點檢測、車道線、目標跟蹤、3D目標檢測、BEV感知、多模態(tài)感知、Occupancy、多傳感器融合、transformer、大模型、點云處理、端到端自動駕駛、SLAM、光流估計、深度估計、軌跡預測、高精地圖、NeRF、規(guī)劃控制、模型部署落地、自動駕駛仿真測試、產品經理、硬件配置、AI求職交流等方向。掃碼添加汽車人助理微信邀請入群，備注：學校/公司+方向+昵稱（快速入群方式）
④【自動駕駛之心】平臺矩陣，歡迎聯(lián)系我們！
