本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

大家好，感謝自動駕駛之心的邀請，很榮幸能夠在這里分享我們的工作。

在線3D多目標跟蹤（MOT）技術在先進駕駛輔助系統（ADAS）和自動駕駛（AD）中具有重要的應用價值。近年來，隨著業界對于高性能三維感知的需求持續增長，在線3D MOT算法得到了日益廣泛的研究和關注。對于4D毫米波雷達（又稱4D成像雷達）或激光雷達點云數據，目前應用在ADAS和AD領域的在線3D MOT算法大多采用基于檢測后跟蹤策略的點目標跟蹤（TBD-POT）框架。然而，基于聯合檢測跟蹤策略的擴展目標跟蹤（JDT-EOT）作為另一種重要的MOT框架，在ADAS和AD領域尚未得到充分研究。本文首次在真實的在線3D MOT應用場景中，對包括TBD-POT，JDT-EOT，以及我們提出的TBD-EOT框架的性能進行了系統性的討論和分析。特別地，本文在View-of-Delft（VoD）和TJ4DRadSet兩個數據集的4D成像雷達點云數據上對三種框架的SOTA實現進行了性能評估和對比。實驗結果表明，傳統的TBD-POT框架具有計算復雜度低、跟蹤性能高的優點，在3D MOT任務中仍然可以作為首要選擇；同時，本文提出的TBD-EOT框架在特定場景下具備超越TBD-POT框架的潛力。值得注意的是，近期得到學術界關注的JDT-EOT框架在ADAS和AD場景下性能表現欠佳。本文基于多種性能評估指標對上述實驗結果進行了分析，給出了在真實應用場景中提高算法跟蹤性能的可能方案。針對基于4D成像雷達的在線3D MOT算法，上述研究在ADAS和AD領域內提供了首個性能基準測試，并為此類算法的設計和應用提供了重要的觀點和建議。

1. 簡介

在線3D多目標跟蹤（MOT）是先進駕駛輔助系統（ADAS）和自動駕駛（AD）中的重要組成部分。近年來，隨著傳感器和信號處理技術的發展，基于相機、激光雷達和雷達等多種類型傳感器的在線3D MOT技術得到了廣泛的關注。在各種傳感器中，雷達作為唯一的價格低廉且能在極端光照和惡劣氣象條件下工作的傳感器，已經在實例分割、目標檢測以及MOT等感知任務中得到了大量應用。然而，盡管傳統的汽車雷達能夠在距離和多普勒速度上有效地區分目標，雷達量測的低角度分辨率仍然制約了目標檢測和多目標跟蹤算法的性能。與傳統汽車雷達不同，近期出現的基于MIMO技術的4D成像雷達能夠測量目標的距離、速度、方位角、俯仰角信息，從而為基于雷達的3D MOT提供了新的發展可能。

3D MOT算法的設計范式可以分為兩類：基于模型的（Model-based）和基于深度學習的（Deep learning-based）。基于模型的設計范式采用了精心設計的多目標動態模型和量測模型，適合用于開發高效且可靠的3D MOT方法。在基于模型的典型MOT框架中，采用檢測后跟蹤（TBD）策略的點目標跟蹤（POT）框架得到了學術界和工業界的廣泛接受。POT框架假設每個目標在一次傳感器掃描中僅產生一個量測點，然而對于激光雷達和4D成像雷達，一個目標經常在一次掃描中產生多個量測點。因此，在進行目標跟蹤前，首先需要通過目標檢測器將來自同一個目標的多個量測處理成一個檢測結果（例如一個目標檢測框）。TBD-POT框架的有效性已經在諸多基于真實激光雷達點云數據的3D MOT任務中得到了驗證。

采用聯合檢測跟蹤（JDT）策略的擴展目標跟蹤（EOT）作為另一種基于模型的MOT框架，近期在學術界得到了廣泛關注。與POT不同，EOT假設一個目標能夠在一次傳感器掃描中產生多個量測，因此在實現JDT時無需額外的目標檢測模塊。相關研究指出，JDT-EOT在真實的激光雷達點云以及汽車雷達檢測點數據上跟蹤單個目標時能夠得到良好的性能表現。然而，對于復雜ADAS和AD場景下的在線3D MOT任務，鮮有使用真實數據對EOT進行評估的研究，而且這些研究并未在ADAS/AD數據集上詳細評估EOT框架對不同類型目標的MOT性能，也沒有使用被廣泛接受的性能指標對實驗結果進行系統性的分析。本文的研究首次通過綜合性的評估和分析嘗試回答了這一開放性問題：EOT框架是否能夠應用在復雜ADAS和AD場景下，并獲得優于傳統TBD-POT框架的跟蹤性能和計算效率。本文的主要貢獻主要包括：

• 通過比較POT和EOT框架，本文在ADAS和AD領域為此后研究基于4D成像雷達的在線3D MOT方法提供了首個性能基準。文中的性能評估和分析展示了POT和EOT框架各自的優勢和不足，同時為設計在線3D MOT算法提供了指導建議。
• 為了填補基于EOT的在線3D MOT方法在理論與實際之間的差距，本文首次在真實的ADAS和AD場景下對EOT框架進行了系統性的研究。盡管在學術界得到廣泛研究的JDT-EOT框架性能表現不佳，本文提出的TBD-EOT框架發揮了深度學習目標檢測器所具有的優勢，從而實現了優于JDT-EOT框架的跟蹤性能和計算效率。
• 實驗結果表明，傳統的TBD-POT框架因為具備高跟蹤性能和計算效率，所以在基于4D成像雷達的在線3D MOT任務中仍然是優先選擇。然而TBD-EOT框架在特定場合下的性能優于TBD-POT框架，展現了在真實ADAS和AD應用中使用EOT框架的潛力。

2.方法

本節介紹在4D成像雷達點云數據上進行在線3D MOT的三種算法框架，包括TBD-POT、JDT-EOT和TBD-EOT，如下圖所示：

A.框架1：采用檢測后跟蹤策略的點目標跟蹤（TBD-POT）

TBD-POT框架已經在基于多種傳感器的MOT研究中得到了廣泛的接受。在這一跟蹤框架下，4D成像雷達點云首先經過目標檢測器的處理生成3D檢測框，提供例如目標位置、檢測框尺寸、朝向、目標類別、檢測得分等信息。為了簡化計算，POT算法通常選取直角坐標系下的二維目標位置作為量測，并在鳥瞰視角（BEV）下進行MOT。再將估計得到的目標位置與3D檢測框的其他信息結合，得到最終的3D跟蹤結果。TBD-POT框架具有兩個主要優勢：1）POT算法能夠利用目標類型和檢測得分等附加信息來提升跟蹤性能；2）POT算法通常比EOT算法計算復雜度更低。

我們選擇全局最近鄰泊松多伯努利濾波器（GNN-PMB）作為POT算法，該算法在基于激光雷達的在線3D MOT任務中取得了SOTA性能。GNN-PMB通過傳播PMB密度估計多目標狀態，其中未檢測到的目標由泊松點過程（PPP）建模，檢測到的目標由多伯努利（MB）密度建模。數據關聯通過管理局部假設和全局假設實現。在每個時刻，一個量測可能與一個已經被跟蹤的目標、一個新檢測目標、或是一個虛警相關聯，形成不同的局部假設。相兼容的局部假設被統合在一個全局假設中，描述當前所有目標與量測的關聯關系。與計算并傳播多個全局假設的泊松多伯努利混合（PMBM）濾波器不同，GNN-PMB僅傳播最優的全局假設，從而降低了計算復雜度。綜上所述，本文所研究的第一個在線3D MOT框架將一個基于深度學習的目標檢測器與GNN-PMB算法相結合。

B.框架2：采用聯合檢測跟蹤策略的擴展目標跟蹤（JDT-EOT）

與第一種框架TBD-POT不同，JDT-EOT框架通過同時檢測和跟蹤多個目標，能夠直接處理4D成像雷達點云。首先，點云通過聚類形成可能的量測劃分（點簇），然后EOT算法使用這些點簇進行3D MOT。理論上，因為點云相比經過預處理的3D檢測框具有更豐富的信息，這種框架能夠更準確地估計目標位置、形狀并減少目標漏檢。然而對于包含大量雜波的4D成像雷達點云，生成準確的量測劃分是比較困難的。由于不同目標的點云空間分布也可能不同，JDT-EOT框架通常采用DBSCAN和k-means等多種聚類算法結合不同的參數設置，生成盡可能多的可能量測劃分。這進一步增加了EOT的計算復雜度，影響這一框架的實時性。

本文選擇了基于伽馬高斯逆威沙特（GGIW）分布的PMBM濾波器實現JDT-EOT框架。GGIW-PMBM濾波器是具有SOTA估計精度和計算復雜度的EOT算法之一。選擇PMBM濾波器是因為該算法使用多伯努利混合（MBM）密度建模目標并且傳播多個全局假設，能夠較好地應對雷達量測的高度不確定性。GGIW模型假設一個目標生成的量測點數量服從泊松分布，單個量測服從高斯分布。在這一假設下，每個目標的外形呈橢圓形，以逆威沙特（IW）密度描述，橢圓的長軸和短軸可以用于形成目標的矩形外框。這種外形建模較為簡單，適用于多種類型的目標，并且在現有EOT算法實現中計算復雜度最低。

C.框架3：采用檢測后跟蹤策略的擴展目標跟蹤（TBD-EOT）

為了在EOT框架下發揮深度學習目標檢測器的優勢，我們提出了第三種MOT框架：TBD-EOT。與在完整點云上進行聚類的JDT-EOT框架不同，TBD-EOT框架在進行聚類前首先選出在目標3D檢測框內部的有效雷達量測點，這些量測點更可能來源于真實目標。與JDT-EOT相比，TBD-EOT框架具有兩方面的優勢。首先，移除可能來源于雜波的量測點后，EOT算法中數據關聯步驟的計算復雜度將顯著降低，同時虛假檢測的數量也可能減少。其次，EOT算法可以利用源自檢測器的信息，進一步提高跟蹤性能。例如為不同類別的目標設定不同的跟蹤參數，丟棄檢測得分低的目標檢測框等。TBD-EOT框架在部署時使用了與TBD-POT相同的目標檢測器，同時采用GGIW-PMBM作為EOT濾波器。

3.實驗與分析

A.數據集和評估指標

本文在VoD數據集的0、8、12、18號序列和TJ4DRadSet的0、10、23、31、41號序列中的Car、Pedestrian、Cyclist類別上對三種MOT框架進行了評估。輸入TBD-POT和TBD-EOT框架的目標檢測結果由SMURF提供，該方法是4D成像雷達點云上的SOTA目標檢測器之一。由于JDT-EOT不能獲取目標的類型信息，我們在GGIW-PMBM算法的狀態提取過程增加了根據目標外形尺寸判斷類別的啟發式目標分類步驟。

本文后續的評估選用了包括MOTA、MOTP、TP、FN、FP和IDS在內的一組常用MOT性能指標。此外我們還應用了一種較新的MOT性能指標：高階跟蹤精度（HOTA）。HOTA可以分解成檢測精度（DetA）、關聯精度（AssA）和定位精度（LocA）子指標，有助于更明確地分析MOT性能。

B.跟蹤框架性能對比

三種MOT框架的算法實現SMURF + GNN-PMB、GGIW-PMBM和SMURF + GGIW-PMBM均在VoD和TJ4DRadSet數據集的訓練集上進行了參數調優。各算法在VoD數據集上的性能如下表所示：

各算法在TJ4DRadSet數據集上的性能如下表所示：

1）GGIW-PMBM的性能

實驗結果表明，GGIW-PMBM的性能表現低于預期。由于跟蹤結果包含大量的FP和FN，GGIW-PMBM在三個類別上的檢測精度很低。為了分析這一現象的成因，我們使用未經分類的跟蹤結果計算了TP與FN，如下表所示。可觀察到三個類別上的TP數量均有明顯提升，說明GGIW-PMBM能夠產生接近真實目標位置的跟蹤結果。然而如下圖所示，GGIW-PMBM估計的目標大部分具有相似的長度和寬度，這導致啟發式目標分類步驟無法基于目標尺寸有效區分目標類型，對跟蹤性能造成了不利影響。

進一步的，我們對GGIW-PMBM在兩個數據集上的性能差異進行分析。Pedestrian和Cyclist類別的MOTA指標在TJ4DRadSet上遠低于VoD數據集，說明GGIW-PMBM在TJ4DRadSet上產生了更多的虛假軌跡。造成這一現象的原因可能是TJ4DRadSet數據集包含更多的來自道路兩側障礙物的雜波量測，如下圖所示。由于大部分路邊障礙物是靜止不動的，可以通過在聚類前去除低徑向速度的雷達量測點來改善這一問題。由于TJ4DRadSet尚未公開自車運動數據，本文沒有提供補充實驗。盡管如此，我們可以推測類似的處理步驟同樣會影響到靜止目標的雷達點云，增加這些目標未能被正確跟蹤的可能性。

總體而言，GGIW-PMBM未能在真實的4D成像雷達點云上獲得良好的性能，主要因為在沒有目標檢測器提供額外信息的情況下，算法難以通過啟發式方法判斷跟蹤結果的類別，或是區分來自目標的點云與背景雜波。

2）SMURF + GNN-PMB和SMURF + GGIW-PMBM的性能

SMURF + GNN-PMB和SMURF + GGIW-PMBM均利用了來自目標檢測器的信息。實驗結果表明，前者在Car類別上獲得了明顯優于后者的性能，主要因為后者對于Car目標的定位精度更低。點云分布建模的誤差是造成這一現象的主要原因。如下圖所示，對于車輛目標，雷達點云傾向于聚集在靠近雷達傳感器的一側。這與GGIW模型中量測點在目標表面均勻分布的假設不相符，導致SMURF + GGIW-PMBM估計得到的目標位置和外形與真實值產生偏差。因此使用更準確的目標量測模型，例如高斯過程，可能幫助TBD-EOT框架在跟蹤車輛等大型目標時獲得更好的性能，不過這也可能增加算法的計算復雜度。

我們同樣觀察到SMURF + GGIW-PMBM和SMURF + GNN-PMB在Cyclist類別上的性能差距縮小了，前者的HOTA指標在Pedestrian類別上甚至優于后者。此外，SMURF + GGIW-PMBM在Pedestrian和Cyclist類別上的IDS數量也更少。這些現象的成因可能包括：首先，GGIW-PMBM根據估計的GGIW密度自適應計算目標的檢測概率；其次，GGIW-PMBM在計算關聯假設似然時不僅考慮了目標位置，同時也考慮了目標量測點的數量和空間分布。對于Pedestrian和Cyclist等小型目標，雷達點在目標表面分布更加均勻，更符合GGIW模型假設；因此SMURF + GGIW-PMBM能夠利用來自點云的信息更準確地估計檢測概率和關聯假設似然，從而通過減少軌跡中斷和錯誤關聯來提高定位、關聯和ID維持方面的性能。

4.結論

本文系統性的對比了POT和EOT框架在基于4D成像雷達點云的在線3D MOT任務中的性能。我們在VoD和TJ4DRadSet兩個數據集的Car、Pedestrian和Cyclist類別上評估了TBD-POT、JDT-EOT和TBD-EOT三種框架的跟蹤性能指標。結果表明，傳統的TBD-POT框架仍然有效，其算法實現SMURF + GNN-PMB在Car和Cyclist類別上獲得了最優的性能。然而，JDT-EOT框架無法有效去除雜波量測并且產生了過多的量測劃分假設，導致GGIW-PMBM未能獲得令人滿意的性能表現。在本文提出的TBD-EOT框架下，SMURF + GGIW-PMBM在Pedestrian類別上獲得了最優的關聯和定位精度，同時在Pedestrian和Cyclist類別上實現了可靠的ID估計，展現出超越TBD-POT框架的潛力。然而，SMURF + GGIW-PMBM無法有效建模非均勻分布的雷達點云，導致其對于車輛目標的跟蹤性能較差。因此，更符合實際的、低計算復雜度的擴展目標模型需要在未來得到進一步的研究。

原文鏈接：https://mp.weixin.qq.com/s/ZizQlEkMQnlKWclZ8Q3iog