本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&筆者的個人理解

在算法開發(fā)中，激光雷達-相機3D目標檢測遇到了過度擬合問題，這是由于違反了一些基本規(guī)則。在數(shù)據(jù)集構(gòu)建的數(shù)據(jù)標注方面，本文參考了理論補充，并認為回歸任務(wù)預(yù)測不應(yīng)涉及來自相機分支的特征。通過采用“檢測即標簽”的前沿觀點，本文提出了一種新的范式，稱為DAL。使用最經(jīng)典的初級算法，通過模仿數(shù)據(jù)標注過程構(gòu)建了一個簡單的預(yù)測流水線。然后，本文以最簡單的方式對其進行訓練，以最小化其依賴性并增強其可移植性。盡管構(gòu)造和訓練都很簡單，但所提出的DAL范式不僅在性能上取得了重大突破，而且在所有現(xiàn)有方法中提供了速度和精度之間的優(yōu)越權(quán)衡。憑借全面的優(yōu)勢，DAL會是未來工作開發(fā)和實際部署的理想基準。代碼已發(fā)布，https://github.com/HuangJunJie2017/BEVDet。

盡管構(gòu)造和訓練簡單，但提出的DAL范式不僅極大地推動了性能邊界（例如，在nuScenes val集上為74.0 NDS，在nuScenes test集上為74.8 NDS），而且在所有現(xiàn)有方法中提供了速度和精度之間的優(yōu)越權(quán)衡。本文的主要貢獻可以概括如下

1. 文章提出了一個前沿的視角，即“檢測作為標注”，用于3D物體檢測中的LiDAR-相機融合。這是對現(xiàn)有方法的良好補充，也是未來工作應(yīng)遵循的基本規(guī)則。
2. 文章遵循“檢測作為標注”的觀點，構(gòu)建了一個名為DAL的魯棒范例。DAL是第一個具有極其優(yōu)雅的訓練管道的LiDAR-Camera融合范例。此外，它極大地推動了該問題的性能邊界，在推理延遲和準確性之間實現(xiàn)了優(yōu)異的權(quán)衡。憑借全面的優(yōu)勢，DAL是未來工作發(fā)展和實際使用的理想基線。
3. 文章指出了速度分布不可避免的不平衡問題，并提出了實例級速度增益來緩解這一問題。

算法的網(wǎng)絡(luò)設(shè)計

從 "檢測即標記 "的角度出發(fā)，模仿數(shù)據(jù)標注過程構(gòu)建了一個預(yù)測管道，如下圖所示。提出的管道遵循從密集到稀疏的范式。密集感知階段的重點是特征編碼和候選特征生成。使用圖像編碼器和點云編碼器分別提取圖像和點云中的特征。N 表示視圖的數(shù)量。H × W 表示圖像視圖中特征的大小。X × Y 表示特征在鳥眼視圖（BEV）中的大小。特征編碼器具有經(jīng)典的骨干結(jié)構(gòu)（如 ResNet 和 VoxelNet）和頸部結(jié)構(gòu)（如 FPN和 SECOND）。只需將密集圖像的 BEV 特征與點云的 BEV 特征進行串聯(lián)融合，并通過應(yīng)用兩個額外的殘差塊來預(yù)測密集熱圖。C 表示類別的數(shù)量。最后，選出在密集熱圖中預(yù)測得分領(lǐng)先的 K 個候選者。這樣就模仿了數(shù)據(jù)標注中的候選生成過程。在此過程中，會同時使用圖像和點云的特征來生成一套完整的候選數(shù)據(jù)。

DAL范式的預(yù)測管道。將來自圖像和點云的BEV特征融合在一起，生成密集的熱圖。提取前K個建議及其點云特征，用于回歸任務(wù)預(yù)測。與圖像特征、圖像BEV特征和點云BEV特征融合的特征用于類別預(yù)測。根據(jù)每個建議的相應(yīng)預(yù)測中心提取稀疏圖像特征。

在稀疏感知階段，首先根據(jù)候選對象在密集熱圖中的坐標收集每個候選對象的點云特征。然后使用簡單的前饋網(wǎng)絡(luò)（FFN）預(yù)測回歸目標（例如中心、大小、方向和速度）。在這個過程中不涉及圖像特征，以防止過擬合問題。最后，本文將圖像特征、圖像BEV特征和點云BEV特征融合在一起，生成用于類別預(yù)測的融合特征。圖像BEV特征的部分是根據(jù)候選對象在密集熱圖中的坐標提取的，而圖像特征的部分是根據(jù)預(yù)測的對象中心提取的。

除了進行一些關(guān)鍵修改外，DAL的預(yù)測管道從BEVFusion繼承了大部分結(jié)構(gòu)設(shè)計。首先，點云BEV特征和圖像BEV特征在密集BEV編碼器之后進行融合，而BEVFusion在之前進行融合。本文推遲融合，以最大限度地保留LiDAR分支的回歸能力。然后，由于發(fā)現(xiàn)沒有必要，去除了稀疏實例和BEV特征之間的注意力。最后，回歸任務(wù)僅使用點云特征進行預(yù)測，而BEVFusion使用融合特征。

由于本文在構(gòu)建預(yù)測管道時分配了適當?shù)姆绞剑恍枰翊蠖鄶?shù)經(jīng)典視覺任務(wù)一樣加載在 ImageNet 上預(yù)訓練的圖像骨干的參數(shù)。然后本文以端到端的方式訓練 DAL，只有一個階段。只使用來自目標數(shù)據(jù)集 nuScenes的數(shù)據(jù)。通過這種方式，本文以最優(yōu)雅的方式訓練 DAL 模型，這在文獻中很少見。

例如，DAL與TransFusion和BEVFusion共享目標和損失的設(shè)計。除此之外，本文在圖像特征上添加了一個輔助分類頭，以加強圖像分支在搜索候選對象和區(qū)分不同類別方面的能力。這對于DAL來說非常重要，因為3D目標檢測頭中密集感知階段和稀疏感知階段的監(jiān)督都有缺陷。具體來說，在密集感知階段，圖像特征會根據(jù)視圖轉(zhuǎn)換中的預(yù)測深度得分進行調(diào)整。反向傳播中的梯度也是如此。預(yù)測深度得分有缺陷是不可避免的，監(jiān)督也是如此。在稀疏感知階段，損失計算中只涉及預(yù)測實例的圖像特征，而不是所有注釋目標的圖像特征。具有所有注釋目標監(jiān)督的輔助分類頭可以解決上述問題，并在一定程度上加強圖像分支。在實踐中，使用注釋目標的重心來提取每個注釋目標的稀疏特征。然后，使用另一個FFN對稀疏特征進行分類，損失計算與3D目標檢測頭中的分類任務(wù)相同。不進行重新加權(quán)，本文直接將輔助損失添加到現(xiàn)有的損失中：

在回歸任務(wù)預(yù)測中棄用圖像特征不僅可以防止不可避免的性能退化，而且可以在圖像空間中進行更廣泛的數(shù)據(jù)增強。本文以調(diào)整大小增強為例進行解釋。基于相機的3D物體檢測根據(jù)其在圖像視圖中的大小預(yù)測目標的大小。當圖像隨機調(diào)整大小時，為了保持圖像特征與預(yù)測目標之間的一致性，需要對預(yù)測目標進行相應(yīng)的調(diào)整。然后是LiDAR-相機融合的3D物體檢測中的連鎖反應(yīng)中的點云。因此，現(xiàn)有的方法總是在圖像空間中使用小范圍的數(shù)據(jù)增強。結(jié)果，它們遠離了大多數(shù)圖像2D任務(wù)（例如分類，檢測，分割）中圖像空間大規(guī)模數(shù)據(jù)增強的好處。

最后，本文觀察到訓練數(shù)據(jù)中速度分布極不平衡。如圖3所示，nuScenes訓練集中汽車類別的多數(shù)實例是靜態(tài)的。為了調(diào)整分布，隨機選擇了一些靜態(tài)物體，并根據(jù)預(yù)定義的速度調(diào)整其點云，如圖4所示。本文僅對靜態(tài)物體進行速度增強，因為可以從其帶注釋的邊界框中輕松地識別來自多個LiDAR幀的全套點。

圖3. nuScenes訓練集中汽車類別的速度分布。

圖4.使用不同的預(yù)定義速度（即（vx，vy））增強相同的靜態(tài)對象

相關(guān)實驗結(jié)果

數(shù)據(jù)集

本文在大規(guī)模基準nuScenes上進行全面的實驗。NuScenes是驗證許多室外任務(wù)的最新流行基準，如3D物體檢測、占用率預(yù)測、BEV語義分割、端到端自動駕駛。它包括1000個場景，其中包含來自6個相機的圖像和來自具有32束光束的LiDAR的點云。相機組具有與LiDAR一致的360度視野。這使其成為評估LiDAR-相機融合算法的首選數(shù)據(jù)集。這些場景被正式分為700/150/150個場景，用于訓練/驗證/測試。有10個類別的140萬個注釋的3D邊界框：汽車、卡車、公共汽車、拖車、工程車輛、行人、摩托車、自行車、障礙物和交通錐。

評估指標

對于3D對象檢測，本文報告了官方預(yù)定義的度量標準：平均精確度（mAP）、平均平移誤差（ATE）、平均縮放誤差（ASE）、平均方向誤差（AOE）、平均速度誤差（AVE）、平均屬性誤差（AAE）和NuScenes檢測評分（NDS）。mAP類似于2D對象檢測中的mAP，用于衡量精度和召回率，但基于地面上2D中心距離的匹配，而不是交集比（IOU）。NDS是其他指標的組合，用于綜合判斷檢測能力。其余指標用于計算相應(yīng)方面的陽性結(jié)果精度（例如，平移、縮放、方向、速度和屬性）。

預(yù)測管道

如表2所示，本文遵循兩種經(jīng)典的3D對象檢測范式BEVDet-R50 和CenterPoint ，分別構(gòu)建圖像分支和LiDAR分支，用于消融研究。此外，本文還提供了一些推薦的配置，在推理延遲和準確性之間實現(xiàn)了出色的權(quán)衡。

訓練和評估

DAL模型在16個3090 GPU上以64個批處理大小進行訓練。如表1所示，
與大多數(shù)需要多個預(yù)訓練階段和復雜學習率策略的現(xiàn)有方法不同，DAL僅從ImageNet分類任務(wù)中加載預(yù)訓練權(quán)重，并使用CBGS對整個流水線進行20個epoch的訓練。DAL與CenterPoint共享相同的學習率策略。具體來說，學習率通過遵循循環(huán)學習率策略進行調(diào)整，初始值為2.0×10-4。在評估過程中，本文報告了單個模型在無測試時間增廣情況下的性能。默認情況下，推理速度都在單個3090 GPU上測試。BEVPoolV2 用于加速視圖變換算法LSS。

nuScenes val set的結(jié)果。如表4所示和圖1所示，提出的DAL范式不僅極大地推動了性能邊界，而且還提供了速度和精度之間的更好權(quán)衡。配置DAL-Large的分數(shù)為71.5 mAP和74.0 NDS，大大超過了現(xiàn)有的最佳記錄，分別增加了+1.0 mAP和+0.7 NDS。在如此高的準確度下，DAL-Large仍然以6.10 FPS的推理速度運行。另一個推薦的配置DAL-Base以與最快的方法CMT-R50 類似的推理速度運行。其準確度大大超過了CMT-R50，分別為2.1 mAP和2.6 NDS。與CMT-R50具有相似的準確度，DAL-Tiny的加速率為54%。

nuScenes測試集的結(jié)果。本文報告了DAL-Large配置在nuScenes測試集上的性能，沒有模型集成和測試時間擴展。DAL在NDS 74.8方面優(yōu)于所有其他方法。

總結(jié)

本文提出了一個前沿的視角“檢測作為標注”，用于激光雷達-攝像頭融合的3D物體檢測。DAL是按照這個視角開發(fā)的模板。DAL是一個非常優(yōu)雅的范例，具有簡潔的預(yù)測管道和易于訓練的過程。盡管在這些方面很簡單，但它極大地推動了激光雷達-攝像頭融合的3D物體檢測的性能邊界，并在速度和精度之間實現(xiàn)了最佳的平衡。因此，它對未來的工作和實際應(yīng)用來說都是一個很好的里程碑。

DAL中沒有考慮超出激光雷達范圍的對象。本文嘗試過通過僅使用點云特征預(yù)測密集的熱圖，并將其與使用融合特征預(yù)測的熱圖進行比較，來區(qū)分這種情況。然后，使用另一個FFN在融合特征上預(yù)測這些實例的回歸目標。然而，這種修改對最終準確性的貢獻較小。這是因為 nuScenes 中只注釋了具有 1 個以上激光雷達點的目標。此外，在 nuScenes 評估中，范圍足夠小，確保了足夠的激光雷達點用于預(yù)測回歸方面。

此外，nuScenes數(shù)據(jù)集中的簡單分類任務(wù)限制了DAL應(yīng)用SwinTransformer、DCN 和EfficientNet等高級圖像骨干。開放世界分類任務(wù)要復雜得多，因此也更加困難。因此，圖像分支在實踐中可以利用高級圖像骨干。

雖然DAL有一個無注意力的預(yù)測管道，但它只是一個揭示“檢測作為標記”價值的模板。因此，本文使用最經(jīng)典的算法，而不應(yīng)用注意力。然而，本文并沒有有意將其排除在DAL之外。相反，本文認為注意力是一種吸引人的機制，可以在許多方面進一步發(fā)展DAL。例如，本文可以應(yīng)用像UniTR 這樣的高級DSVT主干，應(yīng)用基于注意力的LiDAR-相機融合，如CMT，以及應(yīng)用基于注意力的稀疏檢測范式，如DETR。

原文鏈接：https://mp.weixin.qq.com/s/NQ9LIAxsN4Azj0Nj7fV10w