本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫(xiě)在前面&筆者的個(gè)人理解

這篇論文關(guān)注的主要問(wèn)題是3D目標(biāo)檢測(cè)技術(shù)在自動(dòng)駕駛進(jìn)程中的應(yīng)用。盡管環(huán)視相機(jī)技術(shù)的發(fā)展為3D目標(biāo)檢測(cè)提供了高分辨率的語(yǔ)義信息，這種方法因無(wú)法精確捕獲深度信息和在惡劣天氣或低光照條件下的表現(xiàn)不佳等問(wèn)題而受限。針對(duì)這一問(wèn)題，論文提出了一種結(jié)合環(huán)視相機(jī)和經(jīng)濟(jì)型毫米波雷達(dá)傳感器的多模態(tài)3D目標(biāo)檢測(cè)新方法——RCBEVDet。

RCBEVDet的核心在于兩個(gè)關(guān)鍵設(shè)計(jì)：RadarBEVNet和Cross-Attention Multi-layer Fusion Module（CAMF）。RadarBEVNet旨在有效提取雷達(dá)特征，它包括雙流雷達(dá)主干網(wǎng)絡(luò)和RCS（雷達(dá)截面積）感知的BEV（鳥(niǎo)瞰圖）編碼器。這樣的設(shè)計(jì)利用點(diǎn)基和變換器基編碼器處理雷達(dá)點(diǎn)，通過(guò)交互更新雷達(dá)點(diǎn)特征，同時(shí)將雷達(dá)特定的RCS特性作為目標(biāo)大小的先驗(yàn)信息來(lái)優(yōu)化BEV空間的點(diǎn)特征分布。而CAMF模塊通過(guò)多模態(tài)交叉注意力機(jī)制解決了雷達(dá)點(diǎn)的方位誤差問(wèn)題，實(shí)現(xiàn)了雷達(dá)和相機(jī)的BEV特征圖的動(dòng)態(tài)對(duì)齊以及通過(guò)通道和空間融合層的多模態(tài)特征自適應(yīng)融合。

論文提出的新方法通過(guò)以下幾點(diǎn)實(shí)現(xiàn)對(duì)現(xiàn)有問(wèn)題的解決：

• 高效的雷達(dá)特征提取器：通過(guò)雙流雷達(dá)主干和RCS感知的BEV編碼器設(shè)計(jì)，專(zhuān)門(mén)針對(duì)雷達(dá)數(shù)據(jù)的特性進(jìn)行優(yōu)化，解決了使用為激光雷達(dá)設(shè)計(jì)的編碼器處理雷達(dá)數(shù)據(jù)的不足。
• 強(qiáng)大的雷達(dá)-相機(jī)特征融合模塊：采用變形的交叉注意力機(jī)制，有效處理環(huán)視圖像和雷達(dá)輸入之間的空間不對(duì)齊問(wèn)題，提高融合效果。

論文的主要貢獻(xiàn)如下：

1. 提出了一種新穎的雷達(dá)-相機(jī)多模態(tài)3D目標(biāo)檢測(cè)器RCBEVDet，實(shí)現(xiàn)了高精度、高效率和強(qiáng)魯棒性的3D目標(biāo)檢測(cè)。
2. 設(shè)計(jì)了針對(duì)雷達(dá)數(shù)據(jù)的高效特征提取器RadarBEVNet，通過(guò)雙流雷達(dá)主干和RCS感知BEV編碼器，提高了特征提取的效率和準(zhǔn)確性。
3. 引入了Cross-Attention Multi-layer Fusion模塊，通過(guò)變形交叉注意力機(jī)制實(shí)現(xiàn)了雷達(dá)和相機(jī)特征的精確對(duì)齊和高效融合。
4. 在nuScenes和VoD數(shù)據(jù)集上達(dá)到了雷達(dá)-相機(jī)多模態(tài)3D目標(biāo)檢測(cè)的新的最佳性能，同時(shí)在精度和速度之間實(shí)現(xiàn)了最佳平衡，并展示了在傳感器失效情況下的良好魯棒性。

詳解RCBEVDet

RadarBEVNet

RadarBEVNet是本論文提出的用于有效雷達(dá)BEV（鳥(niǎo)瞰圖）特征提取的網(wǎng)絡(luò)架構(gòu)，主要包括兩個(gè)核心組成部分：雙流雷達(dá)主干網(wǎng)絡(luò)和RCS（雷達(dá)截面積）感知的BEV編碼器。

Dual-stream radar backbone

雙流雷達(dá)主干網(wǎng)絡(luò)由點(diǎn)基主干和變換器基主干組成。點(diǎn)基主干網(wǎng)絡(luò)通過(guò)多層感知機(jī)（MLP）和最大池化操作學(xué)習(xí)局部雷達(dá)特征，其過(guò)程可以簡(jiǎn)化為以下公式：

這里的表示雷達(dá)點(diǎn)特征，通過(guò)MLP增加特征維度后，再通過(guò)最大池化操作提取全局信息并與高維特征連接。

變換器基主干則采用標(biāo)準(zhǔn)變換器塊，引入了距離調(diào)制的自注意力機(jī)制（DMSA），通過(guò)考慮雷達(dá)點(diǎn)之間的距離信息，優(yōu)化模型聚集鄰近信息的能力，促進(jìn)模型的收斂。DMSA機(jī)制調(diào)節(jié)的自注意力可以表示為：

RCS-aware BEV encoder

為了解決傳統(tǒng)雷達(dá)BEV編碼器產(chǎn)生的BEV特征稀疏性問(wèn)題，提出了RCS感知的BEV編碼器。它利用RCS作為目標(biāo)大小的先驗(yàn)信息，將雷達(dá)點(diǎn)特征散布到BEV空間中的多個(gè)像素上，而不是單一像素，以增加BEV特征的密度。該過(guò)程通過(guò)以下公式實(shí)現(xiàn)：

其中，為基于RCS的高斯式BEV權(quán)重圖，通過(guò)最大化所有雷達(dá)點(diǎn)的權(quán)重圖來(lái)優(yōu)化。最終，將RCS散布得到的特征與連接并通過(guò)MLP處理，得到最終的RCS感知BEV特征。

整體而言，RadarBEVNet通過(guò)結(jié)合雙流雷達(dá)主干網(wǎng)絡(luò)和RCS感知的BEV編碼器，高效地提取雷達(dá)數(shù)據(jù)的特征，并通過(guò)RCS作為目標(biāo)大小的先驗(yàn)，優(yōu)化了BEV空間的特征分布，為之后的多模態(tài)融合提供了強(qiáng)大的基礎(chǔ)。

Cross-Attention Multi-layer Fusion Module

Cross-Attention Multi-layer Fusion Module (CAMF)是一種用于動(dòng)態(tài)對(duì)齊和融合多模態(tài)特征的高級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，特別針對(duì)雷達(dá)和相機(jī)生成的鳥(niǎo)瞰圖（BEV）特征的動(dòng)態(tài)對(duì)齊和融合設(shè)計(jì)。這一模塊主要解決了由于雷達(dá)點(diǎn)云的方位誤差導(dǎo)致的特征不對(duì)齊問(wèn)題，通過(guò)變形的交叉注意力機(jī)制（Deformable Cross-Attention），有效地捕獲雷達(dá)點(diǎn)的微小偏差，并減少了標(biāo)準(zhǔn)交叉注意力的計(jì)算復(fù)雜度。

CAMF利用變形交叉注意力機(jī)制來(lái)對(duì)齊相機(jī)和雷達(dá)的BEV特征。給定相機(jī)和雷達(dá)的BEV特征和，首先給和添加可學(xué)習(xí)的位置嵌入，然后將轉(zhuǎn)換為查詢和參考點(diǎn)，作為鍵和值。多頭變形交叉注意力的計(jì)算可以表示為：

其中表示注意力頭的索引，表示采樣鍵的索引，是總的采樣鍵數(shù)。表示采樣偏移，是由和計(jì)算得到的注意力權(quán)重。

在通過(guò)交叉注意力對(duì)齊相機(jī)和雷達(dá)的BEV特征之后，CAMF使用通道和空間融合層來(lái)聚合多模態(tài)BEV特征。具體地，首先將兩個(gè)BEV特征串聯(lián)為，然后將送入CBR（卷積-批歸一化-激活函數(shù)）塊并通過(guò)殘差連接獲得融合特征。CBR塊依次由一個(gè)的卷積層、一個(gè)批歸一化層和一個(gè)ReLU激活函數(shù)組成。之后，連續(xù)應(yīng)用三個(gè)CBR塊以進(jìn)一步融合多模態(tài)特征。

通過(guò)上述過(guò)程，CAMF有效地實(shí)現(xiàn)了雷達(dá)和相機(jī)BEV特征的精確對(duì)齊和高效融合，為3D目標(biāo)檢測(cè)提供了豐富而準(zhǔn)確的特征信息，從而提高了檢測(cè)性能。

相關(guān)實(shí)驗(yàn)

在VoD驗(yàn)證集上的3D目標(biāo)檢測(cè)結(jié)果比較中，RadarBEVNet通過(guò)融合相機(jī)和雷達(dá)數(shù)據(jù)，在整個(gè)標(biāo)注區(qū)域內(nèi)和興趣區(qū)域內(nèi)的平均精度（mAP）表現(xiàn)上均展現(xiàn)了優(yōu)秀的性能。具體來(lái)說(shuō)，對(duì)于整個(gè)標(biāo)注區(qū)域，RadarBEVNet在汽車(chē)、行人和騎行者的檢測(cè)上分別達(dá)到了40.63%、38.86%和70.48%的AP值，將綜合mAP提升到了49.99%。而在興趣區(qū)域，即靠近本車(chē)的駕駛通道內(nèi)，RadarBEVNet的表現(xiàn)更為突出，分別在汽車(chē)、行人和騎行者的檢測(cè)上達(dá)到了72.48%、49.89%和87.01%的AP值，綜合mAP達(dá)到了69.80%。

這些結(jié)果揭示了幾個(gè)關(guān)鍵點(diǎn)。首先，RadarBEVNet通過(guò)有效融合相機(jī)和雷達(dá)輸入，能夠充分利用兩種傳感器的互補(bǔ)優(yōu)勢(shì)，提升了整體的檢測(cè)性能。相較于僅使用雷達(dá)的方法如PointPillar和RadarPillarNet，RadarBEVNet在綜合mAP上有明顯的提升，這表明多模態(tài)融合對(duì)于提高檢測(cè)精度尤為重要。其次，RadarBEVNet在興趣區(qū)域內(nèi)的表現(xiàn)特別優(yōu)秀，這對(duì)于自動(dòng)駕駛應(yīng)用來(lái)說(shuō)尤為關(guān)鍵，因?yàn)榕d趣區(qū)域內(nèi)的目標(biāo)通常對(duì)即時(shí)駕駛決策影響最大。最后，雖然在汽車(chē)和行人的檢測(cè)上，RadarBEVNet的AP值略低于某些單一模態(tài)或其他多模態(tài)方法，但在騎行者檢測(cè)和綜合mAP表現(xiàn)上，RadarBEVNet展現(xiàn)了其綜合性能的優(yōu)勢(shì)。RadarBEVNet通過(guò)融合相機(jī)和雷達(dá)的多模態(tài)數(shù)據(jù)，實(shí)現(xiàn)了在VoD驗(yàn)證集上的優(yōu)異表現(xiàn)，特別是在對(duì)自動(dòng)駕駛至關(guān)重要的興趣區(qū)域內(nèi)展現(xiàn)了強(qiáng)大的檢測(cè)能力，證明了其作為一種有效的3D目標(biāo)檢測(cè)方法的潛力。

這個(gè)消融實(shí)驗(yàn)展示了RadarBEVNet在逐步添加主要組件時(shí)，對(duì)3D目標(biāo)檢測(cè)性能的持續(xù)改進(jìn)。從基準(zhǔn)模型BEVDepth開(kāi)始，每一步增加的組件都顯著提高了NDS（核心度量標(biāo)準(zhǔn)，反映了檢測(cè)精度和完整性）和mAP（平均精確度，反映了模型對(duì)目標(biāo)的檢測(cè)能力）。

1. 添加時(shí)間信息：通過(guò)引入時(shí)間信息，NDS和mAP分別提升了4.4和5.4個(gè)百分點(diǎn)。這表明時(shí)間信息對(duì)于提高3D目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性非常有效，可能是因?yàn)闀r(shí)間維度提供了額外的動(dòng)態(tài)信息，有助于模型更好地理解場(chǎng)景和目標(biāo)的動(dòng)態(tài)特性。
2. 加入PointPillar+BEVFusion（基于雷達(dá)和相機(jī)的融合）：這一步進(jìn)一步提升了NDS和mAP，分別增加了1.7和1.8個(gè)百分點(diǎn)。這說(shuō)明通過(guò)融合雷達(dá)和相機(jī)數(shù)據(jù)，模型能夠獲取更全面的場(chǎng)景理解，彌補(bǔ)了單一模態(tài)數(shù)據(jù)的局限。
3. 引入RadarBEVNet：NDS和mAP分別再次提升2.1和3.0個(gè)百分點(diǎn)。RadarBEVNet作為一個(gè)高效的雷達(dá)特征提取器，優(yōu)化了雷達(dá)數(shù)據(jù)的處理，提高了特征的質(zhì)量和有效性，這對(duì)于整體檢測(cè)性能的提升至關(guān)重要。
4. 添加CAMF（交叉注意力多層融合模塊）：通過(guò)精細(xì)的特征對(duì)齊和融合，NDS增加了0.7個(gè)百分點(diǎn)，mAP稍微提升到45.6，顯示出在特征融合方面的有效性。這一步驟的改進(jìn)雖然不如前幾步顯著，但依然證明了在多模態(tài)融合過(guò)程中，精確的特征對(duì)齊對(duì)于提高檢測(cè)性能的重要性。
5. 加入時(shí)間監(jiān)督：最后，引入時(shí)間監(jiān)督后，NDS微增0.4個(gè)百分點(diǎn)至56.8，而mAP略有下降0.3個(gè)百分點(diǎn)至45.3。這表明時(shí)間監(jiān)督能進(jìn)一步提升模型在時(shí)間維度的性能，盡管對(duì)mAP的貢獻(xiàn)可能受到特定實(shí)驗(yàn)設(shè)置或數(shù)據(jù)分布的影響而略顯限制。

總的來(lái)說(shuō)，這一系列的消融實(shí)驗(yàn)清晰地展示了RadarBEVNet中每個(gè)主要組件對(duì)于提高3D目標(biāo)檢測(cè)性能的貢獻(xiàn)，從時(shí)間信息的引入到復(fù)雜的多模態(tài)融合策略，每一步都為模型帶來(lái)了性能上的提升。特別是，對(duì)雷達(dá)和相機(jī)數(shù)據(jù)的精細(xì)處理和融合策略，證明了在復(fù)雜的自動(dòng)駕駛環(huán)境中，多模態(tài)數(shù)據(jù)處理的重要性。

討論

論文提出的RadarBEVNet方法通過(guò)融合相機(jī)和雷達(dá)的多模態(tài)數(shù)據(jù)，有效地提升了3D目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性，尤其在復(fù)雜的自動(dòng)駕駛場(chǎng)景中表現(xiàn)出色。通過(guò)引入RadarBEVNet和Cross-Attention Multi-layer Fusion Module（CAMF），RadarBEVNet不僅優(yōu)化了雷達(dá)數(shù)據(jù)的特征提取過(guò)程，還實(shí)現(xiàn)了雷達(dá)和相機(jī)數(shù)據(jù)之間精準(zhǔn)的特征對(duì)齊和融合，從而克服了單一傳感器數(shù)據(jù)使用中的局限性，如雷達(dá)的方位誤差和相機(jī)在低光照或惡劣天氣條件下的性能下降。

優(yōu)點(diǎn)方面，RadarBEVNet的主要貢獻(xiàn)在于其能夠有效處理并利用多模態(tài)數(shù)據(jù)之間的互補(bǔ)信息，提高了檢測(cè)的準(zhǔn)確度和系統(tǒng)的魯棒性。RadarBEVNet的引入使得雷達(dá)數(shù)據(jù)的處理更為高效，而CAMF模塊確保了不同傳感器數(shù)據(jù)之間的有效融合，彌補(bǔ)了各自的不足。此外，RadarBEVNet在實(shí)驗(yàn)中展現(xiàn)了在多個(gè)數(shù)據(jù)集上的優(yōu)異性能，尤其是在自動(dòng)駕駛中至關(guān)重要的興趣區(qū)域內(nèi)，顯示了其在實(shí)際應(yīng)用場(chǎng)景中的潛力。

缺點(diǎn)方面，盡管RadarBEVNet在多模態(tài)3D目標(biāo)檢測(cè)領(lǐng)域取得了顯著成果，但其實(shí)現(xiàn)的復(fù)雜性也相應(yīng)增加，可能需要更多的計(jì)算資源和處理時(shí)間，這在一定程度上限制了其在實(shí)時(shí)應(yīng)用場(chǎng)景中的部署。此外，雖然RadarBEVNet在騎行者檢測(cè)和綜合性能上表現(xiàn)優(yōu)秀，但在特定類(lèi)別上（如汽車(chē)和行人）的性能仍有提升空間，這可能需要進(jìn)一步的算法優(yōu)化或更高效的特征融合策略來(lái)解決。

總之，RadarBEVNet通過(guò)其創(chuàng)新的多模態(tài)融合策略，在3D目標(biāo)檢測(cè)領(lǐng)域展現(xiàn)了顯著的性能優(yōu)勢(shì)。盡管存在一些局限性，如計(jì)算復(fù)雜度較高和在特定檢測(cè)類(lèi)別上的性能提升空間，但其在提高自動(dòng)駕駛系統(tǒng)準(zhǔn)確性和魯棒性方面的潛力不容忽視。未來(lái)的工作可以聚焦于優(yōu)化算法的計(jì)算效率和進(jìn)一步提高其在各類(lèi)目標(biāo)檢測(cè)上的表現(xiàn)，以推動(dòng)RadarBEVNet在實(shí)際自動(dòng)駕駛應(yīng)用中的廣泛部署。

結(jié)論

論文通過(guò)融合相機(jī)和雷達(dá)數(shù)據(jù)，引入了RadarBEVNet和Cross-Attention Multi-layer Fusion Module（CAMF），在3D目標(biāo)檢測(cè)領(lǐng)域展現(xiàn)出顯著的性能提升，特別是在自動(dòng)駕駛的關(guān)鍵場(chǎng)景中表現(xiàn)優(yōu)異。它有效地利用了多模態(tài)數(shù)據(jù)之間的互補(bǔ)信息，提高了檢測(cè)準(zhǔn)確性和系統(tǒng)的魯棒性。盡管存在計(jì)算復(fù)雜度高和在某些類(lèi)別上性能提升空間的挑戰(zhàn)，\ours在推動(dòng)自動(dòng)駕駛技術(shù)發(fā)展，尤其是在提升自動(dòng)駕駛系統(tǒng)的感知能力方面，展現(xiàn)了巨大的潛力和價(jià)值。未來(lái)工作可以關(guān)注于優(yōu)化算法效率和進(jìn)一步提升檢測(cè)性能，以便更好地適應(yīng)實(shí)時(shí)自動(dòng)駕駛應(yīng)用的需求。