本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

車路協同的同步駕駛數據

車路協同輔助的自動駕駛V2X-AD（Vehicle-to-everything-aided autonomous driving）在提供更安全的駕駛策略方面具有巨大潛力。研究者們在V2X-AD的交通和通信層面進行了大量的研究，但是這些基礎設施和通信資源在提高駕駛性能方面的效果仍未得到充分探索。這突顯了研究協同自動駕駛的必要性，即如何設計面向駕駛規劃的高效信息共享策略，從而提高每輛汽車駕駛性能。這需要兩個關鍵的基礎條件：一個能夠為V2X-AD提供數據環境的平臺，以及一個具有駕駛相關完整功能以及信息共享機制的端到端駕駛系統。

為此，來自上海交通大學和上海人工智能實驗室的研究者們在新的研究文章《Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System》提出了CoDriving: 一種端到端協同駕駛系統，該系統利用一種面向駕駛規劃的信息共享策略實現了通信高效的協作。同時，本文研究者們搭建了仿真平臺V2Xverse，該平臺為協同駕駛提供了完整的訓練測試環境，包含車路協同駕駛數據集的生成、全棧協同駕駛系統的部署、以及可定制場景下的閉環駕駛性能評估和駕駛子任務評估。

同時，仿真平臺V2Xverse集成了多個現有協同感知方法的訓練和部署測試代碼，用多種測試任務檢驗綜合的駕駛功能：3D目標檢測，路徑規劃，閉環自動駕駛。V2Xverse突破了現有協同感知方法只能“看”不能“控制”的局限性，支持將現有的協同感知方法嵌入到完整的駕駛系統，并在仿真環境中測試駕駛性能。本文的研究者們相信這將為自動駕駛中基于視覺的車路協同研究帶來更好的功能延展和更貼合實際駕駛場景的測試基準。

• 論文鏈接：https://arxiv.org/pdf/2404.09496
• 代碼鏈接：https://github.com/CollaborativePerception/V2Xverse

研究背景和意義

本文的研究關注基于V2X(Vehicle-to-everything)通信的協同自動駕駛。相比于單車自動駕駛，協同自動駕駛通過車輛與周圍環境（如路邊單元、智能設備裝備的行人等）之間的信息交換提升車輛感知能力與駕駛性能，這將有利于視野受限的復雜場景（如圖 1）下的安全駕駛。

圖 1. 危險的“鬼探頭”場景，單車無法感知被遮擋的物體

然而，目前基于V2X的車路協同工作大多專注于優化模塊級感知能力，如何將協作感知能力用于提升集成系統中的最終駕駛性能仍然缺乏足夠的探索。

為了解決這一問題，本文旨在將協同感知能力擴展為涵蓋全面駕駛能力的協同駕駛系統，包含感知，預測、規劃和控制等關鍵模塊。實現協同自動駕駛需要兩個關鍵基礎：一個能夠為V2X-AD提供數據環境的平臺；二是集成了完整駕駛相關功能和信息共享機制的端到端駕駛系統。從平臺的角度，本工作搭建了V2Xverse，這是一個綜合的協同自動駕駛仿真平臺，提供了從車路協同駕駛數據集生成到全棧協作駕駛系統的部署和閉環駕駛性能評估的完整流程。從駕駛系統的角度，本文介紹了CoDriving，一種新的端到端協作駕駛系統，該系統在完整的自動駕駛框架中設計并嵌入了基于V2X通信的協作模塊，通過共享感知信息提升協同駕駛性能。CoDriving的核心思想是一種新的面向駕駛規劃的信息共享策略，使用在空間上稀疏但對駕駛重要的視覺特征信息作為通信內容，在優化通信效率的同時提高駕駛性能。

V2Xverse: 車路協同駕駛仿真平臺

本文提出的V2Xverse的關鍵特征是能夠實現與駕駛相關的子任務的離線基準生成和不同場景下駕駛性能的在線閉環評估，全面支持協同自動駕駛系統的開發。為了創建V2X-AD場景，V2Xverse在場景中設置了多輛配備了完整的駕駛能力的智能車，并通過一定策略在道路兩旁放置路邊單元，從而為智能車提供補充視野。為了支持協同自動駕駛方法的開發，V2Xverse首先提供了(車輛-車輛)以及(車輛-路邊單元)的通信模塊，并且為系統訓練提供了完整的駕駛信號和專家標注，還為閉環駕駛評估提供了多種危險場景。仿真平臺框架見圖 2。

圖 2. V2Xverse 仿真平臺框架

與現有基于Carla的自動駕駛仿真平臺相比，V2Xverse具有三個優勢。首先，V2Xverse支持多車駕駛模擬，而主流的carla-leaderboard及其衍生平臺僅支持單車駕駛模擬。第二，V2Xverse支持全駕駛功能模擬，而現有的協同感知仿真平臺只支持與感知模塊相關的功能。第三，V2Xverse支持全面的V2X-AD場景，包括多樣化的傳感器設備、模型集成和靈活的場景定制；見表 1。

表 1. V2Xverse 與現有基于Carla的自動駕駛仿真平臺的比較

CoDriving: 面向高效協作的端到端自駕模型

CoDriving包括兩個組成部分（見圖 3）：1）端到端的單車自動駕駛網絡，將傳感器輸入轉換為駕駛控制信號；2）面向駕駛的協作，協作者通過共享對駕駛關鍵的感知特征來實現高效通信，并通過特征聚合來增強單車BEV感知特征，增強后的感知特征將有利于系統產生更準確的感知識別結果和規劃預測結果。

圖 3. CoDriving的整體框架

端到端自動駕駛網絡

端到端單車自動駕駛網絡基于來自不同模態的輸入來學習輸出路徑點預測，并通過一個控制模塊將路徑點轉換為駕駛控制信號。為了實現這一點，CoDriving將駕駛所需的模塊化組件集成到一個端到端的系統中，包括3D目標檢測器、路徑點預測器和控制器。CoDriving使用鳥瞰圖（BEV）表示，因為它提供了一個統一的全局坐標系，避免了復雜的坐標轉換，更好地支持基于空間信息的協作。

面向駕駛的協作策略

V2X協作通過信息共享解決單車不可避免的可見性受限問題。在這項工作中，本文提出了一種新的面向駕駛的協作策略，以同時優化駕駛性能和通信效率。該方案包括 i）基于駕駛意圖的感知通信，CoDriving通過一個駕駛請求模塊交換空間稀疏但對駕駛關鍵的BEV感知特征；以及 ii）BEV特征增強，CoDriving利用接收到的特征信息增強每個協作車輛的BEV感知特征。增強后的BEV特征將有利于系統產生更準確的感知識別結果和規劃預測結果。

實驗結果

利用V2Xverse仿真平臺，本文在閉環駕駛，3D目標檢測，路徑點預測三個任務上對CoDriving的性能進行了檢驗。在關鍵的閉環駕駛測試中，相比于之前的單車端到端自動駕駛的SOTA方法， CoDriving的駕駛分數顯著地提升了62.49%，行人碰撞率下降了53.50%。在目標檢測與路徑點預測任務中，CoDriving相比于其他協同方法表現更好，見表 2。

表 2. CoDriving 在閉環駕駛任務中優于SOTA的單體駕駛方法，在模塊化的感知和規劃子任務中優于其他協同感知方法

本文同時對CoDriving在不同通信帶寬下的協作表現進行了驗證，在閉環駕駛，3D目標檢測，路徑點預測三個任務上，CoDriving在不同的通信帶寬限制下優于其他協作方法，見圖 4。

圖 4. CoDriving 在不同通信帶寬下的協作表現

圖 5展示了CoDriving在V2Xverse仿真環境中的駕駛案例。在圖 5的場景中，一個視野盲區的行人突然沖出馬路，可以看到單車自動駕駛視野受限，無法提前規避行人，造成了嚴重的車禍事故。而CoDriving利用路邊單元的共享視野特征提前探測到了行人，從而安全避讓。

圖 5(1). 相比于視野受限的單車自駕，CoDriving 利用路邊單元提供的信息檢測到了視野盲區的行人圖 5(2). CoDriving成功規避行人，而單車自駕避讓不及時造成了碰撞事故

總結

本工作通過搭建仿真平臺V2Xverse來幫助協同自動駕駛方法的開發，并提出了一種新的端到端自駕系統。其中，V2Xverse是一個支持閉環駕駛測試的V2X協同駕駛仿真平臺，該平臺為開發以提升最終駕駛性能為目標的協同自動駕駛系統提供了完整的開發渠道。值得一提的是，V2Xverse也支持多種現有單車自動駕駛系統的部署，以及多種現有協同感知方法的訓練和閉環駕駛測試。同時，本文提出了一種新的端到端協同自動駕駛系統CoDriving，該系統通過共享駕駛關鍵感知信息來提高駕駛性能并優化通信效率。對整個駕駛系統的綜合評估表明，CoDriving在不同的通信帶寬上顯著優于單車自駕系統。本文的研究者們相信V2Xverse平臺和CoDriving系統為更可靠的自動駕駛提供了潛在的解決方案。