arXiv綜述論文“Collaborative Perception for Autonomous Driving: Current Status and Future Trend“，2022年8月23日，上海交大。

感知是自主駕駛系統的關鍵模塊之一，然而單車的有限能力造成感知性能提高的瓶頸。為了突破單個感知的限制，提出協同感知，使車輛能夠共享信息，感知視線之外和視野以外的環境。本文回顧了很有前途的協同感知技術相關工作，包括基本概念、協同模式以及關鍵要素和應用。最后，討論該研究領域的開放挑戰和問題，并給出進一步方向。

如圖所示，單個感知的兩個重要問題是，遠距離遮擋和稀疏數據。這些問題的解決方案是，同一區域內的車輛彼此共享共同感知信息（CPM，collective perception message），協同感知環境，稱為協同感知或協作感知。

得益于通信基礎設施的建設和V2X等通信技術的發展，車輛可以以可靠的方式交換信息，從而實現協作。最近的工作表明，車輛之間的協同感知可以提高環境感知的準確性以及交通系統的魯棒性和安全性。

此外，自動駕駛車輛通常配備高保真傳感器以實現可靠的感知，造成昂貴的成本。協同感知可以緩解單個車輛對感知設備的苛刻要求。

協同感知與附近的車輛和基礎設施共享信息，使自主車輛能夠克服某些感知限制，如遮擋和短視野。然而，實現實時和魯棒的協同感知需要解決通信容量和噪聲帶來的一些挑戰。最近，有一些工作研究了協同感知的策略，包括什么是協同、何時協同、如何協同、共享信息的對齊等。

類似于融合，協同的分類也有4類：

1 早期協同

早期協同在輸入空間中進行協同，在車輛和基礎設施之間共享原始感官數據。它匯總了所有車輛和基礎設施的原始測量值，得到一個整體觀點。因此，每個車輛都可以進行以下處理，并基于整體視角完成感知，這可以從根本上解決單體感知中出現的遮擋和遠距離問題。

然而，共享原始感官數據需要大量通信，并且容易使通信網絡因數據負載過大而擁塞，這在大多數情況下阻礙了其實際應用。

2. 后期協同

后期協同在輸出空間中進行協同，這促進了每個智體輸出的感知結果融合，實現細化。

雖然后期協同具有帶寬經濟性，但它對智體的定位誤差非常敏感，并且由于不完全的局部觀測而遭受高估計誤差和噪聲。

3 中間協同

中間協同在中間特征空間中進行協同。它能夠傳輸單獨智體預測模型生成的中間特征。融合這些特征后，每個智體對融合的特征進行解碼并產生感知結果。從概念上講，可以將代表性信息壓縮到這些特征中，與早期協同相比，可以節省通信帶寬，與后期協同相比，還可以提高感知能力。

在實踐中，這種協同策略的設計在算法上具有兩個方面的挑戰性：i）如何從原始測量中選擇最有效和緊湊的特征進行傳輸；以及ii）如何最大限度地融合其他智體的特征以增強每個智體的感知能力。

4 混合協同

如上所述，每種協同模式都有其優缺點。因此，一些工作采用了混合協同，將兩種或多種協同模式結合起來，以優化協同策略。

協同感知的主要因素包括：

1 協同圖

圖是協同感知建模的有力工具，因為它建模非歐數據結構有良好的可解釋性。在一些工作中，參與協同感知的車輛組成一個完整的協同圖，其中每個車輛是一個節點，兩個車輛之間的協同關系是這兩個節點之間的邊。

2 姿態對齊

由于協同感知需要在不同位置和不同時間融合來自車輛和基礎設施的數據，因此實現精確的數據對齊對于成功協同至關重要。

3 信息融合

信息融合是多智體系統的核心組成部分，其目標是以有效的方式融合來自其他智體的信息量最大的部分。

4 基于強化學習的資源分配

現實環境中有限的通信帶寬要求充分利用可用的通信資源，這使得資源分配和頻譜共享非常重要。在車輛通信環境中，快速變化的信道條件和日益增長的服務需求使得分配問題的優化非常復雜，難以使用傳統的優化方法來解決。一些工作利用多智體強化學習（MARL）來解決優化問題。

協同感知的應用：

1 3D 目標檢測

基于激光雷達點云的3D目標檢測是協同感知研究中最受關注的問題。原因如下：i）激光雷達點云比圖像和視頻具有更多的空間維度。ii）激光雷達點云可以在一定程度上保留個人信息，如人臉和車牌號。iii）點云數據是用于融合的適當數據類型，因為當點云數據從不同的姿態對齊時，其損失比像素少。iv）3D目標檢測是自主駕駛感知的一項基本任務，跟蹤和運動預測等許多任務都基于此。

2 語義分割

3D場景的語義分割也是自動駕駛所需的關鍵任務。3D場景目標的協同語義分割，給定來自多個智體的3D場景觀察（圖像、激光雷達點云等），為每個智體生成語義分割掩碼。?

挑戰性問題：

1 通信魯棒性

有效的協統依賴于智體之間的可靠通信。然而，通信在實踐中并不完美：i）隨著網絡中車輛數量的增加，每輛車的可用通信帶寬有限；ii）由于不可避免的通信延遲，車輛難以從其他車輛接收實時信息；iii）通信有時可能中斷，導致通信中斷；iv）V2X通信遭受破壞，無法始終提供可靠服務。盡管通信技術不斷發展，通信服務質量不斷提高，但上述問題仍將長期存在。然而，大多數現有的工作都假設信息可以以實時和無損的方式共享，因此考慮這些通信約束并設計魯棒的協同感知系統對于進一步的工作具有重要意義。

2 異質性和跨模態

大多數協統感知工作關注基于激光雷達點云的感知。然而，有更多類型的數據可用于感知，如圖像和毫米波雷達點云。這是一種利用多模態傳感器數據進行更有效協作的潛在方法。此外，在某些場景中，有不同級別的自動車輛提供不同質量的信息。因此，如何在異構車輛網絡中進行協同是協同感知進一步實際應用的問題。不幸的是，很少有工作關注異構和跨模態的協作感知，這個也成為一個開放的挑戰。

3 大規模數據集

大規模數據集和深度學習方法的發展提高了感知性能。然而，協同感知研究領域的現有數據集要么規模小，要么不公開。

缺乏公共大規模數據集阻礙了協同感知的進一步發展。此外，大多數數據集基于模擬。雖然仿真是驗證算法的經濟和安全的方法，但真實的數據集也是需要的，可將協同感知應用于實踐。