旋轉角度目標檢測的重要性！

作者：計算機視覺研究院 2024-06-21 10:20:28

任意方向的目標檢測是一項具有挑戰性的任務。由于遙感圖像中的物體方向是任意的，使用水平邊界框會導致檢測精度低。現有的基于回歸的旋轉檢測器會導致邊界不連續的問題。

本文經計算機視覺研究院公眾號授權轉載，轉載請聯系出處。

論文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9521517

一、背景

目標檢測是計算機視覺中的一項基本任務，許多研究人員已經應用水平邊界框來定位圖像中的物體。水平邊界框的使用可以使候選區域的表示更加簡潔直觀。在許多基于深度學習的方法中，往往需要大量標記樣本來訓練目標檢測器模型，使用軸平行標記框可以大大提高標記效率，快速獲取大量標記樣本。此外，水平邊界框涉及的參數較少，簡化了檢測模型的訓練過程。因此，在大多數目標檢測方法中，使用水平邊界框來表示遙感圖像中目標的大致范圍，如下圖所示。

然而，航拍圖像中的物體通常是任意方向的。因此，使用水平邊界框來檢測目標會引起幾個問題。首先，這種類型的物體檢測框通常包含許多背景區域。如上圖(a)所示，圖中大約60%的區域屬于背景區域。檢測框內存在過多的背景區域，不僅增加了分類任務的難度，而且會導致目標范圍表示不準確的問題。其次，水平邊界框會導致檢測框之間出現強烈重疊，如上圖（b）所示，降低檢測精度。最后，由于飛機、船舶、車輛等圖像中的物體包含運動方向信息，如果使用水平邊界框，則無法獲得目標運動方向的信息。

上述三個問題可以通過使用帶有角度信息的旋轉檢測框有效解決，如上圖所示。首先，旋轉檢測可以精確定位圖像中的物體，并且邊界框幾乎不包含背景區域，從而減少背景對物體分類的影響。其次，旋轉檢測框之間幾乎沒有重疊，從而可以更清晰地識別框內包含的物體。最后，可以從旋轉檢測框粗略得到物體的運動方向信息，從而判斷物體的運動軌跡。綜上所述，在遙感圖像目標檢測任務中使用帶有角度信息的旋轉檢測框獲得了優越的性能。

二、前言

在今天的分享中，研究者提出了一種基于角度分類的遙感圖像目標檢測方法，該方法使用帶有角度信息的旋轉檢測邊界框來檢測對象。具體來說，研究者將神經架構搜索框架與特征金字塔網絡 (NAS-FPN) 模塊結合到密集檢測器 (RetinaNet) 中，并在角度分類中使用二進制編碼方法。這種方法減少了背景影響，使得檢測框之間幾乎沒有重疊。根據檢測框的角度，我們可以推斷出目標的運動方向信息，進一步確定目標的運動軌跡。

研究者對一個可用于航空影像 (DOTA) 中的目標檢測的大型公共數據進行了消融實驗，以驗證該方法中每個模塊的有效性，并將該方法與其他幾種檢測方法進行比較。實驗結果證明了新提出方法的有效性。

三、新框架

新提出的旋轉檢測器框架如上圖所示。網絡基于RetinaNet框架。圖中標記為C2、C3、C4的特征圖是由深度卷積神經網絡提取的。該方法的總體步驟如下：首先利用特征提取網絡對遙感圖像中的特征進行提取，利用NAS-FPN對提取的特征進行融合，得到不同尺度的特征圖。然后，使用長邊定義方法來表示旋轉檢測框，并在框回歸任務中使用二進制編碼標記技術將角度回歸問題轉化為角度分類問題。下面詳細描述該方法中的一些重要結構。

NAS-FPN

在NAS-FPN中，最重要的結構是由特征圖節點集合、操作池和搜索終止條件組成的合并單元結構。下圖簡要描述了特征圖的搜索過程。