YoloCS：有效降低特征圖空間復(fù)雜度

作者：計(jì)算機(jī)視覺(jué)研究院 2024-06-05 09:35:00

在今天分享中，研究者檢查了在特征純化和梯度反向傳播過(guò)程中信道特征和卷積核之間的關(guān)聯(lián)，重點(diǎn)是網(wǎng)絡(luò)內(nèi)的前向和反向傳播。因此，研究者提出了一種稱為密集通道壓縮的特征空間固化方法。

本文經(jīng)計(jì)算機(jī)視覺(jué)研究院公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

論文地址：YOLOCS: Object Detection based on Dense Channel Compression for Feature Spatial Solidification (arxiv.org)

01 總述

在今天分享中，研究者檢查了在特征純化和梯度反向傳播過(guò)程中信道特征和卷積核之間的關(guān)聯(lián)，重點(diǎn)是網(wǎng)絡(luò)內(nèi)的前向和反向傳播。因此，研究者提出了一種稱為密集通道壓縮的特征空間固化方法。根據(jù)該方法的核心概念，引入了兩個(gè)用于骨干網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)的創(chuàng)新模塊：用于特征空間固化結(jié)構(gòu)的密集通道壓縮（DCFS）和非對(duì)稱多級(jí)壓縮解耦頭部（ADH）。當(dāng)集成到Y(jié)OLOv5模型中時(shí)，這兩個(gè)模塊表現(xiàn)出非凡的性能，從而產(chǎn)生了一個(gè)被稱為YOLOCS的改進(jìn)模型。

在MSCOCO數(shù)據(jù)集上評(píng)估，大、中、小YOLOCS模型的AP分別為50.1%、47.6%和42.5%。在保持與YOLOv5模型的推理速度顯著相似的情況下，大、中、小YOLOCS模型分別以1.1%、2.3%和5.2%的優(yōu)勢(shì)超過(guò)YOLOv5的AP。

02 背景

近年來(lái)，目標(biāo)檢測(cè)技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域受到了廣泛關(guān)注。其中，基于單發(fā)多框算法的目標(biāo)檢測(cè)技術(shù)（Single Shot Multi Box Detector，SSD）和基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)技術(shù)（Convolutional Neural Networks，CNN）是兩種最常用的目標(biāo)檢測(cè)技術(shù)。然而，由于單發(fā)多框算法的精度較低，而基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)技術(shù)的計(jì)算復(fù)雜度較高，因此，尋找一種高效且精度較高的目標(biāo)檢測(cè)技術(shù)成為了當(dāng)前研究的熱點(diǎn)之一。

Dense Channel Compression（DCC）是一種新型的卷積神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)，它通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)中的特征圖進(jìn)行空間固化，從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)參數(shù)的壓縮和加速。然而，DCC技術(shù)在目標(biāo)檢測(cè)領(lǐng)域的應(yīng)用尚未得到充分的研究。

因此，提出了一種基于Dense Channel Compression的目標(biāo)檢測(cè)技術(shù)，命名為YOLOCS（YOLO with Dense Channel Compression）。YOLOCS技術(shù)將DCC技術(shù)與YOLO（You Only Look Once）算法相結(jié)合，實(shí)現(xiàn)了對(duì)目標(biāo)檢測(cè)的高效且精度較高的處理。具體來(lái)說(shuō)，YOLOCS技術(shù)通過(guò)DCC技術(shù)對(duì)特征圖進(jìn)行空間固化，從而實(shí)現(xiàn)對(duì)目標(biāo)位置的精確定位；同時(shí)，YOLOCS技術(shù)利用YOLO算法的單發(fā)多框算法特點(diǎn)，實(shí)現(xiàn)對(duì)目標(biāo)類別分類的快速計(jì)算。

03 新框架

Dense Channel Compression for Feature Spatial Solidification Structure (DCFS)

在提出的方法中（上圖（c））中，研究者不僅解決了網(wǎng)絡(luò)寬度和深度之間的平衡問(wèn)題，還通過(guò)3×3卷積壓縮了來(lái)自不同深度層的特征，在輸出和融合特征之前將通道數(shù)量減少了一半。這種方法使研究者能夠在更大程度上細(xì)化來(lái)自不同層的特征輸出，從而在融合階段增強(qiáng)特征的多樣性和有效性。

此外，來(lái)自每一層的壓縮特征都帶有更大的卷積核權(quán)重（3×3），從而有效地?cái)U(kuò)展了輸出特征的感受野。將這種方法稱為特征空間固化的密集通道壓縮。用于特征空間固化的密集通道壓縮背后的基本原理依賴于利用較大的卷積核來(lái)促進(jìn)通道壓縮。該技術(shù)具有兩個(gè)關(guān)鍵優(yōu)點(diǎn)：首先，它擴(kuò)展了前向傳播過(guò)程中特征感知的感受域，從而確保了區(qū)域相關(guān)的特征細(xì)節(jié)被納入，以最大限度地減少整個(gè)壓縮階段的特征損失。其次，誤差反向傳播過(guò)程中誤差細(xì)節(jié)的增強(qiáng)允許更準(zhǔn)確的權(quán)重調(diào)整。

為了進(jìn)一步闡明這兩個(gè)優(yōu)點(diǎn)，使用具有兩種不同核類型（1×1和3×3）的卷積來(lái)壓縮兩個(gè)通道，如下圖：

DCFS的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。采用三層瓶頸結(jié)構(gòu)，在網(wǎng)絡(luò)前向傳播的過(guò)程中逐漸壓縮信道。半通道3×3卷積應(yīng)用于所有分支，然后是批處理歸一化（BN）和激活函數(shù)層。隨后，使用1×1卷積層來(lái)壓縮輸出特征通道，以匹配輸入特征通道。

Asymmetric Multi-level Channel Compression Decoupled Head (ADH)

為了解決YOLOX模型中的解耦頭問(wèn)題，研究者進(jìn)行了一系列的研究和實(shí)驗(yàn)。研究結(jié)果揭示了解耦頭部結(jié)構(gòu)的利用與相關(guān)損失函數(shù)之間的邏輯相關(guān)性。具體而言，對(duì)于不同的任務(wù)，應(yīng)根據(jù)損失計(jì)算的復(fù)雜性調(diào)整解耦頭的結(jié)構(gòu)。此外，當(dāng)將解耦的頭部結(jié)構(gòu)應(yīng)用于各種任務(wù)時(shí)，由于最終輸出維度的差異，將前一層的特征通道（如下圖）直接壓縮為任務(wù)通道可能會(huì)導(dǎo)致顯著的特征損失。這反過(guò)來(lái)又會(huì)對(duì)模型的整體性能產(chǎn)生不利影響。

此外，當(dāng)考慮提出的用于特征空間固化的密集通道壓縮方法時(shí)，直接減少最終層中的通道數(shù)量以匹配輸出通道可能會(huì)導(dǎo)致前向傳播過(guò)程中的特征丟失，從而降低網(wǎng)絡(luò)性能。同時(shí)，在反向傳播的背景下，這種結(jié)構(gòu)可能會(huì)導(dǎo)致次優(yōu)誤差反向傳播，阻礙梯度穩(wěn)定性的實(shí)現(xiàn)。為了應(yīng)對(duì)這些挑戰(zhàn)，引入了一種新的解耦頭，稱為非對(duì)稱多級(jí)通道壓縮解耦頭（如下圖（b））。

具體而言，研究者深化了專用于目標(biāo)評(píng)分任務(wù)的網(wǎng)絡(luò)路徑，并使用3個(gè)卷積來(lái)擴(kuò)展該任務(wù)的感受野和參數(shù)數(shù)量。同時(shí)，沿著通道維度壓縮每個(gè)卷積層的特征。該方法不僅有效地減輕了與目標(biāo)評(píng)分任務(wù)相關(guān)的訓(xùn)練難度，提高了模型性能，而且大大減少了解耦頭部模塊的參數(shù)和GFLOP，從而顯著提高了推理速度。此外，使用1卷積層來(lái)分離分類和邊界框任務(wù)。這是因?yàn)閷?duì)于匹配的正樣本，與兩個(gè)任務(wù)相關(guān)聯(lián)的損失相對(duì)較小，因此避免了過(guò)度擴(kuò)展。這種方法大大降低了解耦頭中的參數(shù)和GFLOP，最終提高了推理速度。