在深度神經網絡時代，深度神經網絡（DNNs）在視覺分類任務中展現出了卓越的準確性。然而，它們對額外噪聲，即對抗性攻擊，表現出了脆弱性。先前的研究假設這種脆弱性可能源于高準確度的深度網絡過度依賴于與紋理和背景等無關緊要且不魯棒的特征。

最近的AAAI 2024學術會議上，悉尼大學的研究人員們揭示了「從圖像中提取的邊緣信息」能夠提供與形狀和前景相關的相關性強且魯棒的特征。

論文鏈接：https://ojs.aaai.org/index.php/AAAI/article/view/28110

這些特征在幫助預訓練深度網絡改善對抗魯棒性的同時，還不影響其在清晰圖像上的準確性。

作者們提出了一種輕量級且即插即用的EdgeNet，可以無縫集成到現有的預訓練深度網絡中，包括Vision Transformers （ViTs），這是最新一代用于視覺分類的先進模型家族。

EdgeNet可以處理從干凈的自然圖像或嘈雜的對抗性圖像中提取的邊緣，產生魯棒的特征，可以注入到預訓練好并被凍結的的骨干深度網絡的中間層。

值得注意的是，這種方法帶來的額外成本極低：使用傳統的邊緣檢測算法（例如文中所用的 Canny 邊緣檢測器）獲取這些邊緣的成本與深度網絡的推理成本相比微乎其微；而訓練EdgeNet 的成本則與使用諸如 Adapter 等技術對骨干網絡進行微調的成本不相上下。

EdgeNet 架構

為了將圖像中的邊緣信息注入到預訓練的骨干網絡中，作者引入了一個名為 EdgeNet 的側支網絡。這個輕量級、即插即用的側枝網絡可以無縫地集成到現有的預訓練深度網絡中，包括像 ViTs 這樣的最新模型。

EdgeNet 通過處理從輸入圖像中提取的邊緣信息運行。這個過程產生了一組具有魯棒性的特征，可以被選擇性地注入到預訓練好并被凍結的骨干深度網絡的中間層。

通過注入這些魯棒特征，能夠提升網絡在防御對抗性擾動方面的能力。同時，由于骨干網絡是被凍結的，而新特征的注入是有選擇性的，所以可以保持預訓練網絡在識別未經擾動的清晰圖像方面的準確性。

如圖所示，作者在原有的構建塊基礎上，以一定間隔 N 插入新的 EdgeNet 構建塊。新的中間層輸出可以由以下公式表示：

EdgeNet 構建塊

為了實現選擇性特征提取和選擇性特征注入，這些 EdgeNet 構建塊采取了一種“三明治”結構：每個塊的前后都添加了零卷積（zero convolution）來控制輸入與輸出。在這兩個零卷積之間是一個具有隨機初始化的、與骨干網絡架構相同的 ViT block

利用零輸入，充當提取與優化目標相關信息的過濾器；利用零輸出， 充當確定要集成到骨干中的信息的過濾器。此外，通過零初始化，可以確保了骨干內的信息流保持不受影響。因此，對 EdgeNet 的后續微調變得更加簡化。

訓練目標

在訓練 EdgeNet 的過程中，預訓練好的 ViT 骨干網絡除了分類頭均被凍結住，不進行更新。優化目標僅專注于為邊緣特征引入的 EdgeNet 網絡，以及骨干網絡內的分類頭。在這里，作者采用了一個非常簡化的聯合優化目標以保障訓練的效率：

在公式 9 中，α 是準確性損失函數的權重，β 是魯棒性損失函數的權重。通過調整 α 和 β 的大小，可以微調 EdgeNet 訓練目標的平衡性，以達到在提升其魯棒性的同時不顯著損失準確性的目的。

實驗結果

作者們在 ImageNet 數據集上針對兩大類魯棒性進行了測試。

第一類是抵御對抗攻擊的魯棒性，包括白盒攻擊與黑盒攻擊；

第二類是抵御一些常見的擾動的魯棒性，包括 ImageNet-A 中的自然對抗樣本（Natural Adversarial Examples），ImageNet-R 中的分布外數據（Out-of-Distribution Data）和 ImageNet-C 中的常見數據扭曲（Common Corruptions）。

作者還針對不同擾動下提取到的邊緣信息進行了可視化。

網絡規模與性能測試

在實驗部分，作者首先測試了不同規模 EdgeNet 的分類性能和計算開銷（Table 1）。在綜合考慮分類性能和計算計算開銷后，他們確定 #Intervals = 3的配置為最佳設置。

在這個配置中，EdgeNet 與基準模型相比獲得了顯著的準確度和魯棒性提升。它在分類性能、計算要求和魯棒性之間取得了平衡的妥協。

該配置在保持合理的計算效率的同時，在清晰準確度和魯棒性方面取得了實質性的增益。

準確性與魯棒性對比

作者將他們提出的 EdgeNet 與5個不同類別的 SOTA 方法進行了對比（Table 2）。這些方法包括在自然圖像上訓練的 CNNs、魯棒的 CNNs、在自然圖像上訓練的 ViTs、魯棒的ViTs 和經過魯棒微調的ViTs。

考慮的指標包括在對抗攻擊（FGSM 和 PGD）下的準確性、在ImageNet-A上的準確性以及在ImageNet-R上的準確性。

此外，還報告了ImageNet-C 的平均錯誤（mCE），較低的值表示更好的性能。實驗結果表明 EdgeNet 在面對 FGSM 和 PGD 攻擊時展現出卓越的性能，同時在清晰的 ImageNet-1K 數據集及其變體上表現出與先前 SOTA 方法相持平的水平。

除此之外，作者還開展了黑盒攻擊的實驗（Table 3）。實驗結果表明，EdgeNet 也能十分有效的抵擋黑盒攻擊。

結論

在這項工作中，作者提出了一種名為 EdgeNet 的新方法，它通過利用從圖像中提取到的邊緣信息，可以提升深度神經網絡（特別是 ViTs）的魯棒性。

這是一個輕量級且可以無縫集成到現有網絡中的模塊，它能夠有效的提高對抗性魯棒性。實驗證明，EdgeNet 具有高效性——它僅帶來了極小的額外計算開銷。

此外 EdgeNet 在各種魯棒基準上具有廣泛適用性。這使其成為該領域引人注目的進展。

此外，實驗結果證實，EdgeNet 可以有效抵抗對抗性攻擊，并能在干凈圖像上保持的準確性，這突顯了邊緣信息在視覺分類任務中作為魯棒且相關特征的潛力。

值得注意的是，EdgeNet 的魯棒性不僅限于對抗性攻擊，還涵蓋了涉及自然對抗性示例（ImageNet-A）、分布之外的數據（ImageNet-R）和常見破壞（ImageNet-C）情景。

這種更廣泛的應用凸顯了EdgeNet的多功能性，并顯示其作為視覺分類任務中多樣挑戰的全面解決方案的潛力。