強化學習成幫兇，對抗攻擊LLM有了新方法
事物都有多面性，正如水，既能載舟，亦能覆舟，還能煮粥。強化學習也是如此。它既能幫助 AlphaGo 擊敗頂級圍棋棋手，還能幫助 DeepSeek-R1 獲得強大的推理能力，但它也可能被惡意使用，成為攻擊 AI 模型的得力武器。
近日，威斯康星大學麥迪遜分校的一個研究團隊發(fā)現(xiàn)，可以通過強化學習對模型實施有效的黑盒逃避攻擊（Black-Box Evasion Attacks）。研究團隊表示：「從安全角度來看，這項工作展示了一種強大的新攻擊媒介，即使用強化學習來有效且大規(guī)模地攻擊機器學習模型。」
- 論文標題：Adversarial Agents: Black-Box Evasion Attacks with Reinforcement Learning
- 論文地址：https://arxiv.org/pdf/2503.01734
下面我們就來簡單看看這項研究。
首先，為什么要研究如何攻擊模型？答案自然是為了安全。
現(xiàn)在 AI 發(fā)展迅猛，各種應用層出不窮，并且已經給許多領域帶來了巨大變革。而隨著應用的普及，攻擊這些模型也漸漸開始變得有利可圖，其中一類攻擊方式是：生成能夠欺騙 AI 模型的輸入，從而繞過安全過濾器。這個領域被稱為對抗機器學習（AML），研究的是能針對目標模型生成對抗樣本的算法。
現(xiàn)有的 AML 通常使用優(yōu)化算法來最小化施加到輸入的變化（稱為擾動），使得受害者機器學習模型對帶有擾動的輸入進行分類時會犯錯。不過，技術社區(qū)對模型防御和對抗能力的理解依然有限。
對抗樣本生成算法依賴基于梯度的優(yōu)化，該優(yōu)化與任何其他信息無關。這些方法無法利用從以前的攻擊中獲得的信息來改進對其他數(shù)據(jù)的后續(xù)攻擊。
這是 AML 研究中的一個空白，即研究對抗樣本是否可以學習 —— 攻擊的有效性和效率是否會隨著經驗的積累而提高。那么，對受害者模型訪問權限有限（稱為黑盒訪問）的對手能夠大規(guī)模生成對抗樣本（例如分布式拒絕服務攻擊）嗎？
將強化學習引入對抗攻擊
考慮到最近強化學習的成功，該團隊猜想能否將 AML 對手建模為強化學習智能體 —— 這樣一來，或許能讓攻擊策略隨著時間而變得越來越高效和有效。
他們按照這個思路進行了研究，提出了基于強化學習生成對抗樣本的攻擊方法并對其進行了評估。
他們發(fā)現(xiàn)，當把對手建模成強化學習智能體時，其就能學習到哪些擾動最能欺騙模型。一旦學會了策略，對手就會使用該策略生成對抗樣本。因此，對抗性智能體無需昂貴的梯度優(yōu)化即可完成對模型的攻擊。
具體來說，該團隊將對抗樣本生成過程建模成了馬爾可夫決策過程（MDP）。如此一來，便可以輕松地使用強化學習，實現(xiàn)對攻擊的底層語義的封裝：輸入樣本和受害者模型輸出為狀態(tài)，擾動為動作，對抗性目標的差異為獎勵。
該團隊提出了兩種強化學習攻擊方法：RL Max Loss 和 RL Min Norm。它們對應于兩類傳統(tǒng)的 AML 算法。
其攻擊流程是這樣的：首先使用一個強化學習算法來訓練智能體，然后在策略評估設置中使用攻擊來生成對抗樣本。
實驗評估
為了驗證強化學習攻擊方法的有效性，該團隊在 CIFAR-10 圖像分類任務上，使用一個 ResNet50 受害者模型進行了評估，使用的算法是近端策略優(yōu)化（PPO）。該團隊在此框架下進行多步驟評估，評估內容包括 (a) 學習、(b) 微調和 (c) 相對于已知方法的準確度。
首先，他們評估了強化學習智能體能否學習對抗樣本。換句話說，強化學習能否在訓練過程中提高對抗樣本的有效性和效率？
結果發(fā)現(xiàn)，RL Max Loss 和 RL Min Norm 攻擊都會增加訓練過程中的平均回報，從而驗證了強化學習技術學習任務的能力。
在整個訓練過程中，對抗樣本的產生速度平均提升了 19.4%，而與受害者模型的交互量平均減少了 53.2%。
這些結果表明，通過高效地生成更多對抗樣本，智能體可在訓練過程中變得更加強大。
接下來，他們還分析了 RL Max Loss 和 RL Min Norm 中的獎勵和轉換超參數(shù)會如何影響對抗樣本。
ε 參數(shù)控制的是 RL Max Loss 智能體在給定輸入上允許的失真量。c 參數(shù)控制的是 RL Min Norm 智能體因降低受害者模型置信度而不是最小化失真而獲得獎勵的程度。
雖然訓練智能體可以提高這兩種攻擊的性能，但他們的研究表明這也取決于 ε 和 c 的選擇。具體實驗中，他們根據(jù)平衡對抗性目標的敏感性分析選擇了 ε = 0.5 和 c = 1.0。當對手使用這些攻擊時，為了達到預期目標，必須在攻擊之前考慮它們。
最后，該團隊還評估了經過訓練的智能體如何將對抗樣本泛化到未見過的數(shù)據(jù)，以及它相對于廣泛使用的基于優(yōu)化的 SquareAttack 算法的表現(xiàn)如何。
在訓練外的未見過的數(shù)據(jù)集上，訓練后的智能體的錯誤分類率、中位數(shù)查詢和對抗樣本的平均失真都落在訓練對抗樣本的分布中。
在與 SquareAttack 的黑盒比較中，他們將 5000 episode 的強化學習攻擊與其它 SOTA 技術進行了比較，結果表明學習對抗樣本讓強化學習攻擊能夠生成多 13.1% 的對抗樣本。
這些結果表明，如果對手通過強化學習方法學習對抗樣本，會比現(xiàn)有方法更有效。
你怎么看待這項研究，我們又該怎么防御對手的強化學習攻擊呢？
