雖然我不習慣把研究作為博客的素材，但我確實注意到以下情況：Vulcan Cyber的Voyager18研究團隊最近發布了一份咨詢報告驗證了生成性人工智能，如ChatGPT，將迅速變成一種武器，并準備攻擊你附近的云端系統。大多數云計算業內人士都在等待這一刻。

新的攻擊方式

一種使用OpenAI語言模型ChatGPT的新的攻擊技術已經出現，攻擊者正在開發者的環境中傳播惡意軟件包。專家們看到ChatGPT生成了不存在的URL、引用、代碼庫和函數。根據該報告，這些“幻覺”可能來自舊的訓練數據。通過ChatGPT的代碼生成能力，攻擊者可以利用捏造的代碼庫（包）進行惡意傳播，也繞過了傳統的方法，如tynosquatting。

搶注域名（Typosquatting），也稱為URL劫持或域名模仿，是指個人或組織注冊類似于流行或合法網站的域名，但有輕微排版錯誤的做法。其目的是欺騙那些在輸入URL時出現同樣錯字的用戶。

另一種攻擊是向ChatGPT提出一個問題，要求用一個軟件包來解決一個特定的編碼問題，然后收到多個包的推薦，其中包括一些沒有在合法存儲庫中發布的包。通過用惡意軟件包替換這些不存在的軟件包，攻擊者可以欺騙未來依賴ChatGPT推薦的用戶。一個利用ChatGPT 3.5的概念證明了潛在的風險。

當然，有一些方法可以抵御這種類型的攻擊。開發人員應該通過檢查創建日期和下載次數來仔細審查代碼庫。然而，既然我們處理了這種威脅，我們將永遠對可疑的軟件包持懷疑態度。

應對新的威脅

這個標題并不是說這種新威脅目前就存在，筆者認為由生成式人工智能力量驅動的新威脅出現只是時間問題。因此，必須有一些更好的方法來對抗這些類型的威脅，隨著有心人學會將生成式人工智能作為武器，這些威脅可能會變得更加普遍。

如果我們希望保持領先，我們不得不需要將生成式人工智能作為一種防御機制。這意味著從被動反應（現如今較為典型的企業方法）轉變為主動使用可觀察性和AI驅動的安全系統等策略。

在AI技術飛速發展的情況下，企業面臨的挑戰往往是云安全問題，以及devsecops專業人員必須加強他們的程序，以便不受24小時新聞周期的影響。這意味著企業需要在許多IT預算被縮減的時候，增加對安全的投資。如果沒有積極應對這些新出現的風險，企業可能不得不對重大漏洞的成本和影響付出代價。

當然，安全專家的工作就是嚇唬人，讓企業在安全方面多花點錢，否則很可能發生比較嚴重的情況。考慮到戰場性質的變化和幾乎免費的有效攻擊工具的可用性，企業的安全境地就有點嚴峻了。，當我們了解到事情會有多糟糕時，Vulcan報告中提到的惡意人工智能包的幻覺也許是我在這里要介紹的第一順位。

有一線希望是，在大多數情況下，盡管有一些奇怪的大漏洞，云安全和IT安全專家比攻擊者更聰明，并且在過去幾年里一直保持著技術領先。但是，如果攻擊者不會變得更聰明，他們就不必更有創新性，而且了解如何將生成式人工智能付諸行動以攻破高度防御的系統將成為新的游戲。你準備好了嗎？

原文標題：Malicious hackers are weaponizing generative AI

原文作者：David Linthicum