大型語言模型 (LLM) 和 AI 聊天機器人引起了全世界的興趣，原因是 2022 年底發布的 ChatGPT 及其提供的查詢便利性。它現在是有史以來增長最快的消費者應用程序之一，它的受歡迎程度正促使許多競爭對手開發他們自己的服務和模型，或者快速部署他們一直在內部開發的服務和模型。

與任何新興技術一樣，人們總是擔心這對安全意味著什么。該博客在近期更廣泛地考慮了 ChatGPT 和 LLM 的一些網絡安全方面。

什么是 ChatGPT，什么是LLMs？

ChatGPT 是由美國科技初創公司 OpenAI 開發的人工智能聊天機器人。它基于GPT-3，這是一種于 2020 年發布的語言模型，它使用深度學習來生成類似人類的文本，但底層的 LLM 技術已經存在了很長時間。

法學碩士是算法在大量基于文本的數據上進行訓練的地方，這些數據通常是從開放的互聯網上抓取的，因此涵蓋了網頁和——取決于法學碩士——其他來源，如科學研究、書籍或社交媒體帖子. 這涵蓋了如此大量的數據，以至于不可能在攝取時過濾掉所有令人反感或不準確的內容，因此“有爭議的”內容很可能包含在其模型中。

這些算法分析不同單詞之間的關系，并將其轉化為概率模型。然后可以給算法一個“提示”（例如，通過問它一個問題），它會根據其模型中單詞的關系提供答案。

通常，其模型中的數據在訓練后是靜態的，盡管它可以通過“微調”（對額外數據進行訓練）和“提示增強”（提供有關問題的上下文信息）進行改進。提示增強的示例可能是：

Taking into account the below information, how would you describe...

然后將可能大量的文本（或整個文檔）復制到提示/問題中。

ChatGPT有效地允許用戶向 LLM 提問，就像您在與聊天機器人進行對話時一樣。最近的其他 LLM 示例包括Google 的 Bard和Meta 的 LLaMa（用于科學論文）的公告。

法學碩士無疑令人印象深刻，因為它們能夠以多種人類和計算機語言生成大量令人信服的內容。然而，它們不是魔法，也不是通用人工智能，并且包含一些嚴重的缺陷，包括：

• 他們可能會弄錯事情并“產生幻覺”不正確的事實
• 他們可能有偏見，通常容易上當受騙（例如，在回答主要問題時）
• 他們需要巨大的計算資源和海量數據來從頭開始訓練
• 他們可以被哄騙創造有毒內容并且容易受到“注射攻擊”

LLM 會泄露我的信息嗎？

一個普遍的擔憂是 LLM 可能會從您的提示中“學習”，并將該信息提供給查詢相關內容的其他人。這里有一些令人擔憂的原因，但不是出于許多人考慮的原因。當前，對 LLM 進行訓練，然后查詢生成的模型。LLM 不會（在撰寫本文時）自動將查詢中的信息添加到其模型中以供其他人查詢。也就是說，在查詢中包含信息不會導致該數據被并入 LLM。

但是，查詢將對提供 LLM 的組織可見（對于 ChatGPT，對 OpenAI 也是如此）。這些查詢被存儲起來，幾乎肯定會在某個時候用于開發 LLM 服務或模型。這可能意味著 LLM 提供者（或其合作伙伴/承包商）能夠讀取查詢，并可能以某種方式將它們合并到未來的版本中。因此，在提出敏感問題之前，需要徹底了解使用條款和隱私政策。

一個問題可能是敏感的，因為查詢中包含數據，或者因為誰（以及何時）提出問題。后者的例子可能是，如果發現 CEO 曾問過“如何最好地解雇員工？”，或者有人問了暴露健康或人際關系的問題。還要記住使用同一登錄名跨多個查詢聚合信息。

另一個風險隨著越來越多的組織生產 LLM 而增加，它是在線存儲的查詢可能被黑客攻擊、泄露，或者更有可能意外地公開訪問。這可能包括潛在的用戶身份信息。另一個風險是 LLM 的運營商后來被一個組織收購，該組織采用與用戶輸入數據時不同的隱私方法。

因此，NCSC 建議：

• 不要在對公共 LLM 的查詢中包含敏感信息
• 不要向公開的 LLM 提交會導致問題的查詢

我如何安全地向 LLM 提供敏感信息？

隨著 LLM 的興起，許多組織可能想知道他們是否可以使用 LLM 來自動化某些業務任務，這可能涉及通過微調或及時擴充來提供敏感信息。雖然不建議將此方法用于公共 LLM，但“私有 LLM”可能由云提供商提供（例如），或者可以完全自行托管：

• 對于云提供的 LLM，使用條款和隱私政策再次成為關鍵（因為它們對于公共 LLM），但更有可能符合云服務的現有條款。組織需要了解如何管理用于微調或提示擴充的數據。供應商的研究人員或合作伙伴是否可以使用它？如果是這樣，以什么形式？數據是單獨共享還是與其他組織匯總共享？提供商的員工在什么情況下可以查看查詢？
• 自托管 LLM可能非常昂貴。但是，經過安全評估，它們可能適合處理組織數據。特別是，組織應參考我們關于保護基礎設施和數據供應鏈的指南。

LLMs是否讓網絡罪犯的生活更輕松？

已經有一些令人難以置信的演示證明 LLM 如何幫助編寫惡意軟件。令人擔憂的是，LLM 可能會幫助懷有惡意（但技能不足）的人創建他們原本無法部署的工具。在他們目前的狀態下，LLMs 看起來令人信服（無論他們是否），并且適合簡單的任務而不是復雜的任務。這意味著 LLM 可用于“幫助專家節省時間”，因為專家可以驗證 LLM 的輸出。

對于更復雜的任務，專家目前更容易從頭開始創建惡意軟件，而不必花時間糾正 LLM 生成的內容。但是，能夠創建功能強大的惡意軟件的專家很可能能夠誘使 LLM 編寫功能強大的惡意軟件。“使用 LLM 從頭開始創建惡意軟件”和“驗證 LLM 創建的惡意軟件”之間的權衡將隨著 LLM 的改進而改變。

也可以詢問LLM以就技術問題提出建議。犯罪分子可能會使用 LLM 來幫助進行超出其當前能力的網絡攻擊，尤其是在攻擊者訪問網絡后。例如，如果攻擊者正在努力提升權限或查找數據，他們可能會詢問 LLM，并收到與搜索引擎結果不同但具有更多上下文的答案。當前的 LLM 提供了聽起來令人信服的答案，但可能只是部分正確，尤其是當該主題變得更加利基時。這些答案可能會幫助犯罪分子進行他們無法以其他方式執行的攻擊，或者他們可能會建議采取哪些行動來加快對犯罪分子的偵查。無論哪種方式，攻擊者的查詢都可能被 LLM 操作員存儲和保留。

由于 LLM 擅長按需復制寫作風格，因此存在犯罪分子使用 LLM 編寫令人信服的網絡釣魚電子郵件（包括多種語言的電子郵件）的風險。這可以幫助具有高技術能力但缺乏語言技能的攻擊者，幫助他們使用目標的母語創建令人信服的網絡釣魚電子郵件（或進行社會工程）。

總而言之，在短期內我們可能會看到：

• 由于 LLM，更有說服力的網絡釣魚電子郵件
• 攻擊者嘗試他們以前不熟悉的技術

技能較低的攻擊者編寫功能強大的惡意軟件的風險也很低。

總結

對于LLM來說，這是一個激動人心的時刻，尤其是 ChatGPT 吸引了全世界的想象力。與所有技術發展一樣，會有人熱衷于使用它并研究它所提供的功能，以及可能永遠不會使用它的人。

正如我們在上面概述的那樣，毫無疑問，不受限制地使用公共 LLM 存在風險。個人和組織應格外小心他們選擇在提示中提交的數據。您應該確保那些想要嘗試 LLM 的人能夠，但不會將組織數據置于風險之中。

NCSC 意識到與網絡安全和 LLM 的采用有關的其他新出現的威脅（和機會），我們當然會在以后的博文中讓您了解這些。

——編譯自英國NCSC