事實表明，盡管有很多好處，但生成式人工智能也給企業帶來了許多安全挑戰，而且可能代價高昂。而企業需要審查可能的威脅和最佳實踐以降低風險。

在ChatGPT推出之后，生成式人工智能模型的迅速采用有望從根本上改變企業開展業務以及與客戶和供應商互動的方式。

生成式人工智能可以支持廣泛的業務需求，例如編寫營銷內容、改善客戶服務、生成軟件應用程序源代碼和生成業務報告。生成式人工智能工具的諸多好處鼓勵企業和個人在工作中測試這些工具的能力，尤其在降低成本、提高工作速度和質量方面。

然而，與任何新興技術一樣，快速實施可能存在風險，為威脅行為者利用企業的漏洞打開了大門。在當今復雜的IT威脅環境中，未經仔細考慮就使用生成人工智能工具可能會給企業帶來災難性的后果。

與在企業環境中使用生成人工智能相關的安全風險

了解在企業環境中使用生成式人工智能的潛在風險對于從這項技術中受益，同時保持合規性和避免安全漏洞至關重要。在規劃生成式人工智能部署時，需要牢記以下風險。

(1)員工泄露敏感工作信息

在企業環境中，用戶應該謹慎對待他們與他人分享的任何數據，包括ChatGPT和其他人工智能聊天機器人。

最近最引人注目的事件是三星公司員工將敏感信息與ChatGPT共享而導致的數據泄露。三星的工程師將機密源代碼上傳到ChatGPT模型，此外還使用該服務創建會議記錄和匯總包含敏感工作相關信息的商業報告。

三星公司發生的數據泄露案例只是向人工智能聊天機器人泄露敏感信息的一個廣為人知的例子。許多其他使用生成式人工智能工具的公司和員工可能會因泄露敏感工作信息而犯類似的錯誤，例如內部代碼、版權材料、商業秘密、個人身份信息(PII)和機密商業信息。

OpenAI公司對ChatGPT的標準政策是保留用戶記錄30天，以監控可能的濫用，即使用戶選擇關閉聊天記錄。對于將ChatGPT集成到其業務流程中的公司來說，這意味著員工的ChatGPT帳戶可能包含敏感信息。因此，成功入侵員工ChatGPT賬戶的威脅行為者可能會訪問這些用戶查詢和人工智能響應中包含的任何敏感數據。

(2)人工智能工具中的安全漏洞

與任何其他軟件一樣，生成式人工智能工具本身也可能存在漏洞，使企業面臨網絡威脅。

例如，今年3月，OpenAI公司將ChatGPT下線，以修復聊天機器人開源庫中的一個漏洞，該漏洞使一些用戶能夠從另一個活躍用戶的聊天歷史中看到聊天標題。如果兩個用戶在同一時間處于活動狀態，也可以在其他人的聊天記錄中看到新創建對話的第一條消息。

此外，同樣的漏洞還泄露了在特定時間段內活躍的1.2%的ChatGPTPlus用戶的支付相關信息，包括客戶的姓名、電子郵件地址和信用卡號碼的最后四位數字。在最近的另一起安全事件中，網絡情報機構Group-IB公司發現，超過10萬個被入侵的ChatGPT賬戶在暗網市場上出售。

(3)數據中毒和盜竊

生成式人工智能工具必須提供大量數據才能正常工作。這些培訓數據來自各種來源，其中許多在互聯網上是公開的，在某些情況下，可能包括企業以前與客戶的互動。

在數據中毒攻擊中，威脅參與者可以操縱人工智能模型開發的預訓練階段。通過向訓練數據集中注入惡意信息，網絡攻擊者可以影響模型的預測行為，從而導致錯誤或其他有害的響應。

另一個與數據相關的風險涉及威脅行為者竊取用于訓練生成式人工智能模型的數據集。如果沒有對數據訪問進行足夠的加密和控制，模型訓練數據中包含的任何敏感信息都可能被獲取數據集的攻擊者看到。

(4)違反合規義務

在企業環境中使用人工智能聊天機器人時，IT領導者應評估以下與違反相關法規相關的風險:

• 不正確的響應。人工智能工具有時會給出錯誤或膚淺的答案。使顧客接觸到誤導性的信息，除了對企業的聲譽產生負面影響外，還可能引起法律責任。
• 數據泄漏。員工可以在與人工智能聊天機器人的對話中分享敏感的工作信息，包括客戶的個人身份信息或受保護的健康信息(PHI)。這反過來又可能違反GDPR、PCIDSS和HIPAA等監管標準，面臨罰款和法律訴訟的風險。
• 偏見。人工智能模型的反應有時會表現出基于種族、性別或其他受保護特征的偏見，這可能違反反歧視法。
• 違反知識產權和版權法。人工智能驅動的工具是在大量數據上進行訓練的，通常無法準確地為它們的反應提供特定的來源。其中一些訓練數據可能包括受版權保護的材料，如書籍、雜志和學術期刊。在沒有引用的情況下使用基于版權作品的人工智能輸出可能會使企業受到法律罰款。
• 關于聊天機器人使用的法律。許多企業已經開始將ChatGPT和其他生成式人工智能工具集成到他們的應用程序中，有些企業使用人工智能聊天機器人來立即回答客戶的詢問。但在不提前告知客戶的情況下這樣做，可能會受到加州機器人信息披露法等法規的處罰。
• 數據隱私。一些企業可能希望開發自己的生成式人工智能模型，這一過程可能涉及收集大量訓練數據。如果威脅行為者成功破壞企業IT基礎設施并獲得對培訓數據的未經授權訪問，則泄露受損數據集中包含的敏感信息可能違反數據隱私法。

除了安全性，生成式人工智能還帶來了算法偏差、幻覺和技術復雜性等挑戰。

在企業中使用生成式人工智能工具時的最佳安全實踐

為了解決與生成式人工智能相關的眾多安全風險，企業在實施生成式人工智能工具時應牢記以下策略。

(1)在構建或集成生成式人工智能之前，對數據進行分類、匿名和加密

企業應該對數據進行分類，然后再將其輸入聊天機器人或使用它來訓練生成式人工智能模型。確定哪些數據對于這些用例是可接受的，并且不與人工智能系統共享任何其他信息。

同樣，對訓練數據集中的敏感數據進行匿名處理，避免泄露敏感信息。加密人工智能模型的數據集及其所有連接，并通過強大的安全策略和控制保護企業最敏感的數據。

(2)對員工進行生成式人工智能安全風險培訓，并制定內部使用政策

員工培訓是降低生成式人工智能相關網絡攻擊風險的最關鍵保護措施。為了負責任地實施生成式人工智能，企業必須教育員工使用這項技術的相關風險。

企業可以通過制定安全和可接受的使用策略，為工作中的生成人工智能使用設定指導方針。盡管具體細節因組織而異，但一般的最佳實踐是需要人工監督。不要自動信任人工智能生成的內容。人類應該審查和編輯人工智能工具創造的一切。

人工智能的使用和安全策略還應該明確指出，在對聊天機器人的查詢中可以包含哪些數據，哪些數據是不允許的。例如，開發者不應該將知識產權、版權材料等敏感信息添加到人工智能工具中。

(3)為安全提供生成式人工智能工具

針對生成式人工智能工具進行安全審計和定期滲透測試，以便在將其部署到生產環境之前識別安全漏洞。

安全團隊還可以通過向人工智能工具提供網絡攻擊示例來訓練它們識別和抵御攻擊企圖。這降低了黑客成功利用組織人工智能系統的可能性。

(4)管理員工對敏感工作數據的訪問權限

在企業環境中應用最小權限原則，只允許授權人員訪問人工智能訓練數據集和底層IT基礎設施。

使用身份和訪問管理工具可以幫助集中和控制員工的訪問憑據和權限。同樣，實施多因素身份驗證可以幫助保護人工智能系統和數據訪問。

(5)確保底層網絡和基礎設施是安全的

在專用網段上部署人工智能系統。使用單獨的網段，限制對主機人工智能工具的訪問，可以增強安全性和可用性。

對于在云中托管人工智能工具的企業，需要選擇執行嚴格安全控制并具有有效合規性認證的信譽良好的云計算提供商。確保所有與云計算基礎設施的連接都是加密的。

(6)密切關注合規性需求，包括定期審核供應商

合規性法規在不斷發展，隨著企業人工智能采用的增加，組織可能會看到更多與生成式人工智能技術相關的合規性要求。

企業應密切關注影響其行業的合規性法規，以了解與使用人工智能系統相關的任何變化。作為這個過程的一部分，當使用第三方供應商的人工智能工具時，定期審查供應商的安全控制和漏洞評估。這有助于確保供應商系統中的任何安全弱點都不會滲透到企業的IT環境中。