網絡安全公司 SlashNext 發現，如今的 AI 聊天機器人出現了一種令人擔憂的情況。有用戶利用AI聊天機器人系統漏洞進行"越獄"操作，這違反了道德準則和網絡安全協議。

ChatGPT曾因其先進的對話能力而聲名鵲起，然而有一些用戶發現了能夠繞過其系統內置的安全措施的弱點。如果有人可以操縱聊天機器人提示系統，那就能發布一些未經審查和監管的內容，這引發了道德問題。

AI聊天機器人 "越獄 "涉及發布特定命令或敘述，可觸發無限制模式，使AI能夠不受約束地做出反應。網上一些討論社區中已經有人在分享這些越獄的策略和戰術。

Critical Start 公司網絡威脅研究高級經理 Callie Guenther 說：這些平臺是用戶分享越獄策略、戰略和提示的協作空間，以充分發揮人工智能系統的潛力。雖然這些社區的主要動力是探索和推動人工智能的發展，但必須注意到事情的兩面性。

SlashNext解釋說，這種趨勢也引起了網絡犯罪分子的注意，他們開發了一些可以利用定制的大型語言模型（LLM）達到惡意目的工具。

研究表明，除了 WormGPT 以外，這些工具大多只是連接到越獄版的公共聊天機器人，能夠允許用戶在保持匿名的情況下利用AI生成一些內容。

隨著AI技術的不斷進步，人們對AI越獄的安全性和道德影響的擔憂與日俱增。防御安全團隊在這方面希望能實現以下兩個目標：

• Darktrace 戰略網絡人工智能副總裁 Nicole Carignan 說，首先他們可以協助研究如何保護 LLM 免受基于提示的注入，并與社區分享這些經驗。
• 其次，他們可以利用人工智能大規模防御更復雜的社交工程攻擊。要想在進攻型人工智能時代有效地保護系統，就需要不斷壯大防御型人工智能武器庫，而我們已經在這方面取得了重大進展。

據 SlashNext 報道，OpenAI 等組織正在采取積極措施，通過漏洞評估和訪問控制來加強聊天機器人的安全性。

研究人員目前正在探索更加有效的策略來強化聊天機器人的安全性，以防止其被那些惡意行為者所利用。AI安全仍處于早期階段，Darktrace方面未來的目標是開發出能夠抵御試圖破壞其安全的聊天機器人，同時繼續為用戶提供有價值的服務。