編譯丨伊風
出品 | 51CTO技術棧（微信號：blog51cto）
對生成性人工智能（generative AI）的需求正不斷增長，而對LLM安全和可靠性的擔憂也變得比以往任何時候都更加突出。企業希望能確保為內外部使用而開發的大規模語言模型（LLM）能夠提供高質量的輸出，而不會偏離到未知領域。
微軟認識到這些擔憂，長期以來，微軟使用OpenAI的模型只能調用API，對黑盒里的秘密缺少掌控的方法。微軟近期宣布推出了新的Azure AI工具，用以幫助解決大模型的幻覺問題，同時能夠解決安全漏洞問題，如提示注入攻擊，即模型被欺騙生成侵犯隱私或其他有害內容——就像微軟自己的AI圖像創作器生成的泰勒·斯威夫特深度偽造圖像一樣。
據悉，安全工具將在未來幾個月內廣泛推出，目前尚未公開具體的時間表。
1.Azure AI在大模型的安全做些什么？
隨著LLM的普及，提示注入攻擊問題變得格外突出。本質上，攻擊者可以以一種方式改變模型的輸入提示（prompt），以繞過模型的正常操作，包括安全控制，并操縱它以顯示個人或有害內容，從而危及安全或隱私。這些攻擊可以通過兩種方式進行：直接攻擊，即攻擊者直接與LLM交互；或間接攻擊，這涉及使用第三方數據源，如惡意網頁。
為了解決這兩種形式的提示注入，微軟正在將提示盾（Prompt Shields）添加到Azure AI。這是一個綜合能力，使用先進的機器學習（ML）算法和自然語言處理自動分析提示和第三方數據的惡意意圖，并阻止它們到達模型。
它將集成到微軟的三個相關產品中：Azure OpenAI服務（編者注：Azure OpenAI 是微軟推出的一款基于云的服務產品，它提供了對OpenAI強大語言模型的訪問能力。Azure OpenAI 的核心優勢在于它結合了OpenAI的先進技術和微軟Azure的安全性及企業級承諾）、Azure AI內容安全和Azure AI工作室。
除了努力阻止威脅安全和安全的提示注入攻擊外，微軟還引入了專注于生成型AI應用程序可靠性的工具。這包括預建的安全中心系統消息模板和一個新的功能，稱為“基礎性檢測”（Groundedness Detection）。
正如微軟所解釋的，安全中心系統消息模板允許開發人員構建引導模型行為朝著安全、負責和數據基礎輸出的系統消息。而基礎性檢測使用一個經過微調的定制語言模型來檢測模型產生的文本輸出中的幻覺或不準確材料。兩者都將在Azure AI工作室和Azure OpenAI產品中提供服務。
值得注意的是，檢測基礎性的指標還將伴隨著自動化評估，以壓力測試生成型AI應用程序的風險和安全性。這些指標將衡量應用程序被越獄并產生任何不適當內容的可能性。評估還將包括自然語言解釋，以指導開發人員如何構建適當的緩解措施來解決問題。
“今天，許多組織缺乏壓力測試其生成型AI應用程序的資源，以便他們可以自信地從原型轉向市場應用。首先，構建一個反映新出現風險范圍的高質量測試數據集可能是具有挑戰性的，例如越獄攻擊。即使有高質量的數據，評估也可能是一個復雜且手動的過程，開發團隊可能會發現很難解釋結果以通知有效的緩解措施，”微軟安全AI首席產品官Sarah Bird在博客文章中指出。
2.Azure AI將實時“監控”大模型
Azure AI在實際使用過程中，微軟將提供實時監控，幫助開發人員密切關注觸發安全功能（如提示盾）的輸入和輸出。這項功能被集成在Azure OpenAI服務和AI工作室產品中，將生成詳細的可視化圖表，突出顯示被阻止的用戶輸入/模型輸出的數量和比例，以及按嚴重性/類別的細分。
利用這種可視化的實時監測，開發人員能夠了解有害請求趨勢隨時間的變化，并調整其內容過濾器配置、控制以及更廣泛的應用程序設計，以增強安全性。
微軟致力于加強其AI產品已經有很長的時間了。此前，微軟CEO薩提亞·納德拉（Satya Nadella）在采訪中強調，微軟并沒有完全依賴于OpenAI，同時也在發展自己的AI項目，以及幫助OpenAI建設其產品：“我對于我們現在的關系感到很滿意。我也認為，這樣有助于我們掌握各自公司的命運。”
改變了“All in OpenAI”的格局，微軟也使用了包括Mistral在內的大模型。最近，微軟新成立的團隊Microsoft AI動作頻頻，它甚至聘請了來自Inflection AI的Mustafa Suleyman及其團隊。這似乎是一種減少對Sam Altman及OpenAI依賴的方法。
現在，這些新的安全和可靠性工具的加入建立在公司已經完成的工作基礎上，為開發人員提供了一個更好、更安全的方式來構建其提供的模型之上的生成型AI應用程序。
