自從大約10年前深度學習模型開始獲得關注以來，人工智能的黑匣子問題就一直存在。但現在我們處于后ChatGPT時代，舊金山初創公司Watchful希望提高大型語言模型的透明度。

Watchful聯合創始人兼首席執行官Shayan Mohanty說:“當人們之前談論黑盒人工智能時，只是在談論大型、復雜的模型，但他們仍然在編寫代碼。仍然在他們的四面墻內運行，擁有訓練它所用的所有數據。“

“但如今，就像OpenAI這樣的科技企業是唯一一個可以觸摸和感受這個模型的人。”他繼續說，“作為這些模型的用戶，我們只能訪問一個API，這個API允許我發送提示，獲得響應，或者發送一些文本并獲得反饋（可能是文章、圖片甚至視頻）。這是我們能接觸到的全部信息。無法解釋模型本身在做什么，為什么會這樣。”

無論是從監管的角度，還是從實際應用角度來看，缺乏透明度都是一個問題。如果用戶沒有辦法衡量他們對GPT-4的提示是否引起了有價值的回應，那么他們就沒有辦法改進它們。

有一種方法可以從大語言模型（LLM）獲得反饋，稱為積分梯度，它允許用戶確定LLM的輸入如何影響輸出。“這就像你有一堆小旋鈕，”Mohanty說。“這些旋鈕可能代表提示中的單詞……當調整時，就會看到它是如何改變反應結果的。”

積分梯度的問題在于它的運行成本非常高。雖然對于大公司來說，在他們自己的LLM上使用它可能是可行的，比如Meta AI的Llama-2，但對于面向眾多用戶的解決方案供應商（比如OpenAI）來說，這不是一個實用的解決方案，。

他說:“問題在于，沒有明確定義的方法來推斷LLM運行情況。這里沒有明確的指標供你參考。這一切都沒有固定的解決辦法。”

Mohanty和他在Watchful的同事嘗試為LLM創建績效指標。經過一段時間的研究，他們偶然發現了一種新技術，該技術提供的結果與積分梯度技術相似，但沒有巨大花費，也不需要直接訪問模型。

他說:“你可以把這種方法應用到GPT-3、GPT-4、GPT-5和Claude上——這并不重要。”“你可以在這個過程中插入任何模型，它的計算效率很高，預測效果非常好。”

該公司今天公布了基于該研究的兩個LLM指標，包括令牌（Token）重要性估計和模型不確定性評分。這兩個指標都是免費和開源的。

令牌重要性估計為AI開發人員提供了使用高級文本嵌入的提示中令牌重要性的估計。與此同時，模型不確定性評分沿著概念不確定性和結構不確定性的思路，評估LLM響應的不確定性。

這兩個新指標都是基于Watchful對LLM如何與嵌入空間相互作用的研究，即文本輸入被轉換為數字分數或嵌入的多維區域，以及這些分數的相對接近度可以計算的地方，這是LLM工作的核心。

它們的嵌入空間估計有1500個維度，這是人類無法理解的。但Watchful已經想出了一種方法，通過API發送的提示，以編程方式進入其龐大的嵌入空間，實際上是在逐步探索其工作原理。

Mohanty說:“現在的情況是，我們接受了提示，并以已知的方式不斷改變它。”“例如，你可以一個接一個地放下每個標記，你可以看到，如果我放下這個詞，它是如何改變模型對提示的解釋的。”

雖然嵌入空間很大，但它是有限的。Mohanty說:“你只是得到了一個提示，可以用各種方式來改變它，同樣，這是有限的。”“你只要不斷地重新嵌入，你就會看到這些數字是如何變化的。然后，我們可以根據觀察改變提示如何影響模型在嵌入空間中的解釋，統計計算模型可能會做什么。”

這項工作的結果是一個工具，它可能顯示客戶發送給GPT-4的非常多的提示沒有產生預期的影響。Mohanty說，也許這個模型只是忽略了提示中三個例子中的兩個。這可以讓用戶立即減少提示的大小，節省資金并提供更及時的響應。

Mohanty說，這一切都是為了提供一種迄今為止一直缺失的反饋機制。“一旦有人寫了一個提示，他們就不知道自己需要做些什么來獲得更好的結果。”“我們所有這些研究的目標只是剝離模型的各個層面，讓人們了解它在做什么，并以一種與模型無關的方式進行研究。”

該公司將這些工具作為開源工具發布，以推動更好地理解LLM和減少黑盒子問號。Mohanty希望社區的其他成員使用這些工具并在其基礎上進行構建，例如將它們與LangChain和GenAI堆棧的其他組件集成。

“我們認為這是一件正確的事情，”他談到開源工具時說。“我們不可能很快達到所有人都趨同的地步，這些指標是所有人都關心的。我們實現這一目標的唯一途徑是每個人都分享你對這件事的看法。所以我們采取了最初的幾個步驟，我們做了這個研究，發現了這些東西。我們認為重要的是，我們把它放在那里，讓其他人可以在它的基礎上進行開發，而不是把它關起來，只允許我們的客戶看到它。”

最終，這些指標可以形成一個企業儀表板的基礎，告知客戶他們的GenAI（生成式人工智能）應用程序是如何運行的，有點像TensorBoard為TensorFlow所做的那樣。該產品將由Watchful銷售。與此同時，該公司樂于分享自己的知識，并幫助社區朝著一個能讓黑箱人工智能模型得到更多關注的方向發展。