研究人員發現，在神經網絡推理的某些數據圖中存在尖峰，這些尖峰往往出現在神經網絡判斷模糊與產生錯誤的地方。觀察這些尖峰，研究人員可以更容易發現人工智能系統中的故障點。

從分析癌癥突變的原因到決定誰應該獲得貸款，在解決這些問題的過程中，仿照人腦的神經網絡比人類表現得更加快速、準確、公正。但是由于人工智能的工作并不透明，難以得知它們推理判斷的過程，這引發了對人工智能可靠性的擔憂。現在，一項新的研究提供了一種發現神經網絡的錯誤出在哪里的方法。這項研究為揭示神經網絡在出錯時正在進行怎樣的操作提供了可能。

神經網絡在對數據集進行計算時，會將注意力集中在樣本上，例如圖像中是否包含人臉。編碼這些細節的數字串被用來計算樣本屬于某個特定類別的概率。在本例中，計算的是圖像中是否有一個人，以及這個人的臉是否顯示出來。

然而，神經網絡從哪些樣本數據細節中習得了解決問題的方法，仍是未解之謎。神經網絡的「黑盒」特性使得研究者難以判斷神經網絡給出的答案是否正確。

論文作者，普渡大學的計算機科學教授 David Gleich 認為：「當你向一個人詢問解決某個問題的方法，他可以給出一個你能理解的答案。」但是神經網絡不會給出他們的解題過程。

在這項新研究中，Gleich 和同事們沒有追蹤實驗中神經網絡對單個樣本的決策過程，而是試圖將系統對于整個數據庫的所有決策結果與樣本之間的關系進行可視化。

Gleich 表示：「我仍然對這項技術在幫助我們理解神經網絡的可解釋性。」研究團隊用 ImageNet 數據庫中的 130 萬余張圖片對神經網絡進行了訓練。他們開發了一種能夠拆分與合并樣本分類的方法，用以識別有高概率屬于多個分類的圖像。

在此基礎上，研究團隊運用拓撲學，繪制出了神經網絡的推斷結果與每個分類之間的關系圖。拓撲學的知識能夠幫助他們識別不同數據集之間的相似性。Gleich 表示：「基于拓撲數據分析的工具曾在分析乳腺癌中的特定亞群與基因是否有關的問題中發揮作用。」

論文鏈接：https://www.nature.com/articles/s42256-023-00749-8

在根據新研究成果生成的關系圖中，每個點代表神經網絡認為有關聯的圖像組，不同分類的圖由不同的顏色表示。點之間的距離越近，神經網絡認為每組圖像越相似。這些地圖的大部分區域都顯示了單一顏色的點群。

兩個不同顏色的重疊點表示有高概率屬于多個分類的圖像。「我們的方法能夠構建出類似地圖的關系圖，放大某些數據區域。」 Gleich 表示，「這些區域通常是某幾個分類邊界不明顯的地方，在這些地方，解決方案可能并不那么清晰。不過，它能突出值得進一步研究的特定的數據預測。」

由新方法生成的地圖能夠顯示網絡無法分類的區域。這種方法提供了「讓研究者能夠運用人類與生俱來的思維方式來推測神經網絡的推理思路」的途徑。Gleich 表示道：「這使我們可以根據已知的網絡來預測它將如何響應全新的輸入。」

研究團隊發現神經網絡特別容易混淆如胸腔的 X 光片、基因序列以及服裝等類別的圖案。例如，當一個網絡在 Imagenette 數據庫（ImageNet 的一個子集）測試時，它反復地將汽車的圖片歸類為磁帶播放器。他們發現這是由于這些圖片是從網購列表中提取的，含有汽車音響設備的標簽。

該團隊的新方法有助于揭示「錯誤出在哪里」。Gleich 介紹說：「在這個層面上分析數據，可以讓科學家們從僅僅在新數據上得到一堆有用的預測，深入理解神經網絡可能是如何處理他們的數據的。」

「我們的工具似乎很擅長幫助發現訓練數據本身是否包含錯誤，」Gleich 表示。「人們在手工標注數據時確實會犯錯誤。」

這種分析策略的潛在用途可能包括特別重要的神經網絡應用。比如說，神經網絡在醫療保健或醫學中的應用，以研究敗血癥或皮膚癌。

批評者認為，由于大多數神經網絡都是根據過去的決定訓練出來的，這些決定反映了對人類群體本來存在的偏見，因此 AI 系統最終會復制過去的錯誤。Gleich 說，如果能找到一種方法來使用新工具「了解預測中的偏見或成見」，可能是一個顯著的進步。

Gleich 表示，這一新工具可與神經網絡一起使用，通過小數據集生成特定預測，例如「基因突變是否可能有害」。但目前為止，研究人員還沒有辦法將它應用于大語言模型或擴散模型。

了解更多內容，請參考原論文。