MIT 提出Network Dissection框架，全自動窺探神經網絡訓練的黑箱
MIT的新技術幫助闡釋了在可視化數據上訓練的神經網絡的內部機制。
神經網絡通過分析大型訓練數據集學習如何完成計算任務，它對如今表現優異的人工智能系統有巨大貢獻，例如語音識別系統、自動翻譯器和自動駕駛汽車。但神經網絡是個黑箱，一旦被訓練，即使設計者本人也不了解其運作機制：即它們處理了什么數據、如何處理數據。
兩年前，來自 MIT CSAIL 實驗室的計算機視覺研究團隊描述了一種窺視神經網絡訓練黑箱的方法，從而得以識別視覺場景。該方法提供了一些有趣的洞見，但需要通過亞馬遜的 Mechanical Turk 眾包服務把數據發送給人類審核員審核。
在今年的 CVPR 大會上，CSAIL 研究員對上述系統進行了升級，將會呈現一種完全自動化的版本。之前的論文給出了對一種神經網絡（在一種任務上）的分析，新論文將會給出對四種神經網絡（超過 20 種任務）的分析，包括識別場景與物體、為灰度圖像上色、解謎等任務。一些新的網絡太大，所以使用舊方法分析網絡成本太高。
研究人員也在網絡上進行了幾組實驗，不僅揭示了多種計算機視覺、計算攝影算法（computational-photography algorithm）的特性，也為人類大腦的組織方式提供了一些證據。
神經網絡之名，來自于對人類神經系統的模擬，有大量相當簡單，但密集連接的信息處理節點。和神經元類似，神經網絡的節點從臨近節點收取信息信號，然后激活釋放自己的信號，或者不反應。和神經元一樣，節點激活反應的優勢是能變化。
在兩篇論文中，MIT 研究員修改神經網絡，并通過訓練完成計算機視覺任務，以便于揭露每個節點針對不同輸入圖像的反應機制。然后，他們選擇 10 張最能激發每個節點的輸入圖像。
在之前的論文中，研究人員將這些圖像發送給 Mechanical Turk 雇傭的工作人員，讓他們識別這些圖像的共同之處。而在新的論文中，研究人員使用計算機系統完成這一任務。
MIT 研究生 David Bau 說，「我們編目了 1100 多種視覺概念，比如綠色、土質紋理、木材、人臉、自行車輪、雪山等。我們利用他人開發的多個數據集，把它們與標注了密集視覺概念的數據集融合，得到了許多、許多的標簽，我們知道哪個像素對應此標簽?！?/p>
該論文的其他作者包括共同***作者 Bolei Zhou、MIT 電子工程與計算機科學系教授 Antonio Torralba、CSAIL ***研究科學家 Aude Oliva、Torralba 的博士學生 Aditya Khosla，他現在是醫學計算公司 PathAI 的 CTO。
研究人員也知道哪張圖片的哪個像素對應給定網絡節點的***回應。如今的神經網絡是被組織進層內的，數據饋送給***層，然后經過處理傳遞給下一層，以此類推。有了可視化數據，輸入圖像打碎為小塊，每一塊饋送給單獨的輸入節點。
在他們的一個網絡中，來自給層節點的每個回應，研究人員都能追蹤到引發模式，從而識別對應的特定圖像像素。因為他們的系統能夠頻繁識別對應確切像素群的標簽，因此能非常詳細的描述節點行為的特征。
在數據集中，研究人員分層組織了這些視覺概念。每個級別都從***層的概念開始，比如顏色、紋理，然后是材料、組成部分、物體、場景。通常來講，神經網絡的低層能夠對應簡單的視覺特性，比如顏色和紋理，高層能夠激發對更復雜特性的回應。
但分層也使得研究員能夠量化訓練神經網絡完成特定任務時的重點之處。例如，訓練一個神經網絡為黑白圖像上色，重點是大量識別紋理的節點。再比如，訓練一個網絡追蹤視頻畫面中的物體，相比于訓練進行場景識別的網絡，它要更加注重畫面識別的節點。在這種情況下，很多節點其實都專注于物體識別。
研究人員的實驗也能闡釋神經科學方面的難題。關于在受試人類大腦中植入電極從而控制神經失調的研究表明，大腦中的單個神經元激發回應特定的視覺刺激。這一假設原被稱為祖母神經元假設（grandmother-neuron hypothesis），更熟悉的名字是神經科學家最近提出的 Jennifer-Aniston 神經元假設。他們在發現多個神經病人的神經元傾向于只回應特定好萊塢明星的描述后，提出了該假設。
許多神經科學家對此解釋有所爭議。他們認為神經元集群，而非單個神經元，控制著大腦中的感知識別。因此，Jennifer Aniston 神經元只是一堆神經元一起激發回應 Jennifer Aniston 的圖像。而且也可能是許多神經元集群共同回應該刺激，只不過沒被測試到而已。
因為 MIT 研究員的分析技術是完全自動化的，他們能夠測試在訓練神經網絡識別視覺場景的過程中是否發生了類似的事。除了識別被調整為特定視覺概念的單個網絡節點，他們也隨機選擇了結合節點。然而，節點的結合選擇出的視覺概念要比單個節點少很多，大約為 80%。
Bau 說，「在我看來，這表明神經網絡實際在嘗試近似獲取一個祖母神經元。他們并不是想把祖母神經元的概念搞的到處都是，而是想把它分配給一個神經元。這是一個有趣的暗示，大部分人不相信這個架構如此簡單?！?/p>
論文： Network Dissection: Quantifying Interpretability of Deep Visual Representations
論文鏈接：http://netdissect.csail.mit.edu/final-network-dissection.pdf
我們提出了一種名為 Network Dissection 的通用框架，能夠通過評估單個隱藏單元與一系列語義概念間的對應關系，來量化 CNN 隱藏表征的可解釋性。給出一個 CNN 模型，我們提出的該方法利用大量視覺概念的數據集來評分每個中間卷積層隱藏單元的語義。這些帶有語義的單元被賦予了大量標簽，從物體、組成部分、場景到紋理、材料和顏色。我們使用已提出的方法測試了這一假設：單元的可闡釋性等同于其隨機線性結合；接著當被訓練解決不同的監督和自監督訓練任務時，我們應用我們的方法對比了不同網絡的潛在表征。我們進一步分析了訓練迭代的影響，對比了使用不同初始化進行訓練的網絡，檢查了網絡深度和寬度的影響，并測量了 dropout 和批歸一化在深度視覺表征的可闡釋性上產生的影響。我們證明了已提出的方法可以揭示 CNN 模型和訓練方法（超越了對其判別力的測量）的特性。
