Science子刊：人腦存在加速學習機制，算力賽過最新AI算法
機器學習和深度學習算法的起源，是連接大腦中神經元的突觸強度的學習機制，它越來越多地影響著當代生活的幾乎所有方面。
半個世紀以前，研究人員試圖模仿這些大腦的功能，將神經科學和人工智能聯系起來。但是，從那時起，實驗神經科學并未直接推動機器學習領域的發展，兩個學科一直在相互獨立并行發展。
在今天發表在《科學報告》的一篇文章中，研究人員稱，他們已經重建了實驗神經科學和機器學習之間中斷70年的橋梁。
我們大腦的高級學習機制可能會導致更高效的AI算法。圖片來源：巴伊蘭大學Ido Kanter教授
該研究的主要作者，巴伊蘭大學物理系和多學科大腦研究中心的Ido Kanter教授說：“據信，大腦中的學習步驟通常可持續數十分鐘甚至更長，而在一臺計算機中，則可持續一納秒，或者說是一百萬次快一百萬次。”
研究人員著手證明兩個假設:一，我們總認為大腦學習非常緩慢，這可能是錯誤的；二，大腦可能有加速學習機制。
出乎意料的是，兩個假設都被證明是正確的。盡管大腦相對較慢，但其計算能力優于典型的最新人工智能算法。
通過在神經元培養上進行新型人工神經網絡實驗，研究人員首先證明了增加的訓練頻率會加速神經元適應過程。
這項工作的主要貢獻者Shira Sardi表示：“每秒觀察10次相同圖像的學習效果與每月觀察1000次相同圖像的效果一樣。”
另一位貢獻者Roni Vardi博士補充說：“快速重復相同的圖像可將我們的大腦適應能力提高到幾秒鐘而不是幾十分鐘。大腦的學習甚至可能更快，但這已經超出了我們目前的實驗限制。”
其次，研究人員展示了一種受大腦啟發的新學習機制。這種機制是在人工神經網絡上實現的，其中對于連續學習步驟，局部學習步長會增加
在手寫數字的簡單數據集MNIST上進行了測試，其成功率大大超過了常用的機器學習算法，例如手寫數字識別，尤其是在提供較小型的數據集進行訓練的情況下。
實驗神經科學與機器學習之間連接的重建，有望在有限的訓練示例下促進人工智能（尤其是超快速決策）的發展，對于人類決策，機器人控制和網絡優化的許多情況同樣適用。
下面，開始論文干貨。
論文介紹
突觸強度的改變通常持續數十分鐘，而神經元（節點）的時鐘速度范圍約為一秒。盡管大腦相對較慢，但其計算能力優于典型的最新人工智能算法。遵循這種速度/能力悖論，我們通過實驗得出基于小型數據集的加速學習機制，這些機制在千兆赫處理器上的利用有望導致超快決策。
與現代計算機不同，定義明確的全局時鐘不能控制大腦的運行過程。相反，它們是相對事件時間（例如，刺激和誘發的尖峰）的函數。根據神經元計算，使用經過分支的樹突樹的衰減輸入求和，每個神經元將異步輸入電信號求和，并在達到閾值時生成短電脈沖（峰值）。每個神經元的突觸強度會根據來自其他突觸的相對輸入時間進行緩慢調整。如果從突觸中感應出信號而沒有產生尖峰，則基于與來自同一神經元上其他突觸的相鄰尖峰的相對時序來修改其關聯強度。
最近有實驗證明，每個神經元都起著獨立閾值單元的作用。信號通過樹突樹到達后，每個閾值單元都會被激活。另外，基于樹突信號到達定時實驗上觀察到的一種新型自適應規則，這類似于當前歸因于突觸（連接）的慢速自適應機制。這種樹突適應發生在更快的時間尺度上：大約需要五分鐘，而突觸修飾則需要數十分鐘或更長時間。
研究過程
1.實驗結果表明，適應率隨訓練頻率的增加而增加。
在這項研究中，研究人員將神經元培養種植在添加了突觸阻滯劑的多電極陣列上，這種突觸阻滯劑可通過其樹突細胞在細胞外刺激這個被膜片鉗夾住的神經元。
通過神經元樹突在細胞內刺激被研究的神經元，并為每種刺激路徑生成不同的尖峰波形。更詳盡解釋請參閱論文原文“材料和方法”部分。
適應過程包括一個訓練集：50對刺激。通過進一步測試神經元刺激的響應時間和強度是否正常，我們量化了神經元適應的效果，確定下來了應該以怎樣的細胞外刺激幅度來進行研究。
神經元的正常延遲時間：1-4毫秒
為了量化初始反應，降低細胞外刺激幅度，直到未觀察到可靠的誘發峰。
2.加速基于生物學啟發機制的有監督的可實現學習規則。
與生物學機制的暗示相符合，隨著訓練頻率的增加，適應過程將大大加速，
這可能意味著隨時間變化的遞減適應步長（等式 1）：
當前的適應步驟𝜂𝑡 + 1𝑎 d 𝑎𝑝，等于權重遞減的前一個， 𝑡代表離散時間步長，𝜏0是一個常數，1 /τ代表訓練頻率，而Δ是一個常數，代表當前訓練步驟的增量效果。
使用可實現規則和二進制分類的有監督在線學習，研究了兩種情況：突觸適應和樹突適應：
我們首先檢查了時間依賴的適應步驟（等式 1）對加速生物學學習過程的影響。Teacher給student提供了異步輸入和二進制輸出關系，它們都具有最簡單的分類器感知器的相同架構，輸出節點由泄漏的集成并發射神經元。
結果清楚地表明，泛化誤差，ε g的實驗啟發式的時間相關η（等式 1）基本上勝過固定η情景（上圖）。這種加速的學習源于以下事實：突觸學習中的權重收斂到極限，權重消失或超過閾值。
3. 使用在神經網絡上測試的MNIST數據庫，在無法實現的規則的有監督學習中檢查了實驗啟發式的時間相關學習步驟機制。
這個數據庫包含大量手寫數字示例（如下圖），通常用作原型問題，用于量化針對各種圖像處理任務的機器學習算法的泛化性能。
在這項研究中，我們使用MNIST數據庫的一小部分，沒有任何數據擴展方法。常用的訓練網絡由784個輸入（代表一個數字28×28像素），一個隱藏層（本研究中為30個單位）和十個代表標簽的輸出（如上圖）組成。常用的學習方法是反向傳播策略：
其中將步長上的權重朝著成本函數的梯度負號C的步長η進行修改。一種改進的方法是動量策略和權重的正則化（上圖為等式2）：
動量μ和正則化α在區域[0，1]中是常數，并且 𝜂0η0是一個常數。
我們優化了動量策略（等式2）的績效 （𝜇 ，𝛼，𝜂0）（μ，α，η0） 使用交叉熵代價函數（材料和方法）對有限的訓練數據集進行了比較，并將其性能與以下兩種由時間相關的η組成的實驗啟發式學習機制進行了比較。
論文中對加速度還有更詳細的公式給出，篇幅所限，本文就不做更多介紹了。
結果：在線訓練集由300個隨機選擇的示例組成：每個標簽以隨機順序出現30次。經過300個學習步驟，加速方法的性能優于動量法超過25％，測試精度分別從約0.43提高到0.54。
對于給定數量的網絡更新，結果表明，較小的示例集可產生更多信息。為了最大程度地提高在線場景（尤其是小型數據集）的測試準確性，平衡的示例集和平衡的時間訓練順序是重要的組成部分。
論文結論
基于連貫的連續梯度增加的η，針對小組的訓練示例，腦啟發式的加速學習機制優于現有的通用ML策略。在各種成本函數上運行（例如平方成本函數）均會出現一致的結果，但是性能會相對下降（見下圖）。
因為給定數據集的最大性能取決于所選的加速方法（見下圖），在培訓過程中調整學習方法可以提高績效。
但是，除了可能的用于更新η的高級非線性函數外，在網絡更新次數高的情況下，加速方法的最終調度和使性能最大化的受訓實例的排序也值得進一步研究。
實驗神經科學和ML的橋梁有望進一步推進利用有限的數據庫進行決策，這是許多方面的現實：人類活動、機器人控制和網絡優化。
本文研究機構
巴伊蘭大學縮寫BIU，建立于1955年，位于以色列拉馬特甘，是一所公立大學，也是目前以色列規模第二大的學術研究機構。
