新年伊始，Meta腦機接口研究傳來新進展——

語言模型加持下，無需動腦部手術，腦機接口實現(xiàn)了當前非侵入式方式（MEG）最準確的結果。

簡單來說，僅利用AI模型Brain2Qwerty，他們實現(xiàn)了對腦電圖（EEG）或腦磁圖（MEG）電信號的高度解析。

具體效果如何呢？？

據論文介紹，使用MEG，Brain2Qwerty的平均字符錯誤率（CER）為32%。按照Meta的說法，這是當前使用全字母鍵盤和頭骨外收集的信號進行大腦打字最準確的結果。

最好的例子中，該模型還實現(xiàn)了19%的CER，并能完美解碼訓練集之外的多種句子。

想要直觀理解這項技術，請看下圖：

谷歌前員工還順帶調侃，這不妥妥的新雷朋眼鏡!（doge）

更有人腦洞大開，這下即使睡覺也能自動發(fā)帖了~

不需要動腦部手術的“非侵入性”腦機接口

按照當前理解，腦機接口是一種在人類大腦和計算機或其他設備之間建立直接通信的技術。

這種通信可以是雙向的，既允許人類通過思維活動控制外部設備，也允許外部設備解讀大腦信號并與之交互。

從類型上看，它有侵入式和非侵入式兩種。

前者典型代表就是馬斯克旗下的Neuralink，這類接口通過在大腦內植入傳感器或電極來實現(xiàn)，一般主要用于醫(yī)療領域，如治療帕金森病、癲癇或進行深度腦刺激。

而后者通常使用外部設備來監(jiān)測大腦活動，比如將腦電圖傳感器貼在頭皮上，由于風險較小且易于使用，這種方式往往在應用中更加常見。

接下來，我們重點說說Meta如何將AI與非侵入式腦機接口做結合，相關答案可以從Meta此次公布的兩篇論文中尋找。

在第一篇論文中，Meta詳細介紹了Brain2Qwerty系統(tǒng)架構和實驗過程。

他們找來了35名志愿者，均為右撇子且熟練打字的西班牙語母語者，無神經或精神疾病史。其中23%為男性，77%為女性，平均年齡31.6±5.2歲。

這群人接到的任務是，在鍵盤上打出簡短記住的句子，同時其大腦活動將被EEG或MEG記錄。

每個試驗包含讀、等待、打字三個步驟。句子（例如el procesador ejecuta la instrucción）逐詞顯示，每個單詞顯示465-665ms，讀完后停頓1.5秒，之后開始“盲打”。

與此同時，志愿者的大腦電信號被輸入到Brain2Qwerty系統(tǒng)中。

這一系統(tǒng)主要包含三個模塊：

• 卷積模塊：以500毫秒窗口的M/EEG信號作為輸入，對大腦信號進行初步處理和特征提取；
• Transformer模塊：在句子層面進行訓練，能夠捕捉句子整體的語義和結構信息，進一步處理卷積模塊輸出的特征；
• 語言模塊：采用預訓練的語言模型，對Transformer模塊的輸出進行糾正，利用語言的先驗知識和語法規(guī)則，提升文本輸出的準確性。

最終， 他們使用句子層面的字符錯誤率（Character Error Rate，CER）來評估模型性能。即計算預測文本與目標文本之間的字符差異，并以百分比形式呈現(xiàn)錯誤率。

結果顯示，使用腦磁圖時，Brain2Qwerty的字符錯誤率達到32±0.6%，使用腦電圖時為67±1.5%。這種性能反映出不同記錄設備之間存在顯著差異。

最好的例子中，該模型還實現(xiàn)了19%的CER。（可以解碼最高80%的新句子）

在第二篇論文中，Meta探究了大腦中語言產生的神經機制，由此進一步證實了語言產生遵循層級化處理過程的理論預測。

目前有這樣一種被廣泛接受的理論，即語言產生是一個層級化的過程。也就是說，人們在生成語言時，大腦會按照一定的層次順序對語言信息進行處理。

通過觀察上述35名志愿者的神經活動，研究得出如下發(fā)現(xiàn)：

在每個單詞產生之前，神經活動呈現(xiàn)出特定的規(guī)律，具體表現(xiàn)為按上下文、單詞、音節(jié)和字母的順序生成語言表征，且呈現(xiàn)出上升和下降的變化。

這無疑印證了前述理論。

另外，研究還發(fā)現(xiàn)每個層次的神經表征在大腦中維持的時間不同。一般來說，高層次的上下文表征持續(xù)時間較長，而低層次的字母表征持續(xù)時間相對較短。

同時，這些不同層次的表征在時間上存在重疊，即多個連續(xù)的語言表征會同時存在于大腦活動中，但它們通過動態(tài)神經編碼機制在不同的神經子空間中進行表示，從而避免了相互干擾。

這不僅進一步支持了語言理論中的層級預測，而且說明語言產生過程中的各個層次表征之間存在著復雜而有序的時間關系和神經機制。

相關研究始于2016年

事實上，早在2016年，還是Facebook的Meta就開始了腦機接口研究。

不過這一消息是官方到2017年才透露的。

當時聲稱，一年前Facebook啟動了一個名為Building 8的特別團隊，專注于開發(fā)非侵入性腦機接口，并稍稍分享了正在進行中的六個項目當中的兩個。

比如大腦讀取帽子這項計劃，使用者只需思考就可以用它來發(fā)短信；又或者開發(fā)一種可穿戴設備（比如一條臂帶），讓人們能夠通過皮膚“聽到”詞語。

然而，根據國外相關報道，由于遇到技術障礙，上述項目在進行四年后以失敗告終。

而現(xiàn)在，通過與西班牙的一個研究中心展開合作，Meta終于在這上面取得新進展。

此外，根據Meta公告，他們還將向一家法國知名醫(yī)療機構Rothschild Foundation Hospital（在神經介入領域有豐富經驗）捐贈220萬美元，繼續(xù)相關研究。

而且不難看出，他們和歐洲多個研究機構均展開了廣泛合作。

回到研究本身，整體而言，按Meta自己的話來說：

最新結果縮小了侵入性和非侵入性方法之間的差距，從而為開發(fā)安全的腦機接口開辟了道路，以幫助無法溝通的患者。

不過，提高準確性仍是未來關鍵。

論文：
https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-approach-via-typing/https://ai.meta.com/research/publications/from-thought-to-action-how-a-hierarchy-of-neural-dynamics-supports-language-production/