意念打字登Nature封面！每分鐘寫90個(gè)字符，準(zhǔn)確率超99%

作者：楊凈夢(mèng)晨 2021-05-13 16:55:51

新聞人工智能

萬萬沒想到，腦機(jī)接口這么快就有了重大突破！甚至還登上了Nature封面。

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

萬萬沒想到，腦機(jī)接口這么快就有了重大突破！

甚至還登上了Nature封面。

一位截癱患者，正在用“意念”打出一段話，0.5秒左右就能輸出一個(gè)字母。

準(zhǔn)確率也十分驚人，高達(dá)99.1%。

意念打字登Nature封面！每分鐘寫90個(gè)字符，準(zhǔn)確率超99%

他所需要做的，只是在腦中將字母“手寫”出來，然后系統(tǒng)就會(huì)自動(dòng)識(shí)別生成字母，一分鐘可寫90個(gè)字符。

這幅字雖然寫的不咋地，但起碼受到了Nature的“青睞”。

值得一提的是，在此之前，這位患者在另一個(gè)測(cè)試項(xiàng)目中，嘗試過“意念”移動(dòng)光標(biāo)來打字，不過一分鐘只能打出13.4個(gè)正確字符。

此研究一出，就引發(fā)學(xué)界、網(wǎng)友的巨大關(guān)注。

祝賀之余，一位華盛頓大學(xué)教授甚至直呼：我打的都比它慢！

RNN立功了

這位代號(hào)為T5的老爺子腦中植入的，是兩個(gè)來自Braingate的電極陣列，各含有96個(gè)電極。

實(shí)驗(yàn)剛開始就遇到第一個(gè)困難：如何識(shí)別用戶什么時(shí)候開始嘗試書寫字母。

最后發(fā)現(xiàn)原本用于語音識(shí)別的模型可以完成這個(gè)任務(wù)。

解決這個(gè)問題之后，研究人員發(fā)現(xiàn)書寫單個(gè)字符時(shí)觀察到的腦部活動(dòng)相對(duì)固定，并且總是集中在一起。

并且書寫形狀類似的字母比如“b”和“p”時(shí)用到的區(qū)域是接近的。

看來即使癱瘓多年，運(yùn)動(dòng)皮層中筆跡的神經(jīng)表征也沒有消退。

經(jīng)過人工標(biāo)注后，這些數(shù)據(jù)就可以作為原始數(shù)據(jù)集了。

接下來是算法，研究人員選擇了循環(huán)神經(jīng)網(wǎng)絡(luò) (Recurrent Neural Network，以下簡(jiǎn)稱RNN)。

與常見的前饋神經(jīng)網(wǎng)絡(luò)相比，RNN對(duì)數(shù)據(jù)序列中的每個(gè)元素執(zhí)行相同的任務(wù)，計(jì)算結(jié)果取決于之前的所有結(jié)果，所以用循環(huán)命名。

RNN更擅長(zhǎng)預(yù)測(cè)連續(xù)數(shù)據(jù)，正適合這次研究的連續(xù)書寫一個(gè)句子。

RNN雖強(qiáng)大但有一個(gè)缺點(diǎn)，就是需要大量的數(shù)據(jù)，否則容易出現(xiàn)過擬合。

這次參與研究的被試就只有老爺子一人，他也不愿意每天花好幾個(gè)小時(shí)大量的進(jìn)行重復(fù)書寫提供數(shù)據(jù)。

不過沒關(guān)系，還有數(shù)據(jù)增強(qiáng) (Data Augmentation)。就是對(duì)每個(gè)圖像數(shù)據(jù)進(jìn)行一些微小的改變，旋轉(zhuǎn)一下、縮放一點(diǎn)、或者鏡像翻轉(zhuǎn)之類的操作，增加數(shù)據(jù)的多樣性。

除了26個(gè)字母以外，輸入英文還得有一些必要的標(biāo)點(diǎn)符號(hào)。比如空格，研究人員就要求老爺子用>代替，英文句號(hào)只有一個(gè)點(diǎn)也不好分辨，用～代替。此外還有逗號(hào)、頓號(hào)和問號(hào)。

不過這次研究沒加入數(shù)字，可能是研究人員覺得區(qū)分z和2有點(diǎn)難，就留待下次解決了。

開始訓(xùn)練時(shí)使用的數(shù)據(jù)只有242個(gè)句子，隨后每天都增加一些，最終共有572個(gè)句子，31,472個(gè)字符。

最后，為了解決有的英文字母之間過于相似，研究人員還設(shè)計(jì)了一套專用于腦機(jī)接口的字母表進(jìn)行測(cè)試，準(zhǔn)確率會(huì)高不少，但有學(xué)習(xí)成本。

字符準(zhǔn)確率最高達(dá)99.1%

接著，就到了志愿者測(cè)試階段。

根據(jù)屏幕提示，志愿在大腦中一個(gè)字母一個(gè)字母地復(fù)制書寫，字符經(jīng)過識(shí)別生成在屏幕上。

結(jié)果測(cè)試顯示，從大腦“手寫”字符，到字符在屏幕中出現(xiàn)，中間會(huì)有一個(gè)延遲，大概在0.4-0.7秒之間。

整體來看，志愿者平均每分鐘可以打出18個(gè)單詞、90個(gè)字符，字符錯(cuò)誤率僅為5.9%。

經(jīng)過類似手機(jī)自動(dòng)糾正的預(yù)測(cè)語言模型之后，他們進(jìn)一步將字符的準(zhǔn)確率提高到99.1%。

單詞的錯(cuò)誤率也從25.1%降低到3.4%。

此外，志愿者還進(jìn)行了一番自我創(chuàng)作——不用復(fù)制、自己“書寫”句子，結(jié)果每分鐘也可以打出73.8 個(gè)字符，經(jīng)過預(yù)測(cè)語言模型糾正后，準(zhǔn)確率超過了97%。

最后，為了挑戰(zhàn)極限，研究人員還訓(xùn)練了一個(gè)新的RNN，用戶寫完整個(gè)句子之后再集中處理，這種方法的正確率高達(dá)99.83%，不過用戶就得不到實(shí)時(shí)的反饋了。

實(shí)際上，這其實(shí)是BrainGate項(xiàng)目的一部分。這是一個(gè)多機(jī)構(gòu)聯(lián)盟的項(xiàng)目，包括布朗大學(xué)、美國(guó)生物技術(shù)公司Cyberkinetics，專注于腦機(jī)接口技術(shù)，致力于恢復(fù)神經(jīng)系統(tǒng)疾病、損傷或喪失肢體的人的交流、行動(dòng)和獨(dú)立性。

此前，這個(gè)項(xiàng)目實(shí)現(xiàn)了腦機(jī)接口信號(hào)的無線傳輸，讓患者可以離開實(shí)驗(yàn)室環(huán)境，在家輕松上網(wǎng)看視頻。