人工智能的必要條件：深度學(xué)習(xí)模型，大數(shù)據(jù)，算力

作者：Michael Zhang 麥教授

2016年，AlphaGo下圍棋戰(zhàn)勝李世乭，大家都認(rèn)為人工智能的時(shí)代到來(lái)了。人工智能也是同樣的在一定的歷史契機(jī)下，幾個(gè)獨(dú)立發(fā)展的領(lǐng)域碰巧合并在一起就產(chǎn)生了巨大的推動(dòng)力。這一波人工智能發(fā)展的三個(gè)必要條件是：深度學(xué)習(xí)模型，大數(shù)據(jù)，算力（并行計(jì)算）。

深度學(xué)習(xí)模型

AlphaGo用的機(jī)器學(xué)習(xí)模型是深度學(xué)習(xí)教父杰佛瑞·辛頓（Geoffrey Hinton）在1986年開始倡導(dǎo)，并在2010年取得重大突破的。

2012年的夏天，64歲的辛頓離開了他在多倫多附近的家，成為了谷歌的一名實(shí)習(xí)生。他領(lǐng)到了一頂縫有“Noogler”（意思是：谷歌新員工，New Googler的縮寫）字樣的螺旋槳小帽，并參加了主要由80后、90后組成的迎新會(huì)。年輕的Nooglers不會(huì)認(rèn)出他來(lái)，因?yàn)樾令D幾十年來(lái)一直在默默研究神經(jīng)網(wǎng)絡(luò)的算法。用他的話說(shuō)，這些年輕人似乎把他當(dāng)成了“老年低能兒”（有沒有想起羅伯特·德尼羅的電影《實(shí)習(xí)生》？）。

谷歌之所以要請(qǐng)他，是因?yàn)樗纳疃葘W(xué)習(xí)算法模型打破了機(jī)器學(xué)習(xí)幾乎所有領(lǐng)域的天花板。人工智能最近幾年的突破得益于辛頓過(guò)去幾十年的研究，他最初在1986年發(fā)表的論文提出讓機(jī)器像人類的大腦一樣通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)做學(xué)習(xí)的模型。但是這個(gè)模型在取得初步的成功后，就停滯不前了（缺乏另外兩個(gè)要素：數(shù)據(jù)和算力）。大多數(shù)的學(xué)者都背棄了它，而辛頓沒有。

歷史快進(jìn)20年，到了2006年，辛頓的團(tuán)隊(duì)取得了突破性進(jìn)展。被重新命名為“深度學(xué)習(xí)（deep learning）”的神經(jīng)網(wǎng)絡(luò)開始在每一項(xiàng)關(guān)鍵任務(wù)中擊敗傳統(tǒng)的人工智能，如語(yǔ)音識(shí)別、描述圖像和生成自然可讀的句子等等。這些算法支撐著從自動(dòng)駕駛汽車、虛擬助手到搜索引擎推薦的后端技術(shù)。

近幾年，谷歌、Facebook、微軟、BAT、抖音等所有科技巨頭都開始了深度學(xué)習(xí)的淘金熱，爭(zhēng)奪世界上極少數(shù)的專家，由數(shù)億風(fēng)險(xiǎn)投資支持的深度學(xué)習(xí)創(chuàng)業(yè)公司也如雨后春筍般涌現(xiàn)。這些都是因?yàn)樾令D的模型改變了人們做人工智能研究和應(yīng)用的范式。

值得一提的是：辛頓這個(gè)家族出了太多的神一樣的人物。

辛頓的曾祖父是喬治·布爾（George Boole），就是就是布爾代數(shù)那個(gè)布爾。布爾32歲出版了《邏輯的數(shù)學(xué)分析》（The Mathematical Analysis of Logic），把邏輯和代數(shù)之間的關(guān)系建立起來(lái)。他39歲時(shí)出版了《思維的規(guī)則》 （ The Laws of Thought ），創(chuàng)立了布爾邏輯和布爾代數(shù)。數(shù)理邏輯這個(gè)數(shù)學(xué)分支奠定了現(xiàn)代計(jì)算機(jī)的數(shù)學(xué)基礎(chǔ)。

布爾的妻子叫瑪麗·艾佛斯特（Mary Everest），珠穆朗瑪峰（Mount Everest）英文名字就是以瑪麗的叔叔，曾任印度大地測(cè)量局總測(cè)量師的喬治·艾佛斯特（George Everest）而命名的。布爾最小的女兒艾捷爾·麗蓮·伏尼契 （EthelLilian Voynich）寫出了偉大的作品《牛虻》（The Gadfly）。

布爾長(zhǎng)女瑪麗·愛倫（Mary Ellen） 這一支更是名人輩出，愛倫和數(shù)學(xué)家Charles Howard Hinton結(jié)婚。愛倫的孫女（辛頓的姑姑）Joan Hinton中文名寒春（名字就是Hinton的音譯），是芝加哥大學(xué)核物理研究所研究生，是費(fèi)米（Enrico Fermi）的學(xué)生，楊振寧、李政道的同學(xué)，也是參與了曼哈頓計(jì)劃的極少數(shù)的女科學(xué)家之一。

1953年，美國(guó)的《真相》雜志報(bào)道稱曾參與過(guò)美國(guó)曼哈頓計(jì)劃的女物理學(xué)家寒春（Joan Hinton）突然失蹤而后在北京露面。作者（是個(gè)后海軍上將）懷疑寒春向中國(guó)透露了美國(guó)的原子彈秘密，甚至可能協(xié)助中國(guó)政府發(fā)展了原子彈計(jì)劃。寒春其實(shí)是厭惡了原子彈對(duì)人類的傷害而選擇逃離到中國(guó)，她認(rèn)為中國(guó)最缺的是牛奶，于是選擇幫中國(guó)推進(jìn)科學(xué)養(yǎng)牛和農(nóng)業(yè)機(jī)械化。她是第一位獲得中國(guó)綠卡的外國(guó)人，2010年在北京去世。

和寒春一樣，辛頓也厭倦了美國(guó)軍方開發(fā)大規(guī)模殺傷武器，1980年代就離開了卡耐基梅隆大學(xué)（CMU）到加拿大的多倫多大學(xué)專心做人工智能研究。2010年，63歲的他發(fā)表的深度神經(jīng)網(wǎng)絡(luò)AlexNet對(duì)機(jī)器學(xué)習(xí)各個(gè)領(lǐng)域都起到巨大的推動(dòng)作用。2018年，他和自己的學(xué)生和合作者一起獲得了計(jì)算機(jī)科學(xué)的最高獎(jiǎng)“圖靈獎(jiǎng)”。

人工智能的大數(shù)據(jù)

辛頓的深度學(xué)習(xí)算法摧枯拉朽般地推進(jìn)了機(jī)器學(xué)習(xí)的各個(gè)子領(lǐng)域。大眾意識(shí)到這個(gè)算法的威力是在2012年。

2012年，語(yǔ)音識(shí)別還遠(yuǎn)未達(dá)到完美。這些系統(tǒng)通常使用隱藏馬爾可夫模型（HMM）或高斯混合模型（GMM）來(lái)識(shí)別語(yǔ)音中的模式。辛頓等人在2012年發(fā)表的一篇開創(chuàng)性論文表明，深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)明顯優(yōu)于之前的這些模型。

2012年ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽（ILSVRC），是將深度神經(jīng)網(wǎng)絡(luò)用于圖像識(shí)別的一個(gè)決定性時(shí)刻。辛頓和他的學(xué)生亞歷克斯·克里澤夫斯基（Alex Krizhevsky），還有伊爾亞‧蘇茨克維（Ilya Sutskever）共同發(fā)表了一個(gè)被稱為“AlexNet”的卷積神經(jīng)網(wǎng)絡(luò)（CNN），將ImageNet視覺識(shí)別上現(xiàn)有的錯(cuò)誤率降低了一半，達(dá)到15.3%，比第二名低了10.8個(gè)百分點(diǎn)。

為什么之前看不出來(lái)這個(gè)算法的威力呢？原因很簡(jiǎn)單，之前研究者們沒有大規(guī)模的訓(xùn)練人工智能的數(shù)據(jù)。在小規(guī)模數(shù)據(jù)上，深度學(xué)習(xí)的算法并沒有很強(qiáng)的優(yōu)勢(shì)。

圖中可以看到，傳統(tǒng)的算法會(huì)遇到一個(gè)瓶頸，數(shù)據(jù)規(guī)模再大也沒有辦法提高了。但是深度學(xué)習(xí)可以隨著數(shù)據(jù)規(guī)模提升而持續(xù)提高算法的表現(xiàn)。

這個(gè)計(jì)算機(jī)視覺比賽用的大規(guī)模數(shù)據(jù)ImageNet來(lái)自于斯坦福大學(xué)教授李飛飛的研究。她有很強(qiáng)的連接不同領(lǐng)域之間關(guān)系的洞察力。她的計(jì)算機(jī)視覺同行們那時(shí)在研究計(jì)算機(jī)感知和解碼圖像的模型，但這些模型的范圍都很有限，他們可能會(huì)寫一個(gè)算法來(lái)識(shí)別狗，另一個(gè)算法來(lái)識(shí)別貓。

李飛飛懷疑問(wèn)題不是出在模型上而是出在數(shù)據(jù)上。如果一個(gè)孩子可以通過(guò)觀察無(wú)數(shù)的物體和場(chǎng)景來(lái)學(xué)會(huì)識(shí)別物體，那么計(jì)算機(jī)也許也可以用類似的方式，通過(guò)分析大規(guī)模的各種各樣的圖像和它們之間的關(guān)系來(lái)學(xué)習(xí)。但是這樣就要求訓(xùn)練模型時(shí)，有大量的打好標(biāo)簽的圖片，告訴計(jì)算機(jī)圖片里的物體都是什么。在一個(gè)有百萬(wàn)甚至千萬(wàn)張圖片的數(shù)據(jù)庫(kù)中標(biāo)記每張圖片上所有的物體是一個(gè)巨大的體力活。

2007年在普林斯頓大學(xué)擔(dān)任助理教授的李飛飛提出了她對(duì)ImageNet的想法時(shí)，很難得到同事們的幫助，因?yàn)槟菚r(shí)大家只是習(xí)慣于用幾百到幾千張圖片的數(shù)據(jù)庫(kù)。有人評(píng)論說(shuō)：“如果連一個(gè)物體都識(shí)別不好，為什么還要識(shí)別幾千個(gè)、幾萬(wàn)個(gè)物體？”

李飛飛嘗試給普林斯頓的學(xué)生支付每小時(shí)10美元的工資來(lái)打標(biāo)簽，但進(jìn)展緩慢。后來(lái)有學(xué)生跟她提到了亞馬遜人力外包Amazon Mechanical Turk，突然間，她可以用極低的成本雇傭許多人來(lái)打標(biāo)。2009年，李飛飛的團(tuán)隊(duì)集齊了320萬(wàn)張（后來(lái)增加到1500萬(wàn)張）打過(guò)標(biāo)的圖片，他們發(fā)表了一篇論文，同時(shí)還建立了開放的數(shù)據(jù)庫(kù)。

起初，這個(gè)項(xiàng)目幾乎沒有受到關(guān)注。后來(lái)團(tuán)隊(duì)聯(lián)系了次年在歐洲舉行的計(jì)算機(jī)視覺競(jìng)賽的組織者，并要求他們?cè)试S參賽者使用ImageNet數(shù)據(jù)庫(kù)來(lái)訓(xùn)練他們的算法。這就成了ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽。

歷年來(lái)ImageNet挑戰(zhàn)賽的參賽者在科技界的每個(gè)角落都能找到。2010年大賽的第一批獲獎(jiǎng)?wù)吆髞?lái)在谷歌、百度和華為擔(dān)任了高級(jí)職務(wù)。基于2013年ImageNet獲獎(jiǎng)算法創(chuàng)建的Clarifai公司后來(lái)獲得了4000萬(wàn)美元的風(fēng)險(xiǎn)投資支持。2014年，牛津大學(xué)的兩位研究人員獲得冠軍，他們很快被谷歌搶走，并加入了其收購(gòu)的DeepMind實(shí)驗(yàn)室。

這個(gè)數(shù)據(jù)庫(kù)突然激發(fā)了深度學(xué)習(xí)的潛能，讓人們意識(shí)到數(shù)據(jù)的規(guī)模有時(shí)比模型的效率更重要，之前人們總是糾結(jié)在小規(guī)模數(shù)據(jù)上一點(diǎn)一點(diǎn)的推進(jìn)算法準(zhǔn)確性，而ImageNet和AlexNet讓大家看到了數(shù)據(jù)規(guī)模能給人工智能帶來(lái)的變革。到了2017年，也就是比賽的最后一年，計(jì)算機(jī)識(shí)別物體的錯(cuò)誤率已經(jīng)從2012年的15%降到了3%以下。2020年，很多算法都可以把錯(cuò)誤率降低到2%以下了。

算力（并行計(jì)算）

所謂深度神經(jīng)網(wǎng)絡(luò)，說(shuō)的是神經(jīng)網(wǎng)絡(luò)有好多層，每一層又有好多節(jié)點(diǎn)，為了計(jì)算最優(yōu)的模型，要做非常大量的計(jì)算。這個(gè)方法以前不流行的原因就是它計(jì)算量太大了。在處理小規(guī)模數(shù)據(jù)時(shí)，深度學(xué)習(xí)的正確率并不比別的簡(jiǎn)單模型高，但是計(jì)算量大很多，于是并不討喜。在2010年前后，隨著并行計(jì)算越來(lái)越容易做了，這個(gè)計(jì)算量的瓶頸突然就變得不那么重要了，于是人工智能的三個(gè)必要條件就湊齊了。

并行計(jì)算可以大幅加快計(jì)算的速度。傳統(tǒng)的有十幾個(gè)內(nèi)核的CPU（中央處理單元）可以同時(shí)處理十幾個(gè)互相獨(dú)立的運(yùn)算工作。而GPU（圖形處理單元）本來(lái)是用來(lái)給圖形顯示加速的，當(dāng)需要計(jì)算復(fù)雜的圖形的光影時(shí)，可以通過(guò)GPU上千的內(nèi)核來(lái)做并行處理，從而大幅加快計(jì)算速度。

GPU并不適合所有的加速場(chǎng)景，我們遇到的很多問(wèn)題是串行的，就是一個(gè)計(jì)算結(jié)束之后得到了結(jié)果才可以進(jìn)入下一個(gè)計(jì)算，這樣的場(chǎng)景還是CPU比較高效率。但是有些場(chǎng)景，各個(gè)計(jì)算之間相互獨(dú)立，并不需要等待，而深度學(xué)習(xí)的算法恰恰就符合了這個(gè)特性。有人做過(guò)一個(gè)簡(jiǎn)單的對(duì)比，CPU就和古代軍隊(duì)里的將軍一樣，適合遇到串行問(wèn)題時(shí)單打獨(dú)斗；但是GPU就像士兵一樣，適合在遇到并行問(wèn)題時(shí)一擁而上。深度學(xué)習(xí)算法是個(gè)并行計(jì)算可以解決的問(wèn)題，于是一拍即合，GPU并行計(jì)算的算力被大量應(yīng)用于人工智能需要加速的場(chǎng)景。

制作GPU芯片的英偉達(dá)公司的股價(jià)也一飛沖天，從2016年到現(xiàn)在股價(jià)已經(jīng)翻了20倍。之后人們?yōu)槿斯ぶ悄苡?jì)算又專門研制了更好的協(xié)處理器，如TPU 或 NPU，處理AI算法的效率更高。

GPU的重要性當(dāng)然也和區(qū)塊鏈、比特幣的發(fā)展有關(guān)。區(qū)塊鏈里面的Proof of Work就需要很多相互獨(dú)立的計(jì)算，也是GPU可以大展身手的領(lǐng)域。