深度學習的本質(zhì)探究？
1、人工智能浪潮又起
標志型事件，阿爾法圍棋(AlphaGo)戰(zhàn)勝李世石。
alphago是一款圍棋人工智能程序，由谷歌(Google)旗下DeepMind公司的戴維·西爾弗、艾佳·黃和戴密斯·哈薩比斯與他們的團隊開發(fā)，這個程序利用“價值網(wǎng)絡(luò)”去計算局面，用“策略網(wǎng)絡(luò)”去選擇下子。2015年10月阿爾法圍棋以5:0完勝歐洲圍棋冠軍、職業(yè)二段選手樊麾;2016年3月對戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝。這個讓人工智能浪潮又起，熱浪達到了一個高度。
alphago 核心用到了”深度卷積神經(jīng)網(wǎng)絡(luò)”和“MCTS，蒙特卡洛搜索樹”算法。接下來我們了解下深度學習的本質(zhì)到底是什么?深度學習==人工智能嗎?
2、深度學習起源和概念
深度學習的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學習結(jié)構(gòu)。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。
深度學習的概念由Hinton等人于2006年提出?；谏疃戎眯啪W(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是***個真正多層結(jié)構(gòu)學習算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓練性能。
深度學習是機器學習研究中的一個新的領(lǐng)域，其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。
同機器學習方法一樣，深度機器學習方法也有監(jiān)督學習與無監(jiān)督學習之分.不同的學習框架下建立的學習模型很是不同.例如，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks，簡稱CNNs)就是一種深度的監(jiān)督學習下的機器學習模型，而深度置信網(wǎng)(Deep Belief Nets，簡稱DBNs)就是一種無監(jiān)督學習下的機器學習模型。
3、深度學習解決什么問題
從一個輸入中產(chǎn)生一個輸出所涉及的計算可以通過一個流向圖(flow graph)來表示：流向圖是一種能夠表示計算的圖，在這種圖中每一個節(jié)點表示一個基本的計算以及一個計算的值，計算的結(jié)果被應(yīng)用到這個節(jié)點的子節(jié)點的值。考慮這樣一個計算集合，它可以被允許在每一個節(jié)點和可能的圖結(jié)構(gòu)中，并定義了一個函數(shù)族。輸入節(jié)點沒有父節(jié)點，輸出節(jié)點沒有子節(jié)點。
這種流向圖的一個特別屬性是深度(depth)：從一個輸入到一個輸出的最長路徑的長度。
傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度(比如對于輸出層為隱層數(shù)加1)。SVMs有深度2(一個對應(yīng)于核輸出或者特征空間，另一個對應(yīng)于所產(chǎn)生輸出的線性混合)。
人工智能研究的方向之一，是以所謂 “專家系統(tǒng)” 為代表的，用大量 “如果-就” (If - Then) 規(guī)則定義的，自上而下的思路。人工神經(jīng)網(wǎng)絡(luò) ( Artifical Neural Network)，標志著另外一種自下而上的思路。神經(jīng)網(wǎng)絡(luò)沒有一個嚴格的正式定義。它的基本特點，是試圖模仿大腦的神經(jīng)元之間傳遞，處理信息的模式。
3.1大腦有一個深度架構(gòu)
1981年諾貝爾醫(yī)學生理學獎頒發(fā)給了David Hubel，一位神經(jīng)生物學家。他的主要研究成果是發(fā)現(xiàn)了視覺系統(tǒng)信息處理機制，證明大腦的可視皮層是分級的。他的貢獻主要有兩個，一是他認為人的視覺功能一個是抽象，一個是迭代。抽象就是把非常具體的形象的元素，即原始的光線像素等信息，抽象出來形成有意義的概念。這些有意義的概念又會往上迭代，變成更加抽象，人可以感知到的抽象概念。
像素是沒有抽象意義的，但人腦可以把這些像素連接成邊緣，邊緣相對像素來說就變成了比較抽象的概念;邊緣進而形成球形，球形然后到氣球，又是一個抽象的過程，大腦最終就知道看到的是一個氣球。
視覺皮質(zhì)并顯示出一系列的區(qū)域，在每一個這種區(qū)域中包含一個輸入的表示和從一個到另一個的信號流(這里忽略了在一些層次并行路徑上的關(guān)聯(lián)，因此更復雜)。這個特征層次的每一層表示在一個不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據(jù)低層特征定義。
需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時活動的。給定大量的神經(jīng)元，仍然有一個非常高效地(指數(shù)級高效)表示。
3.2 認知過程逐層進行，逐步抽象
人類層次化地組織思想和概念;
人類首先學習簡單的概念，然后用他們?nèi)ケ硎靖橄蟮?
工程師將任務(wù)分解成多個抽象層次去處理;
學習/發(fā)現(xiàn)這些概念(知識工程由于沒有反省而失敗?)是很美好的。對語言可表達的概念的反省也建議我們一個稀疏的表示：僅所有可能單詞/概念中的一個小的部分是可被應(yīng)用到一個特別的輸入(一個視覺場景)。
4、深度學習適用場景
深度學習已經(jīng)在語音識別、圖像處理等方面取得了巨大成功。從2013、2014年開始，也在自然語言處理領(lǐng)域出現(xiàn)深度學習的應(yīng)用浪潮。隨著研究的深入，其他領(lǐng)域還在探索中，如自動駕駛等等。
5、深度學習等同人工智能嗎?
5.1 強人工智能和弱人工智能
人工智能的一個比較流行的定義，也是該領(lǐng)域較早的定義，是由約翰·麥卡錫(John McCarthy|)在1956年的達特矛斯會議(Dartmouth Conference)上提出的：人工智能就是要讓機器的行為看起來就象是人所表現(xiàn)出的智能行為一樣。但是這個定義似乎忽略了強人工智能的可能性(見下)。另一個定義指人工智能是人造機器所表現(xiàn)出來的智能性?？傮w來講，目前對人工智能的定義大多可劃分為四類，即機器“像人一樣思考”、“像人一樣行動”、“理性地思考”和“理性地行動”。這里“行動”應(yīng)廣義地理解為采取行動，或制定行動的決策，而不是肢體動作。
強人工智能: 強人工智能觀點認為有可能制造出真正能推理(Reasoning)和解決問題(Problem_solving)的智能機器，并且，這樣的機器能將被認為是有知覺的，有自我意識的。強人工智能可以有兩類： 類人的人工智能，即機器的思考和推理就像人的思維一樣。 非類人的人工智能，即機器產(chǎn)生了和人完全不一樣的知覺和意識，使用和人完全不一樣的推理方式。
弱人工智能:弱人工智能觀點認為不可能制造出能真正地推理(Reasoning)和解決問題(Problem_solving)的智能機器，這些機器只不過看起來像是智能的，但是并不真正擁有智能，也不會有自主意識。 主流科研集中在弱人工智能上，并且一般認為這一研究領(lǐng)域已經(jīng)取得可觀的成就。強人工智能的研究則處于停滯不前的狀態(tài)下。
當前深度學習還是其他算法，更多的是弱人工智能，根本就沒有思考和推斷的能力，深度學習說low一點，本質(zhì)上做的還是分類。
6、深度學習研究方向
Hinton，Bengio及Lecun三位大神在Nature上發(fā)表的Deep Learning綜述***總結(jié)了深度學習的三大發(fā)展方向：
1)無監(jiān)督學習。無監(jiān)督學習在深度學習剛火的那幾年有很重要的作用，比如用無監(jiān)督方式訓練深度信念網(wǎng)絡(luò)還有稀疏自編碼器等，使用無監(jiān)督學習主要是為了預訓練，以得到一個較好的初始值，隨后再使用有監(jiān)督訓練進行微調(diào)。但是隨著計算能力的發(fā)展，人們發(fā)現(xiàn)只要在數(shù)據(jù)集足夠大的情況下使用純有監(jiān)督學習也能得到較好性能，所以近幾年無監(jiān)督學習發(fā)展不是很大，Hinton他們希望在未來無監(jiān)督學習能有更大發(fā)展，因為人類和動物的學習在很大程度上都是無監(jiān)督的：我們通過觀察這個世界來學習，而不是有個老師在教我們這個世界的原理。
2)深度強化學習。深度強化學習的主要思想簡而言之就是將深度學習與強化學習相結(jié)合，是一種從感知到動作的端到端學習。簡單的說，就是和人類一樣，輸入感知信息比如視覺，然后通過深度神經(jīng)網(wǎng)絡(luò)，直接輸出動作，中間沒有人工特征的工作。深度增強學習具備使機器人實現(xiàn)真正完全自主的學習一種甚至多種技能的潛力。深度強化學習最突出的代表就是DeepMind公司了，該公司在NIPS 2013上發(fā)表的Playing Atari with Deep Reinforcement Learning一文，在該文中***次提出深度強化學習這個名稱，之后在Nature上發(fā)表了改進版的文章Human-level control through deep reinforcement learning，引起了廣泛的關(guān)注，深度強化學習從此成為深度學習領(lǐng)域的前沿研究方向。最近的李世石大戰(zhàn)阿法狗中，阿法狗背后的技術(shù)也是深度強化學習，DeepMind將阿法狗背后用到的技術(shù)發(fā)表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。
3)自然語言理解。自然語言理解也是深度學習在未來幾年能大有作為的領(lǐng)域。使用深度學習技術(shù)的各種應(yīng)用比如神經(jīng)機器翻譯，問答系統(tǒng)，文摘生成等都取得了不錯的效果，效果的提升主要歸功于注意力機制和循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的強大能力。相信未來幾年內(nèi)還會有大量相關(guān)工作出現(xiàn)。
【本文為51CTO專欄作者“大數(shù)據(jù)和云計算”的原創(chuàng)稿件，轉(zhuǎn)載請通過微信公眾號獲取聯(lián)系和授權(quán)】
