神經網絡為什么可以做到智能分類，回歸預測？他是如何做到的呢？

讓我們先來看一個回歸預測問題，請看下面這張圖：

解釋一下上圖中的要素：藍色曲線為真實數據，紅色為神經網絡預測曲線。其中紅色曲線由三段直線構成，【0-1】區間內斜率k=1；【1-2】區間內斜率k=-1；【2-∞】區間內斜率k=1。

實際上神經網絡預測曲線y^可以由以下三個函數構成：??????

解釋一下上圖中的要素：其中y1=x，區間【0-∞】；y2=0，區間【0-1】，y2=-2x+2，區間【1-∞】；y3=0，區間【0-2】，y3=2x-4，區間【2-∞】。

y1+y2+y3=x；在區間【1-2】y1+y2+y3=-x+2；在區間【2-∞】y1+y2+y3=x-2。

通過上面的例子我們可以得到如下結論：非線性的擬合曲線或者是非線性的高維分類曲面他們都是由無數的非線性函數組成的，那么非線性函數是怎么得到的呢？這就不得不提我們之前說過的RELU函數了。

再進行一次線性變換就可以得到y2，y3: 將RELU函數向右平移一位，并對x縮放一倍后翻轉就可以得到y2；將RELU函數向右平移兩位，并對x縮放一倍后就可以得到y3。RELU的非線性特質使其擁有了轉折點，而各種RELU函數的組合可以達到任意位置，也就可以擬合任何弧度。

上圖中我們可以看到輸入x，通過線性組合wx+b進入隱藏層，隱藏層RELU函數對線性組合進行非線性變換，使其組合起來擁有擬合任意點的能力，然后再對RELU函數進行線性變換w2(RELU(wx+b))+b2,再通過softmax輸出，整個過程當中，w和w2就是特征向量，就是我們剛剛所屬的y1 y2 y3函數的斜率和位移，我們該如何對各種線性函數進行拉伸評議翻轉并非線性組合后能正好擬合我們想要的曲線曲面，這里w和b就很重要，如何求解w和b呢，我們之前也已經講解過了，通過求解損失函數loss，并且通過梯度下降法，鏈式傳導一步一步求出最理想狀態的w和b，可以使得損失函數最小，最擬合完美曲線。

怎么樣？神經網絡的底層邏輯是不是也沒有那么難呢？

本文轉載自??人工智能訓練營??，作者：小A學習