前向傳播之-得分函數(shù)

劇透:深度學(xué)習(xí)必備的兩個(gè)大知識點(diǎn)分別是前向傳播和反向傳播啦，這里節(jié)課我們會(huì)先著手把前方傳播的所涉及的所有知識點(diǎn)搞定!我相信這部分對于咱們即便沒有什么基礎(chǔ)的同學(xué)來說也是很容易理解的。

得分函數(shù)：這個(gè)就是咱們這節(jié)課最核心的一個(gè)問題啦。什么叫得分函數(shù)呢?下面這個(gè)圖就給了我們一個(gè)最直接的答案!

得分函數(shù)的目的：我們要做的就是對于一個(gè)給定的輸入，比如一張小貓的圖片，通過一系列復(fù)雜的變換(中間的過程咱們暫且當(dāng)做一個(gè)黑盒子)能得到這個(gè)輸入對應(yīng)于每個(gè)類別的得分?jǐn)?shù)值。

可能有些同學(xué)對于一個(gè)輸入的圖片如何計(jì)算出它的得分還有點(diǎn)困惑，這里我簡單的來說一下從輸入到輸出的一個(gè)矩陣計(jì)算過程。

矩陣求解過程理解：首先對于一個(gè)32*32*3的輸入，我們把它拉伸成一個(gè)列向量，也就是一個(gè)3072*1的向量，咱們下面用最簡單的線性分類來解釋整個(gè)過程，在線性分類中，我們需要權(quán)重參數(shù)W和B，那么W是整個(gè)線性分類的核心參數(shù)，我們要把一個(gè)輸入分成10個(gè)類別并且對于每個(gè)類別給定一個(gè)得分?jǐn)?shù)值，這樣咱們的W參數(shù)矩陣就是一個(gè)10*3072的矩陣，我們可以通俗的理解成對于每一個(gè)類別我們都有3072個(gè)小參數(shù)去和咱們的輸入(3072維的列向量)去計(jì)算最終的的分值，那么10就是我們最終要輸入多少個(gè)類別。參數(shù)B就很好理解啦，這里咱們就不說啦。

得分函數(shù)計(jì)算實(shí)例：上圖就是一個(gè)得分函數(shù)計(jì)算的最簡單的一個(gè)流程，我們假設(shè)圖像是有4個(gè)像素點(diǎn)組成的，然后咱們把它拉成了一個(gè)列向量(Xi)，權(quán)重參數(shù)W是一個(gè)3*4的矩陣，因?yàn)樵蹅円演斎敕殖扇齻€(gè)類別，最終再加上參數(shù)b得到了最終這只小貓屬于每個(gè)類別的得分?jǐn)?shù)值。

理解參數(shù)W和b:下面咱們再通過這張圖來形象的理解下參數(shù)W和b,在真實(shí)的情況下對于每一個(gè)類別的參數(shù)W是一個(gè)3072維的，但是咱們?yōu)榱诵蜗蠡斫獍阉嬙诹?維的空間中，我們可以從圖中看到三種顏色的線代表了三個(gè)線性分類器，參數(shù)W的每一個(gè)小權(quán)重的改變(共有3072個(gè)小權(quán)重)意味著這條線在改變的小參數(shù)的那個(gè)維度發(fā)生了偏轉(zhuǎn)，我們可以想象2維空間中對于W的改變意味著什么然后再去想象這個(gè)3072維的空間。那么這個(gè)b參數(shù)是不是就沒用呢?(有用你干嘛一直不說?)其實(shí)參數(shù)b是比不可少的，因?yàn)槿绻麤]有b那么所有的分類線都會(huì)交集與零點(diǎn)，這顯然是不可取的嘛。

小總結(jié)：咱們這節(jié)課很輕松吧，但是如何從一個(gè)輸入計(jì)算出它最終屬于每一個(gè)類別的得分在一個(gè)實(shí)際的深度學(xué)習(xí)網(wǎng)絡(luò)中可沒這么簡單就搞定，我這樣做只是讓大家能更好的理解這個(gè)得分函數(shù)。

【本文是51CTO專欄作者唐宇迪的原創(chuàng)稿件，轉(zhuǎn)載請注明出處】

戳這里，看該作者更多好文