你是否好奇為什么現(xiàn)在的網(wǎng)絡(luò)能深達百層、千層，而早期的網(wǎng)絡(luò)連十幾層都難以訓練？

這一切的巨大轉(zhuǎn)變，都離不開一篇2015年的神作——《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。

圖片

??論文地址：https://arxiv.org/pdf/1607.06450

它被譽為深度學習的“潤滑油”和“加速器”，是當今幾乎所有主流模型的標配。

今天，我們將來拆解這篇由Google大神Sergey Ioffe和Christian Szegedy提出的經(jīng)典論文，帶你徹底理解BN技術(shù)的原理、實現(xiàn)及其巨大優(yōu)勢。

一、困局

在BN誕生之前，訓練一個稍深的神經(jīng)網(wǎng)絡(luò)堪稱一場噩夢。研究人員仿佛在懸崖邊調(diào)參，步履維艱。這背后的罪魁禍首，就是一個名為Internal Covariate Shift（內(nèi)部協(xié)變量偏移） 的幽靈。

1.一個生動的比喻

小陳是一位市場調(diào)研員，但由于每次調(diào)研對象不同，需求也各異，導致他不得不頻繁調(diào)整調(diào)研問卷和方法，這種模式不僅效率低下，還影響了調(diào)研結(jié)果的準確性。

這個“倒霉的小陳”，就是深度神經(jīng)網(wǎng)絡(luò)中的任一隱藏層。而“需求各異的調(diào)研對象”，就是該層的輸入數(shù)據(jù)，也就是前一層的輸出。

由于網(wǎng)絡(luò)的前幾層參數(shù)在訓練中不斷被更新，導致它們傳遞給后面層的數(shù)據(jù)分布也在時刻發(fā)生著變化。

2.學術(shù)名詞解析

論文首次清晰地將這種現(xiàn)象定義為內(nèi)部協(xié)變量偏移（Internal Covariate Shift，簡稱ICS）。

首先，ICS是什么？ 淺顯地解釋：在深度網(wǎng)絡(luò)訓練過程中，每一層的輸入數(shù)據(jù)的分布，都會因為前面層參數(shù)的更新而發(fā)生漂移。

圖片

其次，為什么是“內(nèi)部”？ 因為它不是來自外部輸入數(shù)據(jù)的變化，而是網(wǎng)絡(luò)內(nèi)部參數(shù)更新引發(fā)的連鎖反應。

最后，這個“幽靈”都給我們帶來了哪些苦果：

• 梯度消失/爆炸：輸入數(shù)據(jù)分布的劇烈變化使得激活函數(shù)輸入值容易進入飽和區(qū)，導致梯度消失或爆炸。
• 學習率敏感：為了避免引發(fā)后續(xù)分布“地震”，不得不使用極低的學習率，導致訓練過程異常緩慢。
• 初始化依賴：對初始權(quán)重值變得極度敏感，催生了Xavier、He初始化等精巧但復雜的方法。
• 激活函數(shù)限制：Sigmoid、Tanh等因易飽和被棄用，而ReLU等簡單函數(shù)更受青睞，但這也限制了模型設(shè)計。

可以說，ICS是當年阻礙深度學習向更深、更強大方向發(fā)展的核心“攔路虎”之一。

二、破局

面對這個困局，Ioffe和Szegedy的思路非常巧妙但直接：既然每一層輸入的分布容易變化，讓我們無所適從，那就在每一層之后，加一個“穩(wěn)定器”，強行把輸入的分布拉回一個“標準”形態(tài)。

圖片

這個“穩(wěn)定器”就是Batch Normalization（批量歸一化）。它的操作分為兩步：

1.標準化

BN層首先對一個Mini-Batch內(nèi)的數(shù)據(jù)，針對每一個特征維度（即每一個神經(jīng)元）單獨進行操作。

它的目標是：將這批數(shù)據(jù)在該維度上的分布，轉(zhuǎn)換為均值為0、方差為1的標準正態(tài)分布。具體做法：

這一步操作后，數(shù)據(jù)就被“扳”回了均值為0、方差1的穩(wěn)定狀態(tài)。

2.縮放與平移

神經(jīng)網(wǎng)絡(luò)之所以強大，是因為每一層都可以通過復雜的非線性變換學習到豐富的特征。

如果BN簡單粗暴地把所有分布都進行標準化，反而會損害網(wǎng)絡(luò)的表達能力。

這就完美解決了“穩(wěn)定分布”和“保持表達能力”之間的矛盾！ BN層最終學會的是，什么樣的分布是最適合后續(xù)操作的。

3.訓練 vs. 推理

細心的讀者可能會發(fā)現(xiàn)一個問題：訓練時我們可以用一個Mini-batch的數(shù)據(jù)來計算均值和方差。

這樣做的好處是：推理結(jié)果穩(wěn)定（不依賴于批次），且高效（只需一次計算）。

三、勝局

BN的提出，仿佛是給深陷泥潭的深度學習注入了一劑強心針，解決了諸多訓練難題，并帶來了以下四大優(yōu)勢：

1.加速訓練

BN通過穩(wěn)定分布，使得梯度變得更加可預測和穩(wěn)定。研究人員可以放心地使用比之前高很多的學習率，而不必擔心訓練發(fā)散。

圖片

論文中的實驗顯示，使用BN后訓練步驟減少了14倍之多，這是名副其實的“加速”。

2.穩(wěn)定訓練

BN確保激活函數(shù)的輸入值被穩(wěn)定在一個合適的范圍內(nèi)，避免了其陷入飽和區(qū)，從而讓梯度保持在一個健康的水平。這使得訓練極深的網(wǎng)絡(luò)（如ResNet、Transformer）從夢想照進現(xiàn)實。

圖片

3.降低依賴

• 對初始化不再敏感：BN網(wǎng)絡(luò)對初始權(quán)重的尺度寬容了很多，不再需要極其精細的初始化技巧。

圖片

• 自帶正則化效果：由于每個樣本的歸一化都依賴于一個批次中其他隨機樣本的統(tǒng)計量，這為訓練過程注入了一些噪聲，起到了類似Dropout的正則化效果，可以在一定程度上防止過擬合。

4.激活自由

由于BN能把輸入控制在非飽和區(qū)，像Sigmoid和Tanh這類曾經(jīng)被“拋棄”的激活函數(shù)，又可以重新被考慮和使用，為模型設(shè)計提供了更多可能性。

圖片

結(jié)語 

Batch Normalization的成功在于其思想的簡潔與深刻。

它并非增加了網(wǎng)絡(luò)的復雜度，而是通過規(guī)范化中間過程，極大地優(yōu)化了訓練 dynamics（動態(tài)），讓深度神經(jīng)網(wǎng)絡(luò)的潛力被徹底釋放。

它告訴我們，有時讓訓練過程變得更平穩(wěn)，比設(shè)計一個更復雜的模型更重要。

本文轉(zhuǎn)載自??Fairy Girl??，作者：Fairy Girl