1.向量與矩陣

上個章節的神經網絡是為了解Transformer或者Mamba做好鋪墊，在和后輩交流過程中發現有個障礙，那就是向量和矩陣。其實向量和矩陣的表達方式不是所有人都很習慣。在繼續下面的章節之前小編認為有必要將向量、矩陣和神經網絡做下補充解釋。

向量是具有方向和大小的量，用箭頭表示。向量具有下面的性質：

有好事者翻出來內積的幾何含義，其實就是兩個向量的長度乘以它們的夾角，那么上面代數的表達方式和下面的帶有cosθ的表達式一樣么。是一樣的，推導過程略過一千字。

下圖則為矩陣運算，請讀者快速溫習一下。m*n和n*p的矩陣相乘之后一定是m*p維度的。

2.神經網絡的矩陣表示

先來看一個例子，上圖一個簡單的神經網絡，這套變量的標識方式小編比較認可，上標l代表第幾層，下面代表某一層的第幾個神經元。w的兩個下標mn分別代表第m個輸出節點和第n個下游節點的權重。一般用z代表沒有經過激活函數的數值，而a（ctivation）代表經過激活函數的輸出。

上圖是層1到層2的計算公式，可以將這樣的運算直接轉化為矩陣表示。矩陣表達方式十分簡潔清爽，而下圖中的w矩陣就是傳說中的參數，這些矩陣通過樣本訓練而得到。

于是到了這里，基本上從較為抽象的角度，將基于神經網絡的大模型做了簡單的抽象。大模型其實就是多層級深度的神經網絡，通過不斷地累加參數，不斷地優化結構，不斷地調整樣本，讓神經網絡的信息編碼和激活更加的合理和高效。從另一個側面來看深度學習，其實也是一種復雜的概率轉移矩陣。

3.損失函數

為了評估每個訓練之后，真實值和預測值之間的差異，需要一個函數來評估差異化。這個函數有很多種稱呼，比如“誤差函數”、“損失函數”、“代價函數”等。代價函數是深度學習的重要組成部分，因為它提供了神經網絡在給定任務上執行情況的衡量標準。訓練深度學習模型的最終目標是最小化損失函數，這意味著模型能夠做出更準確的預測并更好地泛化到新數據。

例如在回歸問題中采用的MSE來評估代價函數。

假定在某個批次的數據輸入，得到預測數據

[7.6, 8.0, 6.8, 8.9, 7.2, 8.3, 7.0, 8.8, 7.0, 7.6]。

而真實的數據為

[7.8, 8.2, 6.5, 9.1, 7.0, 8.5, 6.9, 8.7, 7.2, 7.8]。

兩者其實相當的接近。

采用MSE（Mean squared error loss)的評估模式，MSE=(1/n)*Σ(yi - ?i)^2。yi為正確值，?i為預測值，cost = (1/20) * Σ(yi - ?i)^2 = 0.045

損失函數一方面指導訓練過程，用于計算預測輸出與真實輸出之間的誤差。神經網絡使用該誤差信號來調整其權重和偏差，以減少損失。這個過程稱為反向傳播，它允許神經網絡從錯誤中學習并在未來做出更好的預測。另一方面它有助于避免過度擬合，當模型的過度擬合則無法泛化到新數據。通過選擇合適的損失函數，可以防止過度擬合并確保模型能夠很好地泛化到未見過的數據。最后損失函數的選擇會對模型的性能產生重大影響。通過使用相同損失函數比較不同模型的性能，可以確定哪個模型對于給定任務最有效。深度學習的不同類型任務則采用不同的損失（評估）函數。下面展示的這些代價函數將會在LLM背后的基礎模型專欄中展開詳細的講解。

• 回歸問題一般為均方誤差(MSE)、平均絕對誤差（MAE）損失、Huber loss和Log-cosh loss。
• 二元分類問題一般為Binary cross-entropy loss二元交叉熵損失、Hinge loss、Focal loss和Dice loss。
• 多類分類問題則為分類交叉熵損失、稀疏分類交叉熵損失、Kullback-Leibler (KL)散度損失和Sparsemax loss。
• 自動編碼器問題：均方誤差(MSE)損失、二元交叉熵損失和Perceptual loss感知損失。
• 生成對抗網絡損失則一般采用Adversarial loss、L1 or L2 loss、Wasserstein loss和Least squares loss。
• 物體檢測問題對應的有Intersection over Union (IoU) loss、Focal loss、Smooth L1 loss、GIoU loss。
• Embedding問題則采用Triplet loss、Contrastive loss、Center loss和Angular loss。

本文轉載自 ??魯班模錘??，作者： 龐德公