利用概率的異常檢測算法

異常檢測可以作為離群分析的統計任務來對待。 但是，如果我們開發一個機器學習模型，它可以自動化，并且像往常一樣可以節省大量時間。 有很多異常檢測用例。 信用卡欺詐檢測，故障機器檢測或基于其異常功能的硬件系統檢測，基于病歷的疾病檢測都是很好的例子。 還有更多用例。 并且異常檢測的使用只會增加。

在本文中，我將解釋從頭開始用Python開發異常檢測算法的過程。

[[346860]]

公式和過程

與我之前解釋的其他機器學習算法相比，這將簡單得多。 該算法將使用均值和方差來計算每個訓練數據的概率。

如果一個訓練示例的概率很高，那是正常的。 如果某個訓練示例的概率較低，則為異常示例。 對于不同的訓練集，高概率和低概率的定義將有所不同。 稍后我們將討論如何確定。

如果我必須解釋異常檢測的工作過程，那非常簡單。

(1) 使用以下公式計算平均值：

這里m是數據集的長度或訓練數據的數量，xi是一個訓練示例。 如果您擁有多個訓練功能，那么大多數時候您將需要為每個功能計算平均值。

(2) 使用以下公式計算方差：

此處，mu是從上一步計算得出的平均值。

(3) 現在，使用此概率公式計算每個訓練示例的概率。

不要為這個公式中的加號感到困惑! 這實際上是對角線形狀的變化。

稍后我們將實現算法時，您將看到它的外觀。

(4) 我們現在需要找到概率的閾值。 正如我之前提到的，如果訓練示例的概率較低，那么這就是一個異常示例。

低概率是多少概率?

沒有通用的限制。 我們需要為我們的訓練數據集找到答案。

我們從步驟3中獲得的輸出中獲取一系列概率值。對于每種概率，如果數據是異常或正常的，請找到標簽。

然后計算一系列概率的精度，召回率和f1分數。

可以使用以下公式計算精度

召回率可以通過以下公式計算：

在此，"正肯定"是指算法將示例檢測為異常并且實際上是異常的情況下的數量。

當算法將示例檢測為異常時會出現誤報，但事實并非如此。

False Negative表示算法檢測到的示例不是異常示例，但實際上，這是一個異常示例。

從上面的公式中，您可以看到更高的精度和更高的召回率總會很好，因為這意味著我們擁有更多的積極優勢。 但是同時，如您在公式中所看到的，誤報和誤報也起著至關重要的作用。 那里需要保持平衡。 根據您所在的行業，您需要確定哪個是您可以容忍的。

一個好的方法是取平均值。 有一個求平均值的獨特公式。 這就是f1分數。 f1得分的公式是：

這里，P和R分別是精度和召回率。

我不會詳細說明為什么公式如此獨特。 因為本文是關于異常檢測的。 如果您有興趣了解有關精度，召回率和f1得分的更多信息，請在此處查看有關該主題的詳細文章：

完全了解精度，召回率和F分數概念

如何處理機器學習中偏斜的數據集

根據f1分數，您需要選擇閾值概率。

1是完美的f得分，0是最差的概率得分。

異常檢測算法

我將使用Andrew Ng的機器學習課程中的數據集，該數據集具有兩個訓練功能。 我沒有使用本文的真實數據集，因為該數據集非常適合學習。 它只有兩個功能。 在任何現實世界的數據集中，不可能只有兩個功能。

開始任務吧!

首先，導入必要的軟件包

import pandas as pd 
import numpy as np 

導入數據集。 這是一個excel數據集。 此處，訓練數據和交叉驗證數據存儲在單獨的表格中。 因此，讓我們帶來培訓數據。

df = pd.read_excel('ex8data1.xlsx', sheet_name='X', header=None) 
df.head() 

讓我們針對第1列繪制第0列。

plt.figure() 
plt.scatter(df[0], df[1]) 
plt.show() 

通過查看此圖，您可能知道哪些數據是異常的。

檢查此數據集中有多少訓練示例：

m = len(df) 

計算每個特征的平均值。 這里我們只有兩個功能：0和1。

s = np.sum(df, axis=0) 
mu = s/mmu 

輸出：

0 14.1122261 14.997711 
dtype: float64 

根據上面"公式和過程"部分所述的公式，計算出方差：

vr = np.sum((df - mu)**2, axis=0) 
variance = vr/mvariance 

輸出：

0 1.8326311 1.709745 
dtype: float64 

現在使其成為對角線形狀。 正如我在概率公式后面的"公式和過程"部分所解釋的那樣，求和符號實際上是方差的對角線。

var_dia = np.diag(variance) 
var_dia 

輸出：

array([[1.83263141, 0. ], [0. , 1.70974533]]) 

計算概率：

k = len(mu) 
X = df - mu 
p = 1/((2*np.pi)**(k/2)*(np.linalg.det(var_dia)**0.5))* np.exp(-0.5* np.sum(X @ np.linalg.pinv(var_dia) * X,axis=1)) 
p 

訓練部分完成。

下一步是找出閾值概率。 如果該概率低于閾值概率，則示例數據為異常數據。 但是我們需要為我們的特殊情況找出該閾值。

在此步驟中，我們使用交叉驗證數據以及標簽。 在此數據集中，我們具有交叉驗證數據以及單獨的工作表中的標簽。

對于您的情況，您只需保留原始數據的一部分以進行交叉驗證。

現在導入交叉驗證數據和標簽：

cvx = pd.read_excel('ex8data1.xlsx', sheet_name='Xval', header=None) 
cvx.head() 

標簽是：

cvy = pd.read_excel('ex8data1.xlsx', sheet_name='y', header=None) 
cvy.head() 

 

我將" cvy"轉換為NumPy數組只是因為我喜歡使用數組。 DataFrames也很好。

y = np.array(cvy) 

輸出：

#Part of the array 
array([[0], [0], [0], [0], [0], [0], [0], [0], [0], 

在這里，" y"的值為0表示這是一個正常的例子，而y的值為1則表示這是一個異常的例子。

現在，如何選擇閾值?

我不想只是從概率列表中檢查所有概率。 那可能是不必要的。 讓我們再檢查幾率值。

p.describe() 

輸出：

count 3.070000e+02 
mean 5.905331e-02 
std 2.324461e-02 
min 1.181209e-2325% 4.361075e-0250% 6.510144e-0275% 7.849532e-02 
max 8.986095e-02 
dtype: float64 

如您在圖片中看到的，我們沒有太多異常數據。 因此，如果我們僅從75%的值開始，那應該很好。 但是為了更加安全，我將從平均值開始。

因此，我們將從平均值到較低范圍取一系列概率。 我們將檢查該范圍內每個概率的f1分數。

首先，定義一個函數來計算真實肯定，錯誤肯定和錯誤否定：

def tpfpfn(ep): 
 tp, fp, fn = 0, 0, 0 
 for i in range(len(y)): 
   if p[i] <= ep and y[i][0] == 1: 
    tp += 1 
   elif p[i] <= ep and y[i][0] == 0: 
    fp += 1 
   elif p[i] > ep and y[i][0] == 1: 
    fn += 1 
 return tp, fp, fn 

列出小于或等于平均概率的概率。

eps = [i for i in p if i <= p.mean()] 

檢查清單的長度，

len(eps) 

輸出：

133 

根據我們之前討論的公式，定義一個函數來計算f1分數：

def f1(ep): 
 tp, fp, fn = tpfpfn(ep) 
 prec = tp/(tp + fp) 
 rec = tp/(tp + fn) 
 f1 = 2*prec*rec/(prec + rec) 
 return f1 

所有功能都準備就緒!

現在計算所有ε或我們之前選擇的概率值范圍的f1分數。

f = [] 
for i in eps: 
f.append(f1(i)) 
f 

輸出：

[0.14285714285714285, 0.14035087719298248, 0.1927710843373494, 0.1568627450980392, 0.208955223880597, 0.41379310344827586, 0.15517241379310345, 0.28571428571428575, 0.19444444444444445, 0.5217391304347826, 0.19718309859154928, 0.19753086419753085, 0.29268292682926833, 0.14545454545454545, 

這是f得分列表的一部分。 長度應為133。

f分數通常介于0和1之間，其中1是完美的f分數。 f1分數越高越好。 因此，我們需要從剛剛計算出的" f"分數列表中獲得最高的f分數。

現在，使用" argmax"函數確定最大f得分值的索引。

np.array(f).argmax() 

輸出：

131 

現在使用該索引來獲取閾值概率。

e = eps[131] 
e 

輸出：

6.107184445968581e-05 

找出異常的例子

我們有閾值概率。 我們可以從中找出訓練數據的標簽。

如果概率值小于或等于該閾值，則數據為異常，否則為正常。 我們將正常數據和異常數據分別表示為0和1，

label = [] 
for i in range(len(df)): 
if p[i] <= e: 
label.append(1) 
else: 
label.append(0) 
 
label 

輸出：

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 

這是標簽列表的一部分。

我將在上面的訓練數據集中添加此計算出的標簽：

df['label'] = np.array(label) 
df.head() 

我繪制了紅色標簽為1以及黑色標簽為零的數據。 這是情節。

是否有意義?

是嗎? 紅色的數據顯然是異常的。

結論

我試圖逐步解釋開發異常檢測算法的過程。 我沒有在這里隱藏任何步驟。 我希望這是可以理解的。 如果您僅通過閱讀就難以理解，建議您在筆記本中自己運行每段代碼。 這將使其非常清楚。