本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)。

2016年總統(tǒng)大選，和特朗普一起走上風(fēng)口浪尖的是Facebook，假新聞一度成為了學(xué)界業(yè)界熱議的話題。這個社交媒體巨頭受到了來自各方的批評，人們認(rèn)為，F(xiàn)acebook拒絕審查核實其平臺上列出的新聞?wù)鎸嵭赃@一做法危害性很大。

它縱容了虛假新聞和具有誤導(dǎo)性信息的傳播，這為陰謀論提供了溫床。譬如，有傳言說俄羅斯影響了那次大選結(jié)果。幾年后，馬克·扎克伯格現(xiàn)身國會回答了這一系列問題，美國議員指責(zé)Facebook的CEO在2020年大選前允許政治虛假信息傳播。

在緊張氣氛中，扎克伯格被問及政治廣告活動缺乏事實核查的問題。亞歷山大·奧卡西奧·科爾特斯問道：“我能在初選時針對共和黨人投放廣告，說他們支持綠色新政嗎?”扎克伯格大吃一驚，他無法回答這個問題。

越來越多的民眾意識到得采取行動打擊虛假內(nèi)容。在社交媒體上閱讀新聞是一把雙刃劍。它成本低廉，容易獲取，人們可以與全球事務(wù)保持同步，與他人分享新聞，也分享他們的想法。

然而，這種優(yōu)勢常常被病毒式營銷所利用。比如盡管有些低質(zhì)量新聞包含虛假事件，這些新聞還是會被傳播開來。社交媒體上的假新聞形式多樣，人們創(chuàng)建一些惡意賬戶來傳播假新聞，如噴子、電子人用戶、水軍等等。

虛假新聞的迅速傳播會對社會產(chǎn)生負(fù)面影響，它會助長錯誤認(rèn)知，2016年總統(tǒng)大選期間最受歡迎的政治新聞本身就是虛假事實。因此，在媒體上尋找基于事實的新聞是非常有必要的。

[[332835]]

你該了解的

先打住，我們有必要先理解一些概念：

1. TF-IDF

機器學(xué)習(xí)的一大困境是算法計算數(shù)字，而自然語言主要由文本組成，因此需要將文本轉(zhuǎn)換為數(shù)字，這個過程被稱為文本向量化。它是機器學(xué)習(xí)的重要組成部分，有助于進行文本分析。向量化算法會產(chǎn)生不同的結(jié)果，所以你需要仔細(xì)選擇。

TF-IDF是一種統(tǒng)計度量，用于確定文檔中放置在一組文檔中的單詞的相關(guān)性。使用TF-IDF Vectorizer可以將文本轉(zhuǎn)換為特征向量。它是通過以下兩個指標(biāo)相乘計算的：

• 術(shù)語頻率是指一個單詞在文檔中出現(xiàn)的次數(shù)。
• 逆文檔頻率是一個單詞在一組文檔中出現(xiàn)的次數(shù)。

2. 被動攻擊算法(Passive Aggressive Classifier)

被動攻擊算法是在線學(xué)習(xí)算法，用于從大量的數(shù)據(jù)中進行學(xué)習(xí)。例如，系統(tǒng)每天24小時從Twitter上收集推文，你希望根據(jù)這些數(shù)據(jù)進行預(yù)測。

然而，由于內(nèi)存限制這是不可行的，你不能在內(nèi)存中存儲這么多數(shù)據(jù)。被動攻擊算法從這些例子中學(xué)習(xí)，并在使用后立即丟棄它們，而不是將它們存儲在內(nèi)存中。這些算法被稱為被動的是因為它們是溫順的，直到分類結(jié)果保持正確。一旦他們發(fā)現(xiàn)了錯誤的計算就會變得咄咄逼人，更新、調(diào)整模型。

3. 混淆矩陣(Confusion matrix)

在機器學(xué)習(xí)分類中，如果輸出應(yīng)該生成兩個或兩個以上的類，則用于性能度量。有四種可能的結(jié)果：

• 真陽性——做出了積極的預(yù)測，結(jié)果證明是正確的。
• 真陰性——預(yù)測是負(fù)數(shù)，結(jié)果證明是真的。
• 假陽性——預(yù)測是肯定的，但結(jié)果卻是錯誤的。
• 假陰性——預(yù)測結(jié)果是錯誤的。

難題

假設(shè)你已經(jīng)用Python構(gòu)建了一個web抓取應(yīng)用程序，它收集了來自社交媒體網(wǎng)絡(luò)的所有新聞鏈接。你該如何知道這些網(wǎng)站上的信息是真實事件呢?

1. 解決方案

用Python構(gòu)建一個系統(tǒng)，可以識別新聞鏈接是否真實，先用sklearn為數(shù)據(jù)集創(chuàng)建TF-IDF Vectorizer。TF-IDF的目的是將文本轉(zhuǎn)換為特征向量，這能讓你使用它們作為估計器的輸入。

2. 先決條件

打開命令行，下載并安裝Numpy。Numpy是numericalpython的縮寫，它為大量的多維數(shù)組和、陣及幾個有用的數(shù)學(xué)函數(shù)提供支持。運行以下命令：

Pip install numpy 

接下來，安裝Pandas。Pandas將幫助你對數(shù)據(jù)執(zhí)行大量操作，例如導(dǎo)入、準(zhǔn)備、合并、重塑、連接、處理、分析和調(diào)整數(shù)據(jù)。它是圍繞DataFrame對象組織的。運行以下命令：

Pip install pandas 

最后，安裝項目中最重要的sklearn庫。它主要用于機器學(xué)習(xí)，含有內(nèi)置的算法，這些算法包括模型選擇、模式、聚類、回歸和聚類的函數(shù)。運行以下命令：

Pip install sklearn 

還需要安裝JupyterLab。JupyterLab是一個基于web的工具，用于收集Jupyter數(shù)據(jù)、代碼、筆記本。它具有靈活性，可以自定義它來處理機器學(xué)習(xí)、科學(xué)計算和數(shù)據(jù)科學(xué)中的多個工作流。運行以下命令：

Pip install jupyter lab 

安裝好了之后，可以在命令提示符中輸入以下命令：

C:>jupyterlab 

瀏覽器會打開一個新窗口，轉(zhuǎn)到New à Console。勾選文本框，在這里輸入你的代碼，按Shift + Enter運行你的命令。

3. 使用什么數(shù)據(jù)集呢?

我們將使用一個包含7796行和4列的大型數(shù)據(jù)集。這些列表示：

• 一個標(biāo)識符
• 新聞標(biāo)題
• 新聞文本
• 標(biāo)簽(例如，這則新聞是真是假)

從此鏈接下載數(shù)據(jù)集：https://drive.google.com/file/d/1er9NJTLUA3qnRuyhfzuN0XUsoIC4a-_q/view

對社交媒體上的新聞進行事實核查

導(dǎo)入剛剛在JupyterLab控制臺中安裝的所有庫。運行以下代碼：

import numpyas ny 
importpandas as ps 
importitertools 
fromsklearn.model_selection import train_test_split 
fromsklearn.feature_extraction.text import TfidfVectorizer 
fromsklearn.linear_model import PassiveAggressiveClassifier 
fromsklearn.metrics import accuracy_score, confusion_matrix 

將Excel數(shù)據(jù)轉(zhuǎn)換為二維數(shù)據(jù)結(jié)構(gòu)(矩陣)，我們需要使用來自pandas的DataFrame，它是一個可以包含異構(gòu)列的二維數(shù)據(jù)結(jié)構(gòu)。通過使用shape和head屬性可以確定數(shù)據(jù)集的格式和檢查行。運行以下代碼：

#Read from the dataset 
df=ps.read_csv(‘C:\SocialFactCheckPython\news.csv’) 
df.shape 
df.head(6) 

接著用DataFrame獲得真實和虛假的事實。運行以下代碼：

#Check the labels 
factcheck=df.label 
factcheck.head(7) 

常見任務(wù)是將數(shù)據(jù)集分為兩組：培訓(xùn)和測試。

#Split the dataset 
a_train,a_test,b_train,b_test=train_test_split(df[‘text’],factcheck, test_size=0.15, random_state=8) 

將TF-IDF Vectorizer初始化。設(shè)置英文停止詞，并指定最大文檔頻率為0.65。這表示包含較高文檔頻率的術(shù)語將被刪除。

過濾出停止詞來進行自然語言處理。TF-IDF Vectorizer用于將一組原始文檔轉(zhuǎn)換為具有TF-IDF特性的矩陣。隨機狀態(tài)用于指定隨機生成的種子，它確保了分割測試集訓(xùn)練集總是確定的。

使用矢量化工具來適應(yīng)并轉(zhuǎn)換你的訓(xùn)練集和測試集。用.fit_transform學(xué)習(xí)詞匯表和逆文檔頻率。作為響應(yīng)，它會創(chuàng)建term-document矩陣。使用.transform可返回一個term-document矩陣。運行以下代碼：

tfidf_vectorizer=TfidfVectorizer(stop_words=’english’,max_df=0.65) 
tfidf_train=tfidf_vectorizer.fit_transform(a_train) 
tfidf_test=tfidf_vectorizer.transform(a_test) 

現(xiàn)在將被動攻擊算法初始化，將它安裝在tfidf_train和b_train上。TF-IDF Vectorizer將有助于對測試集進行預(yù)測，并用sklearn.metrics中的 accuracy score()函數(shù)進行事實核查。

在多標(biāo)簽分類中，accuracy score()函數(shù)可以用來處理子集的準(zhǔn)確率。一個樣本中預(yù)測的標(biāo)簽必須與另一子集中相應(yīng)的標(biāo)簽完全匹配。運行以下代碼：

pclass=PassiveAggressiveClassifier(max_iter=60) 
pclass.fit(tfidf_train,b_train) 
b_pred=pclass.predict(tfidf_test) 
factcheckscore=accuracy_score(b_test,b_pred) 
print(f’Fact-checkAccuracy Is {round(factcheckscore*100,2)}%’) 

這表明，該模型在區(qū)分真實新聞和假新聞時，準(zhǔn)確率為94.43%。讓我們來看看它有多少次是正確的，運行以下代碼：

結(jié)果是，有456個真陽性，442個真陰性，27個假陽性和49個假陰性。

Python可以用來檢測出社交媒體上的假新聞。從包含政治新聞的數(shù)據(jù)集中提取數(shù)據(jù)，用TF-IDF Vectorizer將其轉(zhuǎn)換為向量，運行被動攻擊算法，擬合模型，最終能得到94.43%的準(zhǔn)確率。

如今，假新聞已然泛濫成災(zāi)，是時候好好“收拾”它們了。