譯者 | 李睿

審校 | 重樓

Instagram廣泛使用人工智能（AI）進行內容過濾和審核，以維護安全和積極的用戶體驗。其人工智能驅動的系統能夠自動檢測并移除違反Instagram社區準則的內容。這個過程結合了機器學習模型、自然語言處理以及計算機視覺技術（如卷積神經網絡）。本文將深入探討Instagram在維護平臺積極友好的用戶體驗背后的技術機制。

Instagram上的人工智能內容審核

Instagram的人工智能系統能夠自動檢測并刪除違反社區準則的內容，包括仇恨言論、欺凌、色情、暴力圖片及垃圾信息，并且通常會在用戶舉報前完成處理。

1.圖像/視頻分析

Instagram采用深度卷積神經網絡（CNN）分類器來識別違規內容。例如，它使用（通常采用ResNet架構）卷積網絡對大量標注為“違規圖片與安全圖片”的數據集進行訓練，同時運用對象檢測模型（如單階段檢測器YOLO或兩階段檢測器Faster R-CNN）對敏感內容進行精確定位。Instagram的母公司Meta公司指出，在對實時性要求高的視頻掃描場景中會采用YOLO，而在精度優先的情況下則會使用基于ResNet或ShuffleNet等骨干網絡的Faster R-CNN。本質上，當圖像像素模式與色情、武器、血腥及暴力內容特征匹配時，CNN便會自動標記該內容。

2.光學字符識別（Rosetta系統）

許多帖子（如表情包、截圖、含有文字的圖片）內含嵌入文本，Instagram因此采用專門的OCR流程（Meta的Rosetta系統）來提取圖像中的疊加文字。Rosetta采用一個兩階段視覺模型：首先通過Faster R-CNN的變體檢測矩形文本區域，然后利用基于Resnet-18的CNN并結合CTC（序列）損失函數進行單詞識別。

例如，“1個贊= 1次祈禱”（1 like=1 prayer）的表情包將被檢測并轉錄為文字，隨后輸入到審核引擎中進行分析。Rosetta所采用的CNN+LSTM識別器在合成和真實的多語言數據上進行訓練，使Instagram能夠捕捉到隱藏在圖像中的仇恨言論或垃圾信息。

3.語言理解（NLP）

Instagram使用自然語言理解模型對標題、評論及消息進行自動化分析。Instagram應用基于Transformer的文本分類器和循環神經網絡（RNN）等算法，根據社區準則對內容進行評估。

例如，評論通過學習嵌入或類似BERT的模型進行向量化，并提供給垃圾郵件/仇恨分類器。通過對文本模式的學習，系統能夠準確識別侮辱性言論、騷擾、謾罵及仇恨言論等違規內容。盡管具體的內部模型屬于專有技術，但Meta公司已經公開表示其使用最先進的NLP架構來大規模審核數十種語言的內容。實際上，無論是視覺還是NLP子系統標記的內容，都會根據置信度被自動屏蔽或提交給人工審核。

這種人機協同的混合模式，既發揮了人工智能的速度與規模優勢，又保留了人類在復雜決策中的精準判斷力。與此同時，人工審核提供的反饋會持續用于模型再訓練，從而驅動整個系統在不斷迭代中實現智能化演進。

個性化與用戶體驗提升

Instagram的訂閱推送(feed)、Explore選項卡和短視頻（Reels）功能都依賴于機器學習排序模型來為用戶提供個性化體驗。該推薦系統采用多階段處理流程：

首先，它從用戶關注的賬戶、熱門標簽、類似用戶的帖子等中檢索大量的候選帖子。然后通過深度學習對它們進行排序。在檢索方面，Instagram使用雙塔神經網絡，一個“塔”處理用戶特征，例如人口統計、歷史記錄以及興趣偏好，另一個“塔”處理媒體特征，例如帖子元數據和內容嵌入向量。

每個塔通常是一個前饋網絡，其輸入層采用類似Word2Vec的ID嵌入技術，用以學習緊湊的用戶向量和內容向量。模型的訓練目標在于，當用戶與內容產生交互時，最大化用戶嵌入與項目嵌入的相似度。在服務時，用戶的塔和近似近鄰（ANN）索引（例如使用FAISS）產生數千個候選帖子進行排序。這種雙塔架構具有高度可緩存性，并允許從數十億規模的內容庫中實時檢索。

一旦檢索到候選帖子，Instagram就會采用兩階段的深度排序模型。第一階段排序器是一個輕量級神經網絡，能夠快速對數千條內容進行初步評分（通常從更重的模型中提取知識）。第二階段是一個更復雜的多任務多標簽神經網絡（MTML），它選取前100個候選帖子，并預測詳細的參與概率（如點擊、點贊、評論、觀看等）。這個MTML模型是一個通過反向傳播訓練的前饋深度網絡，它吸收豐富的特征（如用戶興趣、帖子內容向量、歷史互動指標等），并同時預測多個概率。簡而言之，一個深度神經網絡負責帖子的檢索與最終排序，使Instagram能夠根據每個用戶的偏好對動態進行排序。這種個性化設置通過展示最相關的內容來保持用戶的高參與度。

人工智能對抗網絡欺凌和垃圾郵件

除了內容和排序之外，Instagram還應用人工智能來打擊垃圾郵件機器人和騷擾行為，例如：

1.垃圾信息檢測：系統通過模式學習模型識別涉嫌發送大量私信或評論（如網絡釣魚詐騙）的賬號。Instagram基于發帖頻率、消息相似度、點擊率及賬戶元數據等特征，訓練集成模型或神經網絡等二元分類器，以檢測異常行為。任何自動化私信、重復鏈接或“互贊”類誘導內容等非自然互動模式，均會觸發反垃圾信息過濾器。此外，Rosetta系統的OCR功能可有效識別圖像與表情包中的垃圾文本，進一步擴展檢測范圍。一旦被標注的相關賬號將面臨功能限制或封禁處理。

2.網絡欺凌和騷擾識別：Instagram采用自然語言處理（NLP）模型實時監測對話語氣。基于Transformer或循環神經網絡的算法會對評論及私信進行情感傾向與上下文關聯分析，通過上下文嵌入技術準確區分惡意攻擊與無害調侃。當識別到具有攻擊性的言論時，系統將自動過濾該內容。Instagram還提供了限制互動、關鍵詞隱藏等功能，依托人工智能技術從源頭預防欺凌行為。這些語言過濾機制持續運行，有效阻止仇恨言論與騷擾行為。

3.社區誠信維護：機器學習技術還對推薦內容圖譜進行“修剪”。收到大量用戶舉報或有違規記錄的帖子會由于內容誠信問題被系統降權處理。例如，在檢索期間，Instagram應用業務規則刪除候選的不良帖子。在主動防護模式下，在計算出主要排序分數之后，Instagram應用最終的重新排序過濾器，對于經過誠信檢查標記的帖子執行移除或降權處理。

通過將自動過濾器與人工申訴相結合，Instagram的人工智能系統致力于維護平臺的安全性與真實性。例如，當評論可能具有攻擊性時，系統會提示用戶“確定要發送嗎？”的提示。總體而言，這些系統每日攔截數百萬次垃圾或惡意互動，保護用戶安全體驗并維護平臺健康。

Instagram使用的技術概述

人工智能審核的好處

對于每天生成內容量達數百萬乃至數十億條的用戶平臺而言，人工審核已難以滿足運營需求。而人工智能提供了可行的解決方案：  

1.將審核規模擴大到每天數十億條帖子。

2.快速刪除有害內容，通常在用戶舉報前完成處理。

3.提升安全性，構建更具支持性的社區環境。

4.實現體驗個性化，保持內容的相關性與吸引力。

這些人工智能系統使Instagram能夠處理單靠人類無法處理的內容量，從而提高用戶和平臺的質量。

人工智能審核的挑戰和局限性

即使是最先進的人工智能系統也并不完美。Instagram在審核方面面臨一些挑戰，例如：

1.誤報：藝術或教育類場景的裸露內容被錯誤標記為違規內容。

2.漏報：由于上下文或故意回避而漏掉有害內容，例如使用變體拼寫或圖像扭曲。

3.偏見和公平性：模型訓練數據中隱含的人類標注偏見，可能導致對不同語言、文化或群體內容的審核標準不一致。

4.透明度不足：用戶通常不能完全理解審核決策是如何做出的，導致對“影子禁令”或帖子刪除感到困惑與不滿。

結論

Instagram的人工智能技術深度融合了計算機視覺、自然語言處理及大規模推薦模型采用ResNet、EfficientNet、YOLO和Faster R-CNN等先進CNN架構處理圖像/視頻內容。高級OCR（Rosetta）從表情包中提取文本以標記隱藏的違規內容。深度NLP模型解析用戶文本以捕捉仇恨言論或垃圾信息。另一方面，用于雙塔檢索與多任務排序網絡的神經推薦系統不斷從用戶行為中學習，為每個用戶定制推送內容。這種強大的人工智能驅動方法使Instagram能夠在全球范圍內實現內容審核與個性化體驗。盡管在偏見和可解釋性方面仍存在挑戰，但這些模型對維護Instagram的安全性、吸引力及對億萬用戶的相關性至關重要。

常見問題解答

Q1. Instagram如何使用人工智能進行內容審核？

A：Instagram使用CNN、OCR（Rosetta）和基于Transformer的NLP模型等人工智能模型，主動檢測并刪除仇恨言論、色情內容、暴力畫面與垃圾信息等違規內容，通常在用戶舉報前即可完成處理。該系統能夠自動對可疑內容執行標記、攔截或轉交人工審核等操作。

Q2.哪些人工智能模型為Instagram的推薦系統提供支持？

A：Instagram的動態與探索標簽頁依賴于雙塔神經網絡進行檢索，并結合多任務深度網絡進行精準排序。這些模型根據用戶的歷史行為、興趣愛好與參與模式為每個用戶定制動態。

Q3. Instagram在人工智能審核方面面臨哪些挑戰？

A：主要挑戰包括誤報、跨語言或跨文化偏見，以及內容審核決策缺乏透明度，這些問題導致用戶不滿，并偶爾引發有關“影子封禁”的投訴。

原文標題：How Instagram leverages AI For Content Moderation?，作者：Soumil Jain