作者張書海是華南理工大學博士四年級學生，主要研究方向為 AI 生成檢測、對抗防御、模型加速等，在人工智能國際頂級會議 NeurIPS、ICML、ICLR、CVPR 和 IJCAI、ICCV 以及領域權威期刊 IEEE TIP、TCSVT 和 Neural Networks 發表論文共 15 篇。

隨著生成式 AI（如 Sora）的發展，合成視頻幾乎可以以假亂真，帶來了深度偽造與虛假信息傳播的風險。現有檢測方法多依賴表層偽影或數據驅動學習，難以在高質量生成視頻中保持較好的泛化能力。其根本原因在于，這些方法大都未能充分利用自然視頻所遵循的物理規律，挖掘自然視頻的更本質的特征。

真實世界的視覺現象受物理過程支配，而生成模型難以完美遵循這些規律。因此，基于物理時空一致性的生成視頻檢測范式更具普適性和可解釋性。然而，高維時空物理規律通常由復雜偏微分方程刻畫，直接建模這些規律極具挑戰性，如何構建有效的物理驅動的統計量，仍是核心難題。

本文介紹發表于 NeurIPS 2025 的文章《Physics-Driven Spatiotemporal Modeling for AI-Generated Video Detection》。

文章從第一性原理出發，提出了歸一化時空梯度（NSG）統計量，通過概率流守恒原理量化視頻空間概率梯度與時間密度變化的比值，揭示生成視頻中的物理不一致性；理論分析了生成視頻與真實視頻的 NSG 分布差異，證明了生成視頻與真實視頻在該統計量的 MMD 距離大于真實視頻之間的距離；基于該統計量提出了通用的視頻檢測方法 NSG-VD，該方法對自然視頻的分布進行建模，不依賴特定生成模型，對未知生成范式（如 Sora）和遷移場景具有較強的檢測效果。

• 論文鏈接： https://arxiv.org/abs/2510.08073v1
• 代碼鏈接： https://github.com/ZSHsh98/NSG-VD

實驗表明 NSG-VD 方法在 Recall 和 F1-score 指標分別超越已有最新方法 16.00% 和 10.75%。

研究背景：

AI 視頻檢測的困境

盡管生成式 AI 技術在視頻合成領域取得了突破性進展，但檢測領域的研究卻面臨著新的瓶頸。與圖像不同，視頻同時包含空間結構與時間動態兩類復雜依賴關系，其真實演化過程往往受到多種物理約束（如運動連續性、能量守恒等）共同支配。要準確識別生成視頻，檢測模型不僅需要理解空間紋理的統計特征，還必須捕捉時間維度上連貫且可解釋的變化模式。

然而，現有大多數檢測方法仍主要聚焦于表層信號的不一致性，如局部光流異常或視覺紋理偽影。這些特征在早期生成模型中較為明顯，但在如今高質量的視頻生成中已被顯著削弱。另一方面，依賴大規模標注數據的深度學習方法雖然在特定數據集上取得了優異表現，卻難以泛化至未見過的生成范式，特別是在新興模型（如 Sora）出現后，檢測性能會急劇退化。

因此，當前 AI 視頻檢測的核心困境在于：如何超越表面特征層面的統計差異，從自然視頻的物理演化規律出發，構建一種具有普適性性且對未知生成模型穩健的檢測框架。

基于這一思考，作者提出一個關鍵問題：

如何從視頻本身的物理層面刻畫自然視頻的時空演化規律，從而揭示生成視頻中極其細微且潛在的物理異常？

事實上，真實世界中物體的運動遵循著明確的物理約束，例如一輛車從左向右行駛時，其像素的亮度與位置變化應當是連續且符合運動規律的。換言之，我們可將視頻的演化過程視為一種「概率流體」的時空流 —— 真實視頻中的動態如同穩定、連續的流，而許多 AI 生成的視頻則可能在流上表現出斷裂、抖動或其他違反物理一致性的異常。

因此，作者將視頻的演化過程形式化為一種概率流的時空流動，并通過歸一化時空梯度（NSG）統計量來量化這種流的物理一致性。

物理一致性建模：

從概率流守恒到時空梯度

首先將視頻幀序列建模為高維空間中的概率分布演化過程。設 x 表示視頻幀在空間中的像素表示，t 表示時間，p (x,t) 為視頻在時刻 t 的概率密度函數。類比于流體力學中的質量流動 [1]，定義概率流密度（probability flow density）：

其中 v (x,t) 表示概率流速度場，描述了概率密度在時空中的演化方向與速率。

概率質量守恒要求系統滿足連續性方程（continuity equation）[2]，這是物理學中描述守恒量傳輸的基本方程：

其中表示概率流密度 J 的散度，衡量了某點處概率流的凈流出量。直觀上，該方程表明：某點概率密度的增加率（?p/?t）等于該點處概率流的凈流入量（???J）。換句話說，概率質量不會憑空產生或消失，只會在空間中連續流動。注意該守恒方程是普適的物理表達形式，描述任意時間演化的概率密度的守恒規律 [2]，而不僅限于視頻。

將 J (x,t) 代入上式，并對 logp (x,t) 應用鏈式法則，整理可得：

該式揭示了速度場 v (x,t) 如何同時編碼概率分布的時間演化與空間梯度。

為求解 v (x,t)，可以關注式（3）的主導項。在平滑變化的分布假設 [3] 下，散度項是次要的，這一條件在流體力學 [2] 與量子力學 [4] 中被廣泛采用，則式（3）可簡化為：

該式表明，在概率分布平滑演化的區域，速度場與空間概率梯度的點積近似于時間概率變化率的負值。由于式（4）中 v (x,t) 的解不唯一，作者通過歸一化處理來提取本質特征。將兩邊除以，得到：

歸一化時空梯度（NSG）統計量

式（5）表明，真實視頻會保持速度場與空間概率梯度對時間密度變化比值的乘積恒定。基于此，定義歸一化時空梯度（NSG）統計量：

其中，λ 是維持數值穩定而加的正則項。該統計量衡量了單位時間密度變化所對應的空間概率梯度強度與方向，刻畫視頻在時空維度上的動態一致性。雖然式 (4) 為便于估計弱化了散度項，但 NSG 并不依賴于嚴格的假設，這是因為 NSG 的比值結構同時建模式 (3) 中來自時間導數與空間梯度二者的信號且通過比值進行放大，從而仍能有效揭示時空不一致性，且實驗表明本方法在復雜場景下仍保持穩健性。

從物理直覺上看，真實視頻的 NSG 呈現平滑連續的「流線」結構，反映出自然運動的連貫性；而 AI 生成視頻在此過程中出現斷層、抖動等非物理現象，即違反了連續性方程。具體而言：

• 分子：表示視頻在空間維度上的概率分布梯度，反映了像素亮度或紋理結構的局部變化強度與方向。
• 分母：表示視頻在時間維度上的密度變化率，描述了幀間像素分布演化的動態特性。

兩者結合后，NSG 為不同視頻場景提供了統一的一致性度量特征，可穩健揭示生成視頻中的物理異常。

NSG 的計算近似

在提出歸一化時空梯度（NSG）之后，關鍵問題在于：如何在實際視頻中有效、精確地估計該統計量？由于它們涉及高維概率密度的顯式建模，直接計算和是極其困難的。為此，作者引入了擴散模型（Diffusion Model）的梯度學習能力，構建了一個高效的 NSG 估計器。

• 空間梯度估計：用擴散模型建模梯度特征

現代擴散模型（或更廣義的 score-based 模型）本質上學習的是數據分布的 score 函數 [5]：

即概率密度對輸入的梯度。這意味著，擴散模型實際上隱式捕獲了真實數據在高維空間中的概率流結構。因此，可以用一個預訓練的 score 網絡 s_θ，來近似計算視頻幀的空間概率梯度：

式（8）實現了從生成模型到判別器的轉換，作者不再利用擴散模型生成視頻，而是讓它「感知」視頻幀是否符合自然分布的空間結構。

• 時間導數估計：基于亮度不變假設

在時間維度上，直接求取依然不可行。作者基于亮度不變假設（brightness constancy assumption）[6] 可以近似得到：

其中可通過幀間差分獲得。該項刻畫了像素在時序方向上的變化速率，等價于一種「局部運動感知」特征。

• 總的估計表達式

將上式與 score 估計結合，可得到 NSG 的可計算近似式：

該公式僅需一次 diffusion 模型前向計算（用于獲取 s_θ(x_t)）與幀間差分，即可在無需顯式光流估計或復雜運動分解的情況下，求得視頻的 NSG 分布。

NSG-VD：基于物理一致性的時空視頻檢測框架

在獲得 NSG 特征后，作者提出檢測算法 NSG-VD。

核心思想：通過計算待測視頻與真實視頻參考集在 NSG 特征空間中的分布差異，利用最大均值差異（MMD）作為檢測指標，從而揭示生成視頻在物理一致性上的異常特征。

檢測流程

首先，構建一組真實視頻參考集：

并為每個視頻 x 提取其在 T 幀上的 NSG 特征序列：

給定一個待檢測視頻，計算其 NSG 特征與參考集特征分布之間的最大均值差異，用于量化二者在特征空間的分布距離：

其中，核函數 k_ω 將 NSG 特征映射至高維再生核希爾伯特空間，以捕捉細微的分布差異。值得注意的是，盡管 MMD 傳統上用于分布級比較，近期研究表明其在單樣本檢測中也能有效地量化單個樣本與參考分布的偏差 [7,8]。但必須強調，NSG-VD 的核心優勢源自 NSG 本身對物理一致性的建模，而非僅依賴于 MMD 的檢測能力。

隨后，定義檢測函數：

其中 I (?) 為指示函數，τ 為判定閾值。根據函數輸出進行視頻真偽分類：

為增強判別能力，作者采用可學習的深度核 [9] 并在訓練集數據上對其參數進行訓練。

理論保障

該定理表明，真實視頻和生成視頻的 NSG 特征距離上界與分布偏移程度 μ 有關。分布偏移越小，兩者特征距離上界越小；偏移越大，分離越明顯。這也意味著真實數據間的 NSG 特征的 MMD 比真實與生成數據間的更小，據此可用 NSG 特征區分真實和生成視頻。

實驗驗證：

跨生成模型與數據場景的性能分析

作者在大型基準 GenVideo 上進行了全面評估，包含 10 個不同的生成模型，涵蓋開源和閉源系統。實驗表明，NSG-VD 在多個標準評測中顯著優于現有基線方法：

標準評測設置下的卓越性能

NSG-VD 在 Kinetics-400（真實視頻） 與 Pika（生成視頻） 的混合數據訓練后，展現出出色的泛化能力。在十類 AI 生成視頻上的平均檢測性能達到 Recall 88.02%、F1 90.87%，已全面超越此前的最佳方法 DeMamba。特別是在 Sora 等閉源生成模型檢測上，NSG-VD 取得了 78.57% 的 Recall，相比 DeMamba 的 48.21% 提升超過 30 個百分點，展現出顯著的性能優勢。

數據不平衡場景下的魯棒性

在實際應用中，獲取大規模 AI 生成視頻 的訓練數據往往具有較高成本與難度。為評估模型在更貼近真實場景下的表現，作者在訓練集僅包含 1,000 條 SEINE 的生成數據上進行了實驗。

結果表明，即使在僅使用 1,000 條 AI 生成視頻 進行訓練的條件下，NSG-VD 仍展現出顯著的穩健性與泛化能力：其在 Sora 上的召回率（Recall）高達 82.14%，遠超 DeMamba (33.93%) 與 NPR (10.71%) 等基線模型。這充分驗證了 NSG-VD 的高數據效率，其性能提升并非依賴于大規模訓練數據，而源于基于物理一致性的第一性原理建模的有效性。

消融研究：驗證物理建模的有效性

為進一步驗證 NSG 各組成模塊的作用，作者進行了系統性的消融實驗。

實驗結果表明，當僅使用空間概率梯度時，模型的 Recall 為 87.99%；僅使用時間密度變化時，Recall 降至 60.35%。將兩者進行物理一致性融合后，NSG-VD 的 Recall 提升至 88.02%，F1 值進一步達到 90.87%。這一結果充分說明，基于物理公式的時空聯合建模能夠有效捕捉視頻生成過程中的細微差異，不僅驗證了該建模范式的必要性，也凸顯了其顯著的性能優勢。

決策閾值魯棒性分析

在實際部署中，方法的超參數敏感性至關重要。對此，作者分析了決策閾值 τ 的影響：

結果表明，在 τ∈[0.7,1.1] 的閾值范圍內，NSG-VD 的各項指標（Recall、Accuracy、F1）穩定性，證實了 NSG 特征對真偽視頻的強大判別能力。該方法的核心在于物理驅動的時空梯度建模，而非依賴生成器特定偽影，因而能夠穩健地檢測來源多樣的生成內容。

總結與展望

本文提出了基于物理守恒的時空建模視頻檢測框架 NSG-VD，通過歸一化時空梯度（NSG）統計量量化視頻在空間和時間維度上的物理一致性，實現對 AI 生成視頻的通用檢測。實驗表明，NSG-VD 在多種生成模型、數據不平衡場景及遷移測試中均表現出卓越的泛化能力和穩健性，顯著優于現有方法。

NSG-VD 的核心創新在于將物理一致性約束引入檢測任務，通過 NSG 特征捕捉生成視頻中潛在的物理規律違例。這種物理驅動范式無需依賴特定生成模式的數據，在面對多樣化生成內容時展現出強魯棒性，即便在數據不平衡場景下也能保持穩定性能。

在當前「真假難辨」的生成時代，NSG-VD 引領我們從「圖像的真實」走向「物理的真實」—— 不關注視頻有多逼真，而關注其是否遵守物理規律。盡管該方法仍依賴一定的物理假設并存在計算開銷，未來工作將著力于開發更精細的物理模型、優化輕量化計算方案，并探索實時檢測應用場景的可行性。