視頻場景圖生成（VidSGG）旨在識別視覺場景中的對象并推斷它們之間的視覺關系。

該任務不僅需要全面了解分散在整個場景中的每個對象，還需要深入研究它們在時序上的運動和交互。

最近，來自中山大學的研究人員在人工智能頂級期刊IEEE T-IP上發表了一篇論文，進行了相關任務的探索并發現：每對物體組合及其它們之間的關系在每個圖像內具有空間共現相關性，并且在不同圖像之間具有時間一致性/轉換相關性。

論文鏈接：https://arxiv.org/abs/2309.13237

基于這些先驗知識，研究人員提出了一種基于時空知識嵌入的Transformer（STKET）將先驗時空知識納入多頭交叉注意機制中，從而學習更多有代表性的視覺關系表示。

具體來說，首先以統計方式學習空間共現和時間轉換相關性；然后，設計了時空知識嵌入層對視覺表示與知識之間的交互進行充分探索，分別生成空間和時間知識嵌入的視覺關系表示；最后，作者聚合這些特征，以預測最終的語義標簽及其視覺關系。

大量實驗表明，文中提出的框架大幅優于當前競爭算法。目前，該論文已經被接收。

論文概述

隨著場景理解領域的快速發展，許多研究者們開始嘗試利用各種框架解決場景圖生成（Scene Graph Generation, SGG）任務，并已取得了不俗的進展。

但是，這些方法往往只考慮單張圖像的情況，忽略了時序中存在著的大量的上下文信息，導致現有大部分場景圖生成算法在無法準確地識別所給定的視頻中包含的動態視覺關系。

因此，許多研究者致力于開發視頻場景圖生成（Video Scene Graph Generation, VidSGG）算法來解決這個問題。

目前的工作主要關注從空間和時間角度聚合對象級視覺信息，以學習對應的視覺關系表示。

然而，由于各類物體與交互動作的視覺外表方差大以及視頻收集所導致的視覺關系顯著的長尾分布，單純的僅用視覺信息容易導致模型預測錯誤的視覺關系。

針對上述問題，研究人員做了以下兩方面的工作：

首先，提出挖掘訓練樣本中包含的先驗時空知識用以促進視頻場景圖生成領域。其中，先驗時空知識包括：

1）空間共現相關性：某些對象類別之間的關系傾向于特定的交互。

2）時間一致性/轉換相關性：給定對的關系在連續視頻剪輯中往往是一致的，或者很有可能轉換到另一個特定關系。

其次，提出了一種新穎的基于時空知識嵌入的Transformer（Spatial-Temporal Knowledge-Embedded Transformer, STKET）框架。

該框架將先驗時空知識納入多頭交叉注意機制中，從而學習更多有代表性的視覺關系表示。根據在測試基準上得到的比較結果可以發現，研究人員所提出的STKET框架優于以前的最先進方法。

圖1：由于視覺外表多變和視覺關系的長尾分布，導致視頻場景圖生成充滿挑戰

基于時空知識嵌入的Transformer

時空知識表示

在推斷視覺關系時，人類不僅利用視覺線索，還利用積累的先驗知識[1, 2]。受此啟發，研究人員提出直接從訓練集中提取先驗時空知識，以促進視頻場景圖生成任務。

其中，空間共現相關性具體表現為當給定物體組合后其視覺關系分布將高度傾斜（例如，「人」與「杯子」之間的視覺關系的分布明顯不同于「狗」與「玩具」之間的分布）和時間轉移相關性具體表現為當給定前一時刻的視覺關系后各個視覺關系的轉換概率將大幅變化（例如，當已知前一時刻的視覺關系為「吃」時，下一時刻視覺關系轉移為「書寫」的概率大幅下降）。

如圖2所示，可以直觀地感受到給定物體組合或之前的視覺關系后，預測空間可以被大幅的縮減。

圖2：視覺關系的空間共現概率[3]與時間轉移概率

具體而言，對于第i類物體與第j類物體的組合，以及其上一時刻為第x類關系的情況，首先通過統計的方式獲得其對應的空間共現概率矩陣E^{i,j}和時間轉移概率矩陣Ex^{i,j}。

接著，將其輸入到全連接層中得到對應的特征表示，并利用對應的目標函數確保模型所學到的的知識表示包含對應的先驗時空知識。

圖3：學習空間（a）和時間（b）知識表示的過程

知識嵌入注意力層

空間知識通常包含有關實體之間的位置、距離和關系的信息。另一方面，時間知識涉及動作之間的順序、持續時間和間隔。

鑒于它們獨特的屬性，單獨處理它們可以允許專門的建模更準確地捕獲固有模式。

因此，研究人員設計了時空知識嵌入層，徹底探索視覺表示與時空知識之間的相互作用。

圖4：空間（左側）和時間（右側）知識嵌入層

時空聚合模塊

如前所述，空間知識嵌入層探索每個圖像內的空間共現相關性，時間知識嵌入層探索不同圖像之間的時間轉移相關性，以此充分探索了視覺表示和時空知識之間的相互作用。

盡管如此，這兩層忽略了長時序的上下文信息，而這對于識別大部分動態變化的視覺關系具有幫助。

為此，研究人員進一步設計了時空聚合（STA）模塊來聚合每個對象對的這些表示，以預測最終的語義標簽及其關系。它將不同幀中相同主客體對的空間和時間嵌入關系表示作為輸入。

具體來說，研究人員將同一對象對的這些表示連接起來以生成上下文表示。

然后，為了在不同幀中找到相同的主客體對，采用預測的對象標簽和IoU（即并集交集）來匹配幀中檢測到的相同主客體對。

最后，考慮到幀中的關系在不同批次中有不同的表示，選擇滑動窗口中最早出現的表示。

實驗結果

為了全面評估所提出的框架的性能，研究人員除了對比現有的視頻場景圖生成方法（STTran, TPI, APT）外，也選取了先進的圖像場景圖生成方法（KERN, VCTREE, ReIDN, GPS-Net）進行比較。

其中，為確保對比的公平，圖像場景圖生成方法通過對每一幀圖像進行識別，從而達到對所給定視頻生成對應場景圖的目標。

圖5：在Action Genome數據集上以Recall為評價指標的實驗結果

圖6：在Action Genome數據集上以mean Recall為評價指標的實驗結果