在計算機視覺領域，想要建立圖像和場景（scene）之間之間的對應關系是一項比較困難的任務，尤其是在存在遮擋、視角改變或是物體外觀發生變化的情況下。

最近，斯坦福大學李飛飛團隊對MAE進行擴展，提出了孿生掩碼自編碼器SiamMAE（Siamese Masked Autoencoders）以學習視頻中的視覺對應關系。

論文鏈接：https://siam-mae-video.github.io/resources/paper.pdf

先隨機采樣兩個視頻幀，并進行非對稱掩碼操作；然后SiamMAE編碼器網絡對兩個幀進行獨立處理，最后使用交叉注意層組成的解碼器來預測未來幀（future frame）中丟失的圖像塊。

通過對未來幀中的大部分（95%）圖像塊進行掩碼，同時保持過去幀（past frame）圖像不變，SiamMAE促使網絡專注于物體運動，并學習以物體為中心的表征。

盡管整個網絡的設計概念比較簡單，但通過SiamMAE學習到的特征在視頻物體分割、姿勢關鍵點傳播和語義部分傳播任務上都優于最先進的自監督方法。

SiamMAE在不依賴于數據增強、基于手工跟蹤的前置任務或其他技術來防止表征崩潰的情況下，實現了非常有競爭力的性能。

孿生掩碼自編碼器

研究人員的目標是開發一種自監督的方法來學習對應關系，主要是將掩碼自編碼器（MAE）模型擴展到視頻數據中。

Patchify

給定具有L幀的視頻剪輯，首先隨機采樣兩個視頻幀，兩幀之間的距離通過從預定的potential frame gaps范圍中選擇一個隨機值來確定。

與原始ViT模型類似，通過將每個幀轉換為一系列不重疊的N×N個patch來拼接視頻幀。

最后，把位置嵌入加到線性投影上，并附加一個[CLS]標記，需要注意的是沒有使用時序位置嵌入。

Masking

像圖像和視頻這樣的自然信號是高度冗余的，分別表現為空間和時空上的冗余。

為了創造一個具有挑戰性的預測性自監督學習任務，MAEs隨機掩碼了75%的圖像patch，視頻數據的掩碼率提升到90%，并且對每幀都使用相同的掩碼率。

這種設計可以使網絡無法利用和學習到時間上的對應關系，避免在對應關系學習基準上達到次優性能。

研究人員認為，不對稱的掩碼可以創造一個更有挑戰性的自監督學習任務，并且可以鼓勵網絡學習時間上的相關性。

所以對于采樣的兩個視頻幀，對第一幀選擇不掩碼，對第二幀選擇掩碼95%，這樣就可以將整個過去幀（entire past frame）作為輸入，網絡只需要將其擴散到未來中的適當位置即可，可以促進網絡對物體運動進行建模并關注物體的邊界。

為了進一步增加任務的難度，兩個視頻幀之間具有更大的時間間隔，盡管可能會導致對未來的預測變得模糊，并可能產生多種合理的結果，但為第二幀提供少量的patch作為輸入，可以讓網絡的自監督學習變得更困難。

編碼器

研究人員探索了兩種不同的編碼器配置來處理輸入幀。

聯合編碼器（joint encoder）是圖像MAEs在一對視頻幀上的擴展，把兩幀未掩碼的圖像patch串聯起來，然后輸入到標準的ViT編碼器中進行處理。

孿生編碼器（siamese encoder）是用于比較實體的權重共享神經網絡，是對比表征學習方法的一個重要組件，用于對應學習（corresponding learning）時通常需要一些信息瓶頸來防止網絡學習的解決方案，如使用顏色通道dropout來迫使網絡避免依賴顏色來匹配對應關系。

在這篇論文中，研究人員使用孿生編碼器來獨立處理兩幅圖像，使用非對稱掩碼作為信息瓶頸。

解碼器

編碼器的輸出通過線性層進行投影，并加入帶有位置嵌入的[MASK] token，以生成對應于輸入幀的所有token

研究人員探索了三種不同的解碼器配置：

聯合解碼器（joint decoder）在兩幀的token串聯上使用原版Transformer模塊，其主要缺點是對GPU內存的需求大幅增加，特別是在使用較小的patch尺寸時。

交叉自解碼器（cross-self decoder）與原版Transformer模型的編碼-解碼器設計類似，每個解碼器塊由一個交叉注意力層和一個自注意力層組成，來自第二幀的token通過交叉注意力層與第一幀的token進行注意力操作，然后通過自注意力層進行相互融合。

可以注意到，交叉注意力層在功能上類似于自監督對應學習方法中經常使用的affinity矩陣。

交叉解碼器（cross decoder）由交叉注意力層的解碼器塊組成，其中來自第二幀的token與來自第一幀的token進行注意力操作。

最后，解碼器的輸出序列被用來預測掩碼圖像塊中的歸一化像素值，在解碼器的預測和真實值之間使用L2損失。

實驗結果

視頻物體分割

在多物體分割基準數據集DAVIS 2017上，使用480p分辨率的圖像對模型進行評估。

實驗結果可以發現SiamMAE明顯優于VideoMAE（從39.3%提升到62.0%），研究人員將其歸因于VideoMAE中使用了tube掩碼方案，使得模型無法學習時間上的對應關系。

與DINO類似，研究人員也發現降低patch的尺寸會帶來明顯的性能提升。

并且文中使用的ViT-S/8（+9.4%）模型優于之前所有的對比學習和自監督的對應學習方法。

還可以注意到盡管較大的MAE-ST模型（ViT-L/16，304M參數）在隨機掩碼的情況下比VideoMAE表現更好，但其性能仍然落后于SiamMAE相當多。

而且在視頻上訓練的MAE與圖像MAE的表現相似，視頻與圖像的不同之處在于，圖像是（近似）各向同性的，時間維度是特殊的，并不是所有的時空方向都是同等可能的。

因此，對稱地處理空間和時間信息可能是次優的。

視頻部分分割（Video Part Segmentation）

在視頻實例解析（Video Instance Parsing， VIP）基準上對SiamMAE進行評估，該基準包括為20個不同的人體部位傳播語義掩碼。

與評估的其他數據集相比，VIP特別具有挑戰性，因為包括更長的視頻（最長120秒）。

與先前工作類似，使用560×560的圖像和單一背景幀進行評估后，可以發現ViT-S/8模型性能大大超越了DINO (從39.5提升到45.9)。

SiamMAE從更小的patch尺寸中，比DINO受益更多，實現了+8.6的mIoU評分，比DINO的+3.3 mIoU有所提高。

SiamMAE也優于之前所有的對比學習和自監督的對應關系學習方法。

姿勢追蹤（pose tracking）

在關鍵點傳播的任務上對SiamMAE進行了評估，需要傳播15個關鍵點，并且要求空間上的精確對應關系，使用320×320的圖像和一個單一的背景幀，SiamMAE的性能優于所有其他模型，并且比DINO更受益于較小的patch尺寸（+14.9到+10.9 PCK@0.1）