讓創意起飛！用戶可控的電影級圖像到視頻生成方法！港中文&Adobe發布MotionCanvas 精華
論文鏈接：https://arxiv.org/pdf/2502.04299
git 鏈接：https://motion-canvas25.github.io/
亮點直擊
- 將電影鏡頭設計引入圖像到視頻的合成過程中。
- 推出了MotionCanvas，這是一種簡化的視頻合成系統，用于電影鏡頭設計，提供整體運動控制，以場景感知的方式聯合操控相機和對象的運動。
- 設計了專門的運動條件機制，以控制信號引導基于DiT的視頻擴散模型，這些信號捕捉相機和對象的運動。結合了一個運動信號翻譯模塊，將描繪的場景空間運動意圖翻譯為屏幕空間的條件信號，用于視頻生成。
- 在多樣的真實世界照片上的評估證實了MotionCanvas在電影鏡頭設計中的有效性，突顯了其在各種創意應用中的潛力。
總結速覽
解決的問題
- 如何在圖像到視頻生成系統中實現直觀的電影鏡頭設計。
- 如何有效捕捉用戶在運動設計上的意圖，包括相機運動和場景空間對象運動。
- 如何表示運動信息，使其能夠被視頻擴散模型有效利用，以合成圖像動畫。
提出的方案
- 引入MotionCanvas，將用戶驅動的控制集成到圖像到視頻（I2V）生成模型中。
- 提供整體運動控制，以場景感知的方式聯合操控相機和對象的運動。
- 設計專門的運動條件機制，以控制信號引導基于DiT的視頻擴散模型。
- 開發運動信號翻譯模塊，將場景空間的運動意圖轉化為屏幕空間的條件信號，用于視頻生成。
應用的技術
- 結合經典計算機圖形學和當代視頻生成技術。
- 使用視頻擴散模型（基于DiT）來合成圖像動畫。
- 運動信號翻譯模塊，用于將用戶的運動意圖轉化為可用于視頻生成的信號。
達到的效果
- 實現了3D感知的運動控制，而無需昂貴的3D相關訓練數據。
- 在各種真實世界圖像內容和鏡頭設計場景中展示了方法的有效性。
- 增強了數字內容創作的創意工作流程。
- 適應了各種圖像和視頻編輯應用，展現出在創意應用中的潛力。
MotionCanvas
本文的方法將靜態圖像動畫化為短視頻，反映用戶的運動設計意圖。如下圖2所示，MotionCanvas由三個主要組件組成：(1) 運動設計模塊，用于捕捉多樣的場景感知運動意圖，(2) 翻譯模塊，用于將這些意圖轉換為屏幕空間的運動信號，以及 (3) 運動條件視頻生成模型。
運動設計模塊 —— 捕捉用戶意圖
利用輸入圖像作為運動設計的畫布，建立一個運動設計所依托的起始場景。此設置在運動設計中實現了3D場景感知，捕捉對象、相機和場景之間的空間關系。本文的統一界面便于對相機運動、對象的全局和局部運動以及它們的時間進行獨立控制。
使用場景anchor的邊界框進行對象全局運動控制。 在設計視頻鏡頭時，控制對象在場景中的移動位置至關重要。認為這種全局對象控制應該以場景感知的方式定義，其中對象位置anchor在底層3D場景中的位置。為此，通過最小化地指定起始和結束框以及（可選的）中間關鍵框在輸入圖像上實現場景anchor邊界框（bbox）的放置。通過將邊界框放置anchor到由輸入圖像建立的固定視圖，用戶可以通過調整位置、比例和形狀來描繪想象中的目標位置。這種場景感知的邊界框放置為對象的位置、比例、姿態和相對于相機的距離提供了直觀的控制。根據提供的關鍵位置和輸出視頻的預期持續時間，我們通過Catmull-Rom樣條插值生成平滑的框軌跡。
使用點跟蹤進行對象局部運動控制。 雖然全局對象運動定義了對象在場景中的位置變化，并且是我們鏡頭設計過程的主要關注點，但局部對象運動——描繪對象在位置上的運動（例如，抬起手臂、旋轉頭部）——也可以通過增加細節和逼真性來豐富鏡頭設計體驗。受近期基于拖動編輯成功的啟發，我們使用稀疏點軌跡來描繪局部運動。由于局部運動通常涉及復雜的幾何關系和變形，稀疏點軌跡提供了一種靈活的方式來定義和操控這種運動。
定時控制。 對象和相機運動的定時控制能夠實現協調設計，增強敘事流暢性和視覺連貫性。本文的系統自然支持這一點，允許用戶直接沿運動軌跡分配時間線。
運動信號翻譯模塊
盡管運動意圖最好在具有3D感知的場景中心方式中設計，視頻生成模型通常更有效地針對2D屏幕空間的運動條件進行訓練，這些數據在視圖依賴投影后將所有運動類型混合在一起。這種差異產生的原因在于，從大規模普通視頻中提取可靠的3D信息（如相機運動和3D對象跟蹤）具有挑戰性。為了解決這個問題，本文的關鍵思路不是設計一個直接處理場景空間運動信息的視頻生成模型，而是將從上節中獲得的場景空間運動設計翻譯為可以從野外視頻中可靠提取的時空定位的屏幕空間運動信號。
通過點跟蹤實現相機運動。尋求一種屏幕空間運動信號，(1) 可以從普通視頻中穩健提取，(2) 編碼關于視頻中相機運動的詳細信息。關于人類視覺感知的研究提供了一個重要的見解：通過投影到圖像平面上的稀疏場景點跟蹤，能夠可靠地恢復自我中心運動。這一見解已廣泛應用于計算機視覺中的相機姿態估計和SLAM。受此啟發，我們使用點跟蹤來表示相機運動。注意，這些信息可以從真實視頻中穩健提取。
在推理時，通過在輸入圖像上隨機采樣一組點，將3D相機路徑轉換為2D點軌跡。為了專注于屬于靜態背景的點，這些點更能反映相機運動，排除掉從YOLOv11 生成的 mask 中估計出的可能移動的對象區域。然后，使用一個現成的單目深度估計器來獲取內在相機參數和深度圖。最后，根據3D相機路徑和深度扭曲這些點以創建相應的2D屏幕空間軌跡。
基于運動條件的視頻生成
視頻擴散模型已成為視頻生成的主要范式。基于預訓練的DiT I2V模型構建了本文的運動條件視頻生成模型。該模型是DiT到視頻生成的內部標準適配，類似于現有的開源適配。通過使用屏幕空間運動條件微調模型來適應本文的運動條件生成問題。
通過自回歸生成可變長度視頻
生成可變長度視頻對于電影敘事很有益。通過自回歸生成實現了這一點，這比直接建模長視頻更具計算效率，并反映了復雜視頻鏡頭通常由短而簡單的鏡頭順序拼接而成的事實。雖然本文的圖像到視頻框架自然支持無需訓練的自回歸長視頻生成，但發現這通常會導致明顯的運動不連續性，因為單個條件圖像缺乏足夠的時間運動信息。為了解決這個問題，在訓練MotionCanvasAR時增加了對短視頻剪輯Cvid（16幀）的額外條件。這種重疊短剪輯策略使每個生成步驟都基于先前的時空上下文，從而實現自然過渡。在推理過程中，模型生成任意長度的視頻，每次生成迭代時獨立控制運動。為了進一步優化輸入的運動信號并使其與訓練設置對齊，我們通過結合用戶意圖與反向追蹤的運動重新計算屏幕空間運動信號。這種方法確保了更平滑和一致的運動生成。
應用
MotionCanvas允許靈活控制場景中相機和對象的運動。這使得本文的主要應用成為電影鏡頭設計框架，允許用戶交互式地管理鏡頭的關鍵運動方面。此外，運動表示的靈活性使得在各種簡單的視頻編輯任務中自然應用本文的框架成為可能。
聯合相機和對象控制的鏡頭設計
如下圖 4 所示，框架能夠在場景感知的方式下精確且獨立地控制對象和相機的運動，從而設計出高度動態且視覺吸引力強的鏡頭，同時緊密遵循所提供的運動設計。
在上圖 4 中，值得注意的是，在兩個示例中，每列的結果都遵循相同的相機運動，而對象運動則根據相應的指定對象控制進行變化。通過在場景感知的方式下放置邊界框，用戶可以實現各種場景空間效果。例如，這使得在底部示例中，可以讓汽車保持靜止（第一行）或在道路上前進（第二行）和后退（第三行）。重要的是，這種場景anchor的運動在相機運動獨立變化時得以保留。這突顯了場景感知對象運動控制的重要性。
具有復雜軌跡的長視頻。為了生成具有復雜相機和對象運動的長視頻，本文的框架采用“規范-生成”循環。這種方法允許用戶為每個段定義運動信號，然后以自回歸方式生成視頻片段。受動畫工作流程的啟發 [39, 50]，MotionCanvas結合關鍵幀和插值來創建復雜的運動路徑。具體而言，用戶可以為對象和相機運動設置關鍵幀，然后系統在這些關鍵幀之間插值以生成平滑且連貫的軌跡。
如下圖 5 所示，本文的方法可以生成具有復雜相機運動控制序列的長視頻。為每個輸入圖像展示了兩個視頻結果，這些結果來自相同的相機控制（請注意，這兩個視頻生成了幾乎相同的相機運動），同時有意控制不同的對象運動。
對象局部運動控制
MotionCanvas還支持控制對象的局部運動，以潛在支持基于拖拽的編輯和生成。用戶可以通過直接在對象自身坐標內指定拖拽軌跡來定義局部對象運動。這些點軌跡然后被轉換為合適的屏幕空間點軌跡，以對視頻生成模型進行條件化，考慮到相機和對象的全局運動。如下圖 6 所示，本文的方法可以生成多樣且細致的局部運動，使得生成對象運動的不同變體成為可能（例如，嬰兒手臂移動的不同方式）。
此外，得益于專門的運動翻譯模塊，該模塊考慮了局部運動與相機運動以及對象全局運動之間的協調，可以在不同的相機和對象動態下實現一致的對象局部運動控制（上圖 6 底部）。這為將局部對象運動控制納入上述鏡頭設計框架打開了可能性。
附加應用：簡單的視頻編輯
運動遷移。本文的方法可以適應于從源視頻向與初始幀具有結構相似性的輸入圖像執行運動遷移。通過利用多功能的屏幕空間條件表示，框架能夠有效捕捉并遷移對象和相機運動，即使是涉及3D變換的情況，也無需顯式3D相機姿態提取。如下圖 7 所示，蘋果的旋轉運動可以被遷移到獅子的頭部旋轉。
視頻編輯。運動遷移的概念可以擴展以促進視頻編輯，其中輸入圖像通過圖像編輯從第一幀派生。利用多功能的屏幕空間條件表示，本文的方法將提取的對象和相機運動傳播到派生圖像，確保一致且真實的動態，類似于 [25]。上圖 7 顯示了兩個示例，其中在初始幀上執行的編輯通過從原始視頻中提取的運動信號傳播，生成了一個完整編輯的視頻。
實驗
實現細節
數據。 從內部數據集中收集了約110萬高質量視頻。通過使用DEVA 進行全景分割，從視頻中提取邊界框，并將這些邊界框擬合到提取的 mask 上。通過鏈式光流（使用RAFT）計算稀疏點跟蹤注釋。為了確保可靠的運動數據，設定了有效跟蹤長度的閾值。還根據關鍵詞（如向量、動畫）過濾掉了一部分視頻，以專注于自然視頻數據。邊界框進一步通過相鄰幀的交并比（IoU）、尺寸變化比、位置變化（歐幾里得距離）以及相關對象與我們移動對象列表的相關性進行優化。最終，獲得了約60萬條具有良好運動質量和高保真注釋的視頻。在訓練過程中，以80%的概率隨機選擇N個點軌跡，其中N ～ U(0, 100)。此外，有10%的概率選擇僅來自移動對象區域的點，另有10%的概率選擇來自非移動對象區域的點。
相機運動控制質量
本文采用旋轉誤差（RotErr.）、平移誤差（TransErr.）和CamMC作為指標，遵循[15, 46]。此外，還計算了Frechet Inception Distance（FID）和Frechet Video Distance（FVD）來評估生成視頻的質量。這些指標是在從RealEstate-10K 測試集中隨機抽取的1K視頻上計算的（@640×352，14幀）。將本文的方法與兩種最先進的相機運動控制圖像到視頻方法進行比較：MotionCtrl和CameraCtrl。定量結果如下表1所示。需要注意的是，MotionCtrl和CameraCtrl都是在RealEstate10K訓練集上訓練的，該訓練集包含與測試集相同領域的視頻。然而，本文的方法在零樣本設置中在所有指標上都優于它們。
下圖8中的視覺比較顯示，由MotionCtrl和CameraCtrl生成的運動質量較低，主要是因為它們依賴于包含3D相機姿態標簽的視頻數據集（RealEstate10K）進行訓練，這些數據集缺乏多樣性，僅包含靜態場景。此外，本文的方法允許控制內在參數，從而能夠制作更高級的電影鏡頭，如推拉鏡頭（見下圖8右側），這是現有方法難以實現的。
3D感知對象運動控制質量
根據[49]，在VIPSeg過濾后的驗證集上計算ObjMC和FID，該驗證集在排除沒有移動物體的視頻后包含116個樣本（@640×352，14幀）。我們與DragAnything、MOFA-Video和TrackDiffusion進行比較，量化結果如下表2所示。本文的方法在控制精度（ObjMC）和幀質量（FID）上都優于其他基線，如圖9進一步證實。DragAnything和MOFA-Video中的顯式變形引入了對象失真，而TrackDiffusion對歐幾里得坐標的依賴阻礙了收斂，導致不準確。通過為邊界框引入時空表示，本文的方法實現了精確的對象運動控制（例如，位置、大小和姿態）。
聯合相機和對象控制
進行了一項用戶研究，以評估在3D場景感知上下文中聯合相機和對象運動控制的感知質量。將本文的方法與基于拖拽的I2V方法進行比較：DragAnything和MOFA-Video。注意，現有方法沒有設計用于3D感知控制，因此我們直接采用場景空間點軌跡作為基線的輸入，遵循其原始設置。除了用于對象局部運動控制的點軌跡外，還提供了來自邊界框序列和基于深度的變形的點軌跡，用于對象和相機的全局運動控制。參與者被要求根據運動依從性、運動質量和幀保真度選擇最佳結果。35名參與者的回應統計結果匯總在下表3中。本文的方法在所有評估方面始終優于競爭對手。視覺結果如下圖10所示，其中兩個基線方法均未能在3D感知的方式下共同捕捉復雜對象的全局運動（即身體的移動）、局部運動（即放下手）和相機運動。相比之下，本文的MotionCanvas生成了遵循所有類型控制的運動，這要歸功于其統一的框架和運動表示設計。
消融研究
相機運動表示。 構建了幾個基線來研究本文的相機運動表示的有效性：高斯圖（2D高斯模糊稀疏光流圖）、Plucker embedding和我們提出的基于DCT系數的軌跡編碼。量化比較如下表4所示。由于固有的模糊性（特別是在更密集的控制下），高斯圖變體在精確相機控制方面表現不佳，傾向于生成靜態相機運動（高FVD）。值得注意的是，Plucker embedding 變體需要在帶有3D相機姿態標簽的視頻數據集上進行訓練（即，遵循[15]的RealEstate10K訓練集）。它在這個域內靜態測試集上表現良好，但未能生成對象運動（下圖11‘貓’）且缺乏普適性。此外，本文的軌跡編碼效率極高，僅引入少量系數 token ，同時為相機內在和外在控制提供穩健的性能。
邊界框條件。 進一步評估了本文的邊界框條件。應用了[43]中提出的另一種條件設計，將邊界框坐標連接到視覺 token 上（Ourscoord）。上表2的最后兩列結果表明本文的時空顏色編碼圖條件的優越性。歐幾里得坐標 token 與視覺 token 融合的難度導致低ObjMC。
結論
MotionCanvas，一個統一的I2V合成系統，能夠靈活控制相機和對象運動，實現電影鏡頭設計。通過運動信號翻譯模塊，MotionCanvas將直觀的3D運動規劃轉換為精確的2D控制信號，用于訓練視頻模型，而無需依賴3D注釋，從而拓寬了訓練數據的來源。綜合評估顯示，MotionCanvas在生成多樣化、高質量的視頻方面有效地反映了用戶的運動意圖。
本文轉自AI生成未來 ，作者：AI生成未來
