會說話的頭像！新框架LipSync3D，未來或實現動態口型再同步
谷歌人工智能研究人員和印度卡哈拉格普爾理工學院（Indian Institute of Technology Kharagpur）一起合作開發了一個新的框架，可以從音頻內容中綜合有聲頭像。
該項目的目的是開發出經過優化且資源合理的方法，實現根據音頻創造「會說話的頭像」視頻，在交互式應用程序和其他實時環境中實現同步口型動作的配音或機器翻譯的音頻，并添加到頭像。
論文地址：https://arxiv.org/pdf/2106.04185.pdf
機器學習模型LipSync3D
在這個過程中訓練的機器學習模型LipSync3D，只需要一個目標人臉識別的視頻作為輸入數據。
數據準備管道將面部幾何的提取與輸入視頻的燈光和其他方面的評估分離開來，允許更經濟合算和更集中的訓練。
LipSync3D的兩階段工作流程。上圖是從「目標」音頻生成的動態紋理三維人臉; 下圖是將生成的網格插入到目標視頻中。
事實上，LipSync3D對這一領域研究工作最顯著的貢獻可能是其照明歸一化算法（lighting normalization algorithm），該算法將訓練和推斷照明解耦。
從一般幾何解耦照明數據有助于LipSync3D在具有挑戰性的條件下產生更真實的口型變化。最近幾年的其他方法已經將自己限制在「固定」的照明條件下，這樣就不會暴露出它們在這方面的有限。
在輸入數據幀的預處理過程中，系統必須識別和刪除鏡像點，因為這些鏡像點是特定于拍攝視頻光照條件的，否則會干擾重現過程。
LipSync3D，顧名思義，不僅僅是對它評估的面孔進行像素分析，而是積極地使用已確定的面部標志來生成運動的CGI風格的網格，以及通過傳統CGI管道包裹在它們周圍的「展開」（unfolded）紋理。
LipSync3D 中的姿勢歸一化。左邊是輸入幀和檢測特征; 中間是生成的網格評估的規范化頂點; 右邊是相應的紋理圖譜，為紋理預測提供了基礎真實性。來源: https://arxiv.org/pdf/2106.04185.pdf
除了這種新穎的照明重現方法，研究人員聲稱，LipSync3D在以前的工作中提供了三個主要創新: 將幾何、光照、姿態和紋理分離到規范化空間中的離散數據流中; 一個易于訓練的自回歸紋理預測模型，可以生成時間上一致的視頻合成; 以及通過人類評級和客觀度量來增加真實感。
分裂出的視頻面部圖像的各個方面允許在視頻合成中實現更大的控制。
通過分析語音的音素和其他方面，LipSync3D可以直接從音頻中推導出適當的唇部幾何運動，并將其轉化為嘴部周圍已知的相應肌肉姿勢。
這個過程使用一個聯合預測管道，其中推斷的幾何形狀和紋理在自動編碼器設置中有專門的編碼器，但與打算施加在模型上的語音共享一個音頻編碼器:
LipSync3D 的動作合成也助力提升程式化的CGI頭像，實際上它們只是和真實世界的圖像一樣的網格和紋理信息:
一個個性的3D頭像的嘴唇動作實時動力源揚聲器視頻。在這種情況下，最優結果將通過個性化的預訓練獲得。
研究人員還希望使用更加真實的頭像:
在 GeForce GTX 1080上使用 TensorFlow、 Python 和 C + + 的管道中，視頻的示例訓練時間從2-5分鐘的視頻所需3-5小時不等。訓練課程使用了一批大小為128幀超過500-1000epoch，每個epoch代表一個完整的視頻評估。
未來：動態的口型再同步
過去幾年，口型再同步適應新的音軌已經在計算機視覺研究中吸引了大量的關注，尤其是它還是有爭議的deepfake技術的副產品。
2017年，華盛頓大學展示了一項能夠通過音頻學習對口型的研究，還用當時的總統奧巴馬的圖片做了視頻。
https://grail.cs.washington.edu/projects/AudioToObama/siggraph17_obama.pdf
2018年，馬克斯·普朗克計算機科學研究所進行了另一項研究計劃，實現了身份 > 身份視頻轉換（identity>identity video transfer），還帶來了口型同步; 2021年5月，人工智能初創公司 FlawlessAI 發布了其專有的對口型同步技術 TrueSync，該技術被媒體廣泛認可為跨語言的主要電影的發行改進配音技術。
當然，deepfake開源資源庫的持續發展也為面部圖像合成這一領域提供了另一個活躍的用戶貢獻的研究分支。
