在數(shù)字內(nèi)容創(chuàng)作、虛擬形象、游戲和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域，肖像生成已成為計(jì)算機(jī)圖形學(xué)研究的熱點(diǎn)。盡管近年來(lái)肖像生成模型取得了顯著進(jìn)展，能夠生成越來(lái)越逼真和吸引人的肖像，但仍面臨諸多挑戰(zhàn)。

今天，給大家介紹一種個(gè)性化肖像生成框架IC-Portrait，該框架引入了一種創(chuàng)建逼真肖像圖像的創(chuàng)新方法。通過(guò)結(jié)合風(fēng)格參考圖像，該以生成個(gè)性化肖像，保持視角一致，并準(zhǔn)確響應(yīng)光照條件。

相關(guān)鏈接

• 論文：http://arxiv.org/abs/2501.17159v1
• 視頻：https://www.youtube.com/watch?v=By-y3IH6ejM

研究背景

肖像生成方法大致可分為兩類(lèi)：基于提示的樣式化和基于參考圖像的肖像生成。基于提示的樣式化允許用戶通過(guò)描述性文本提示來(lái)引導(dǎo)生成，但這種方法在保持主體身份特征方面存在挑戰(zhàn)。而基于參考圖像的肖像生成則直接利用現(xiàn)有圖像定義所需樣式，僅改變身份特征，為用戶提供更直觀的界面。然而，現(xiàn)有的肖像生成方法在處理多樣化的用戶照片（如不同的表情、光照條件和妝容）時(shí)仍顯不足，導(dǎo)致生成的肖像在身份相似度和質(zhì)量上有所欠缺。

IC-Portrait框架

在不同的側(cè)面圖像中呈現(xiàn)出不同的表情和妝容，展現(xiàn)了人類(lèi)側(cè)面的多樣性。

IC-Portrait框架核心是預(yù)訓(xùn)練的擴(kuò)散模型在上下文中密集對(duì)應(yīng)匹配方面學(xué)習(xí)迅速，這為其兩大設(shè)計(jì)提供了靈感。具體來(lái)說(shuō)，IC-Portrait將肖像生成重新表述為兩個(gè)子任務(wù)：

1. 光照感知拼接：研究發(fā)現(xiàn)，對(duì)輸入圖像進(jìn)行高度遮擋處理（例如80%）可以非常有效地學(xué)習(xí)參考圖像的光照條件，從而生成與參考圖像光照一致性的肖像。
2. 視圖一致性適應(yīng)：利用合成的視圖一致資料集來(lái)學(xué)習(xí)上下文中的對(duì)應(yīng)關(guān)系，使得參考輪廓能夠被變形到任意姿勢(shì)，從而提供強(qiáng)大的空間對(duì)齊視圖調(diào)節(jié)。

通過(guò)簡(jiǎn)單地連接潛在變量形成類(lèi)似ControlNet的監(jiān)督和建模方式，將這兩種設(shè)計(jì)結(jié)合起來(lái)，IC-Portrait顯著增強(qiáng)了身份保持的準(zhǔn)確度和穩(wěn)定性。

實(shí)驗(yàn)與評(píng)估

與當(dāng)前最先進(jìn)的肖像生成方法比較

極端光照條件下 IC-Portrait 的結(jié)果。

IC-Portrait 的多人設(shè)置。IC-Portrait 通過(guò)按順序處理面部，固有地支持多人設(shè)置。

研究人員進(jìn)行了廣泛的實(shí)驗(yàn)評(píng)估，結(jié)果顯示，IC-Portrait在定量和定性評(píng)價(jià)中均優(yōu)于現(xiàn)有的最先進(jìn)方法，特別是在視覺(jué)質(zhì)量方面有了特別明顯的改進(jìn)。此外，IC-Portrait還展示了3D感知重光照的能力，進(jìn)一步證明了其框架的有效性和靈活性。

總結(jié)

IC-Portrait框架為個(gè)性化肖像生成提供了新的解決方案，通過(guò)光照感知拼接和視圖一致性適應(yīng)兩大設(shè)計(jì)，實(shí)現(xiàn)了幾乎無(wú)損的身份特征保留和光照不變性的肖像生成。這一創(chuàng)新性的框架不僅解決了個(gè)性化肖像生成中的諸多難題，還為數(shù)字內(nèi)容創(chuàng)作、虛擬形象等領(lǐng)域帶來(lái)了新的可能。