本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

畫畫新手們，如何才能畫出一副像樣的手繪肖像？

除了假以時日的練習，或許也可以借助下面這款工具！

首先，你只需畫出人臉輪廓圖，例如下面這樣：

然后，計算機就能向你提示肖像整體結(jié)構(gòu)的線條，供你參考：

接著，再給出人臉細節(jié)的提示線條：

最終，你就能畫出這樣一幅作品了：

是不是比新手徒手一張白紙要強很多？

兩步引導(dǎo)教你畫肖像

這款工具叫做dualFace。

它之所以能輔助繪畫新手和普通用戶畫出像樣的肖像畫，是因為可以根據(jù)你的初始線條

給出人像全局框架和局部細節(jié)的素描線條。

你只需照著它來，沒有經(jīng)過繪畫培訓(xùn)的“手殘黨”也可以完成！

在全局引導(dǎo)階段，dualFace根據(jù)你繪制的大概輪廓，就能從內(nèi)部數(shù)據(jù)庫中搜索出若干相

關(guān)人像，并在畫布背景上顯示建議的人臉輪廓線。

在局部引導(dǎo)階段，dualFace利用全局指導(dǎo)繪制的輪廓線，用深度生成模型合成人臉圖

像，然后將合成結(jié)果的細節(jié)（眼睛、鼻子、嘴等）作為輔助線條給出來。

請注意，在全局階段，人像是數(shù)據(jù)庫中真實的人像。而局部階段，是合成的虛擬人像。

為什么兩階段不用同一種人像呢？

這樣做是為了讓計算機給出的指導(dǎo)更具多樣性！畢竟數(shù)據(jù)庫里的人都是有限的，使用生

成模型可以在細節(jié)區(qū)分出更多的肖像。

另外dualFace具有切換功能，用戶可以選擇最合理的局部指導(dǎo)；

如果用戶認為局部指導(dǎo)不符合他們的想象，也可以通過點擊按鈕來使繪制過程返回到全

局階段。

下面就來說說這兩個階段具體如何操作的：

全局引導(dǎo)

全局引導(dǎo)階段分為三步：數(shù)據(jù)生成，輪廓匹配和交互式指導(dǎo)。

數(shù)據(jù)生成就是把數(shù)據(jù)庫中的人臉圖像轉(zhuǎn)換成人臉輪廓。

他們使用雙向分割網(wǎng)絡(luò)（BiSeNet）來生成人臉原圖的語義標簽蒙層（mask）。再從這

個語義標簽蒙層中提取人臉輪廓。蒙層中的每個像素（eg. 眼睛、鼻子和嘴巴）都有來

自原圖的面部標簽ID（為了方便后面的搜索）。

另外，輪廓圖像與相應(yīng)的原始人臉圖像一起存儲。

輪廓匹配步驟，通過計算用戶畫的輪廓與數(shù)據(jù)庫中存儲的輪廓圖像的相似度，得到最接

近的輪廓圖像。使用了GALIF(Gabor Local Line-based Feature, 基于局部線條的Gabo

r特征描述符)進行草圖檢索和局部形狀匹配。

交互式指導(dǎo)步驟根據(jù)用戶不斷更新的筆劃實時檢索出最相似的“候選對象”，并將其轉(zhuǎn)換

成陰影圖。

局部引導(dǎo)

提供了整體結(jié)構(gòu)圖后，系統(tǒng)就開始提供細節(jié)線條了。

局部引導(dǎo)階段包括兩個步驟：蒙層（mask）生成和肖像草圖生成。

蒙層生成步驟，利用全局階段中的用戶所繪，和在全局階段-數(shù)據(jù)生成部分生成的數(shù)據(jù)

庫人臉蒙層，系統(tǒng)可以生成最終蒙層，如下圖。

肖像草圖生成步驟，采用MaskGAN生成與上一階段匹配的“真人”肖像，并采用APdrawi

ngGAN將肖像圖轉(zhuǎn)為素描圖。

其中，由于這兩個生成模型是獨立訓(xùn)練的，為了連接它倆，該步驟還使用梯度提升決策

樹（GBDT）來計算人臉標志點，并將合并后的蒙層轉(zhuǎn)換成二進制背景輪廓。

此階段可以生成多幅詳細的人像素描，用戶可以選擇最需要的一個作為后續(xù)繪制的參

考。且用戶一開始畫的輪廓圖不全也沒關(guān)系，缺少的部分可以通過“筆劃—蒙層映射優(yōu)

化”自動完成。

以上就是兩個階段引導(dǎo)的具體實現(xiàn)過程。

接下來，他們進行了用戶研究，以定性的方式驗證該工具的效果。

無法正確識別抽象的輸入

dualFace是在windows10平臺上用Python編寫的一個實時繪圖程序。

全局指導(dǎo)階段，每次釋放鼠標后平均需要0.36 s來檢索圖像，而在局部指導(dǎo)中每生成一

幅肖像圖像需要2.78 s。

下面是試驗者從全局和局部以及整體使用感受上的問卷調(diào)查結(jié)果，滿分5分，平均分都

在3.9以上。

從整體用戶體驗來看，所有參與者都認為該工具可以幫助他們更好地繪制肖像。

而和其他繪圖工具相比，dualFace在空間關(guān)系和面部細節(jié)的繪圖評價上取得了較高的成

績，平均分分別為4.5分和4.32分。

因此，dualFace可以引導(dǎo)用戶通過正確的面部空間關(guān)系和詳細的面部特征來獲得更好的

肖像畫，而其他繪圖程序可能無法提供這些信息。

此外，下圖最右顯示，使用dualFace畫畫最短花費4分15秒，最長17分15秒，平均花費

在10分鐘左右。雖然用戶的繪畫技巧可能不同，但是花費更多時間必然會導(dǎo)致更好的繪

圖結(jié)果。

下面是試驗者的畫畫成果：

可以看出，系統(tǒng)給出的指導(dǎo)圖的水平都差不多，但最終結(jié)果還是有點受限于用戶的實際

畫畫水平的

不過正如前面所說的，最后一組只畫了眉毛和眼睛，系統(tǒng)也不會受到限制，也可以給出

完整的指導(dǎo)圖。

當然，他們這個方法也有局限性：抽象的草圖可能無法轉(zhuǎn)換為合理的人臉mask。

例如，下圖中用戶畫的輪廓中的嘴被錯誤地視為了鼻子的一部分，這就導(dǎo)致后面一系列

圖的鼻子都不對勁。

這是因為人臉數(shù)據(jù)庫中都是真實的照片，dualFace只能支持繪制具有真實風格的人像。

所以，表情、夸張卡通造型等高層次的語義素描用它都很難實現(xiàn)。

作者介紹

此項目研究人員來自日本北陸先端科學技術(shù)大學院大學和東京大學。

前者是于1990年設(shè)立的研究院性質(zhì)的日本國立大學，擁有多個日本重點扶持學科，科研

水平比肩東大、京大，在信息科學領(lǐng)域的研究極其頂尖。

7名研究成員中4位為華人，其中包括論文一二作。

試玩可戳GitHub地址下載：

https://github.com/shasph/dualFace

論文地址：

https://www.arxiv-vanity.com/papers/2104.12297/