許多內(nèi)容制作項目需要將簡單的草圖轉(zhuǎn)換為逼真的圖片，這就涉及圖像到圖像的轉(zhuǎn)換（image-to-image translation），它使用深度生成模型學(xué)習(xí)給定輸入的自然圖片的條件分布。

圖像到圖像轉(zhuǎn)換的基本概念是利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來捕捉自然圖片流形（manifold）。圖像轉(zhuǎn)換類似于遍歷流形并定位可行的輸入語義點。系統(tǒng)使用許多圖片對合成網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，以從其潛在空間的任何采樣中提供可靠的輸出。通過預(yù)訓(xùn)練的合成網(wǎng)絡(luò)，下游訓(xùn)練將用戶輸入調(diào)整為模型的潛在表征。

多年來，我們已經(jīng)看到許多特定于任務(wù)的方法達(dá)到了 SOTA 水平，但目前的解決方案還是難以創(chuàng)建用于實際使用的高保真圖片。

在最近的一篇論文中，香港科技大學(xué)和微軟亞洲研究院的研究者認(rèn)為，對于圖像到圖像的轉(zhuǎn)換，預(yù)訓(xùn)練才是 All you need。以往方法需要專門的架構(gòu)設(shè)計，并從頭開始訓(xùn)練單個轉(zhuǎn)換模型，因而難以高質(zhì)量地生成復(fù)雜場景，尤其是在配對訓(xùn)練數(shù)據(jù)不充足的情況下。

因此，研究者將每個圖像到圖像的轉(zhuǎn)換問題視為下游任務(wù)，并引入了一個簡單通用框架，該框架采用預(yù)訓(xùn)練的擴(kuò)散模型來適應(yīng)各種圖像到圖像的轉(zhuǎn)換。他們將提出的預(yù)訓(xùn)練圖像到圖像轉(zhuǎn)換模型稱為 PITI（pretraining-based image-to-image translation）。此外，研究者還提出用對抗訓(xùn)練來增強擴(kuò)散模型訓(xùn)練中的紋理合成，并與歸一化指導(dǎo)采樣結(jié)合以提升生成質(zhì)量。

最后，研究者在 ADE20K、COCO-Stuff 和 DIODE 等具有挑戰(zhàn)性的基準(zhǔn)上對各種任務(wù)進(jìn)行了廣泛的實證比較，表明 PITI 合成的圖像顯示出了前所未有的真實感和忠實度。

• 論文鏈接：https://arxiv.org/pdf/2205.12952.pdf
• 項目主頁：https://tengfei-wang.github.io/PITI/index.html

GAN 已死，擴(kuò)散模型永存

作者沒有使用在特定領(lǐng)域表現(xiàn)最佳的 GAN，而是使用了擴(kuò)散模型，合成了廣泛多樣的圖片。其次，它應(yīng)該從兩種類型的潛在代碼中生成圖片：一種描述視覺語義，另一種針對圖像波動進(jìn)行調(diào)整。語義、低維潛在對于下游任務(wù)至關(guān)重要。否則，就不可能將模態(tài)輸入轉(zhuǎn)換為復(fù)雜的潛在空間。鑒于此，他們使用 GLIDE 作為預(yù)訓(xùn)練的生成先驗，這是一種可以生成不同圖片的數(shù)據(jù)驅(qū)動模型。由于 GLIDE 使用了潛在的文本，它允許語義潛在空間。

擴(kuò)散和基于分?jǐn)?shù)的方法表現(xiàn)出跨基準(zhǔn)的生成質(zhì)量。在類條件 ImageNet 上，這些模型在視覺質(zhì)量和采樣多樣性方面與基于 GAN 的方法相媲美。最近，用大規(guī)模文本圖像配對訓(xùn)練的擴(kuò)散模型顯示出驚人的能力。訓(xùn)練有素的擴(kuò)散模型可以為合成提供通用的生成先驗。

框架

作者可以使用前置（pretext）任務(wù)對大量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并開發(fā)一個非常有意義的潛在空間來預(yù)測圖片統(tǒng)計。

對于下游任務(wù)，他們有條件地微調(diào)語義空間以映射特定于任務(wù)的環(huán)境。該機(jī)器根據(jù)預(yù)先訓(xùn)練的信息創(chuàng)建可信的視覺效果。

作者建議使用語義輸入對擴(kuò)散模型進(jìn)行預(yù)訓(xùn)練。他們使用文本條件、圖像訓(xùn)練的 GLIDE 模型。Transformer 網(wǎng)絡(luò)對文本輸入進(jìn)行編碼，并為擴(kuò)散模型輸出 token。按照計劃，文本嵌入空間是有意義的。

上圖是作者的作品。與從頭開始的技術(shù)相比，預(yù)訓(xùn)練模型提高了圖片質(zhì)量和多樣性。由于 COCO 數(shù)據(jù)集具有眾多類別和組合，因此基本方法無法通過引人注目的架構(gòu)提供美觀的結(jié)果。他們的方法可以為困難的場景創(chuàng)建具有精確語義的豐富細(xì)節(jié)。圖片展示了他們方法的多功能性。

實驗及影響

表 1 顯示，該研究所提方法性能始終優(yōu)于其他模型。與較為領(lǐng)先的 OASIS 相比，在掩碼到圖像合成方面，PITI 在 FID 方面獲得了顯著的改進(jìn)。此外，該方法在草圖到圖像和幾何到圖像合成任務(wù)中也顯示出良好的性能。

圖 3 展示了該研究在不同任務(wù)上的可視化結(jié)果。實驗可得，與從頭開始訓(xùn)練的方法相比，預(yù)訓(xùn)練模型顯著提高了生成圖像的質(zhì)量和多樣性。該研究所用方法可以產(chǎn)生生動的細(xì)節(jié)和正確的語義，即使是具有挑戰(zhàn)性的生成任務(wù)。

該研究還在 Amazon Mechanical Turk 上的 COCO-Stuff 上進(jìn)行了一項關(guān)于掩碼到圖像合成的用戶研究，獲得了 20 名參與者的 3000 票。參與者一次會得到兩張圖片，并被要求選擇一張更真實的進(jìn)行投票。如表 2 所示，所建議的方法在很大程度上優(yōu)于從零開始的模型和其他基線。

條件圖像合成可創(chuàng)建符合條件的高質(zhì)量圖片。計算機(jī)視覺和圖形學(xué)領(lǐng)域使用它來創(chuàng)建和操作信息。大規(guī)模預(yù)訓(xùn)練改進(jìn)了圖片分類、對象識別和語義分割。未知的是大規(guī)模預(yù)訓(xùn)練是否有利于一般生成任務(wù)。

能源使用和碳排放是圖片預(yù)訓(xùn)練的關(guān)鍵問題。預(yù)訓(xùn)練是耗能的，但只需要一次。條件微調(diào)讓下游任務(wù)可以使用相同的預(yù)訓(xùn)練模型。預(yù)訓(xùn)練允許用更少的訓(xùn)練數(shù)據(jù)訓(xùn)練生成模型，當(dāng)數(shù)據(jù)由于隱私問題或昂貴的注釋成本而受到限制時，可以提升圖像合成效果。