最會造假的GAN模型！Facebook發(fā)布IC-GAN，遷移能力史上超強(qiáng)

作者：佚名 2021-09-26 18:52:14

最近Facebook發(fā)布了一個IC-GAN模型，遷移能力號稱史上最強(qiáng)，能把各種場景和物體組合起來，訓(xùn)練集中沒出現(xiàn)過的也能完美復(fù)原！甚至把雪地和駱駝放一起都毫無違和感！

GAN模型好是好，但就是對訓(xùn)練數(shù)據(jù)的要求太高，并且在場景和物體的語義組合時容易出現(xiàn)不合常理的生成圖像，導(dǎo)致一眼假！最近Facebook發(fā)布了一個IC-GAN模型，遷移能力號稱史上最強(qiáng)，能把各種場景和物體組合起來，訓(xùn)練集中沒出現(xiàn)過的也能完美復(fù)原！甚至把雪地和駱駝放一起都毫無違和感！

生成對抗網(wǎng)絡(luò) (GAN) 在圖像生成領(lǐng)域可以說是最強(qiáng)大的 AI 模型，無論是逼真的圖片、抽象的拼貼畫、風(fēng)格遷移都不在話下。

但GAN 也有神經(jīng)網(wǎng)絡(luò)模型所共有的致命缺點(diǎn)，就是具有局限性，通常只能生成與訓(xùn)練數(shù)據(jù)集密切相關(guān)的物體或場景的圖像。

例如，在汽車圖像上訓(xùn)練的 GAN 在生成汽車相關(guān)圖像時可以做到特別逼真，但可能讓它生成鮮花、動物之類的模型就會一眼假，因為生成的圖像可能會違反物理常識等。

最會造假的GAN模型！Facebook發(fā)布IC-GAN，遷移能力史上最強(qiáng)

Facebook AI Research 為了解決這個問題，提出了一個新模型Instance-Conditioned GAN (IC-GAN) ，可以生成逼真的、沒有見過的圖像組合。

https://arxiv.org/abs/2109.05070

例如雪和駱駝這種照片或者在城市中的斑馬，可以無縫銜接起來。

目前代碼已經(jīng)開源。

研究人員從核密度估計（kernel density estimation, KDE）技術(shù)中得到啟發(fā)，引入了一種非參數(shù)化方法來建模復(fù)雜數(shù)據(jù)集的分布。KDE是一種非參數(shù)密度估計器，以參數(shù)化核的混合形式對每個訓(xùn)練數(shù)據(jù)點(diǎn)周圍的密度進(jìn)行建模。

IC-GAN可以看作是一種混合密度估計器，其中每個分量都是通過對訓(xùn)練實例進(jìn)行條件化得到的。

然而與KDE不同的是，IC-GAN 沒有顯式地對數(shù)據(jù)概率進(jìn)行建模，而是采用了一種對抗性的方法，其中我們使用一個神經(jīng)網(wǎng)絡(luò)隱式地對局部密度進(jìn)行建模，該神經(jīng)網(wǎng)絡(luò)將條件實例和噪聲向量作為輸入。

因此，IC-GAN中的內(nèi)核不再獨(dú)立于我們所處理的數(shù)據(jù)點(diǎn)，我們通過選擇實例的鄰域大小來控制平滑度，而不是內(nèi)核帶寬參數(shù)，我們從中采樣真實樣本以饋送到鑒別器。

IC-GAN 將數(shù)據(jù)流形劃分為由數(shù)據(jù)點(diǎn)及其最近鄰描述的重疊鄰域的混合物，IC-GAN模型能夠?qū)W習(xí)每個數(shù)據(jù)點(diǎn)周圍的分布。通過在條件實例周圍選擇一個足夠大的鄰域，可以避免將數(shù)據(jù)過度劃分為小的聚類簇。

當(dāng)給定一個具有M個數(shù)據(jù)樣本的未標(biāo)記數(shù)據(jù)集的嵌入函數(shù)f，首先使用無監(jiān)督或自我監(jiān)督訓(xùn)練得到f來提取實例特征（instance features）。

然后使用余弦相似度為每個數(shù)據(jù)樣本定義k個最近鄰的集合。

使用生成器隱式地模擬條件分布p(x | hi) 時，生成器從單位高斯先驗z∼ N(0, 1)變換樣本從條件分布中抽取樣本x，其中hi是從訓(xùn)練數(shù)據(jù)中抽取的實例xi的特征向量。

在IC-GAN中，采用對抗式方法來訓(xùn)練生成器，因此生成器與判別器可以聯(lián)合訓(xùn)練，判別器用來區(qū)分hi的真實相鄰節(jié)點(diǎn)和生成的相鄰點(diǎn)。對于每個hi，真實鄰居都從Ai中均勻采樣。

生成器 G和判別器 D都參與了一個兩人最小-最大博弈，在博弈中，二者試圖找到目標(biāo)的納什均衡的等式。

在訓(xùn)練IC-GAN時，使用所有可用的訓(xùn)練數(shù)據(jù)點(diǎn)來微調(diào)模型。在推理時，與KDE等非參數(shù)密度估計方法一樣，IC-GAN的生成器也需要實例特征，這些特征可能來自于訓(xùn)練分布或不同的分布。

并且這種方法可以擴(kuò)展到具有類條件（class condition）的生成上。通過在類標(biāo)簽y上添加一個額外的生成器和判別器，可以讓IC-GAN 用于有類條件的生成。IC-GAN 通過向生成器和判別器提供實例的表示作為額外的輸入，并通過使用實例的鄰居作為鑒別器的真實樣本，學(xué)習(xí)對數(shù)據(jù)點(diǎn)（也稱為實例）的鄰域的分布建模。

與對離散簇索引進(jìn)行條件處理不同，對實例表示進(jìn)行條件處理自然會導(dǎo)致生成器為相似實例生成相似樣本。并且一旦訓(xùn)練完成，IC-GAN可以通過在推理時簡單地交換條件實例，輕松地遷移到訓(xùn)練期間未看到的其他數(shù)據(jù)集。

實驗部分研究人員使用了ImageNet和COCO Stuff數(shù)據(jù)集，實驗結(jié)果表明，與無條件模型和無監(jiān)督數(shù)據(jù)分割基線相比，IC-GAN顯著提高了性能。

非選擇性的基線模型BigGAN 是通過將訓(xùn)練集中的所有標(biāo)簽設(shè)置為零來訓(xùn)練的，IC-GAN在FID和IS分?jǐn)?shù)方面均以64×64和128×128分辨率超過了所有以前的方法，并可以在高分辨率下生成更高的質(zhì)量的圖像。

在進(jìn)行遷移實驗時，首先使用ImageNet上使用BigGAN架構(gòu)訓(xùn)練IC-GAN，并在測試時使用COCO Stuff實例生成圖像，這種數(shù)據(jù)分割模式都包含未見過的對象組合方式。在ImageNet上訓(xùn)練的IC-GAN在所有分割方面都優(yōu)于在COCO Stuff上訓(xùn)練的相同模型：在128分辨率下8.5比16.8訓(xùn)練FID。