最近，來自南加州大學、哈佛大學等機構的研究團隊提出了一種全新的基于提示學習的方法——DreamDistribution。

這種方法可以讓任何基于文字提示的生成模型（比如文生圖、文生3D等），通過一組參照圖片來學習對應的視覺屬性共性和變化的文本提示分布。

圖片

論文地址：https://arxiv.org/abs/2312.14216

項目主頁：https://briannlongzhao.github.io/DreamDistribution/

代碼鏈接：https://github.com/briannlongzhao/DreamDistribution

不僅如此，學習到的提示分布可以用來生成近似于參照圖片但更具多樣性的圖片，同時也支持調整分布的方差來控制多樣性，結合多個提示分布生成混合概念圖片等操作。

簡單來說就是，僅用幾張到十幾張參照圖片就能無限生成符合參照圖片視覺效果并具有顯著多樣性的圖片，輕松生成高達玩具模型多樣新設計！

圖片

在3D生成模型上即插即用，還可以生成不同樣式的跑車，建筑等：

圖片

同樣支持類似于Textual Inversion，DreamBooth的文本引導編輯能力：

圖片

在3D生成上同樣具有編輯能力：

圖片

在訓練后支持控制生成的多樣性的操作（第二行向下多樣性增加）：

圖片

支持多種概念的混合：

圖片

如下圖所示，用戶只需提供一組參照圖片，比如不同的高達玩具圖像，DreamDistribution就可以學習到一個對應于這一組圖片的文本提示分布D*。 

圖片

然后，在推理時通過從D*中采樣，生成有足夠變化和多樣性的分布內輸出圖像。

此外，D*同樣支持由文本引導的編輯來生成圖像的變化，比如從Jumping D*的提示分布中采樣即可生成跳躍姿勢的高達玩具圖片等等。

由于方法相對獨立于下游的生成模型，學習到的提示分布同樣適用于其他基于文本提示的生成任務。

除了展示中基于MVDream文本到3D生成作為例子，通過類似的提示修改也可生成具有適當變化的符合文本提示的3D模型渲染。

研究動機

在擴散生成模型日益蓬勃發展的今天，視覺生成的質量隨之提高。

最先進的圖片生成模型，如DALL·E，Imagen，Stable Diffusion，MidJourney等系列的文本生成圖像模型，已經可以生成非常高質量的圖片。

但同時，由于文本提示很難概括視覺概念上的細節，一些研究如Textual Inversion，DreamBooth等通過圖片引導的方法追求模型生成的可控性以及個性化（personalization/customization）能力，即根據參照圖片使生成模型理解一個個性化概念，如特定的一條寵物狗，一個特定的玩具，等等，再通過文字引導的提示編輯來生成基于個性化概念變化的圖片。

然而，這些方法都著重于個性化一個具體的實例，但在很多情況下用戶可能需要個性化一個更抽象的視覺特征并生成新的實例，比如生成設計風格一致的新高達玩具，或者相似畫風的新卡通角色、新畫作、等等。

如果使用已有的實例層面的個性化方法則很難生成不同于參照圖片中給定的實例的圖片，并且如果參考圖片表述的并非同一個實例時，現有的實例層面的個性化方法則無法捕捉到參考圖片中的變化，并在生成過程中導致有限的多樣性。

方法概述

DreamDistribution訓練方法主要分為三部分。

1. 基于類似Textual Inversion的提示學習的方法，只更新固定長度的提示嵌入，凍結其余下游文本編碼器以及擴散模型的參數。

2. 在提示學習的基礎上，引入了提示分布學習，即保存多個長度相同的文本提示嵌入，并在語義空間內用這些提示的語義特征去擬合一個提示的高斯分布。

同時為保證不同的提示在語義空間內的特征不同，引入了正交損失項（Orthogonal Loss）去最小化不同提示之間在語義空間內的的余弦相似度。

3. 為了優化整體分布，使用了重參數的方法進行多次可導采樣，最后的損失函數為與訓練下游生成模型相同的圖片重建損失或噪聲預測的均方損失函數，以及由超參數控制的正交損失函數。

推理時即可直接從學習到的文本提示分布中采樣，作為下游生成模型的提示輸入來輸出圖片。

圖片

如果需要進行文本引導的提示修改，則對所有提示在嵌入空間加同樣的文本前綴或后綴，并重新在語義特征空間擬合高斯分布并采樣作為下游生成模型的輸入。

實驗和結果

多樣個性化生成

我們首先展示方法生成多樣的個性化圖像的能力。通過DreamDistribution生成的圖像保留了訓練圖片中的共有視覺特征，同時與訓練圖片不同并且具有高多樣性。

給定一組不容易用文本描述，但同時具有一些相似的視覺屬性的訓練圖像（通常為5-20張），可以通過簡單地從學習的分布中采樣作為輸入提示生成多樣化的分布內圖像。

因此，學習到的提示分布可以被視為與訓練圖像集相對應的描述的分布。

對比基線

我們與流行的實例級個性化方法進行比較，包括Textual Inversion、DreamBooth、Custom Diffusion。

我們還對比了使用簡短描述作為文本提示的方法，以及使用詳細描述的長文本作為提示的方法。這些比較強調了我們的方法在處理訓練圖像的相似性和多樣性方面的能力。

使用相同的預訓練Stable Diffusion版本2.1，并且使用基線工作中提供的默認超參數。

對比結果

下圖顯示了與基線方法的可視化比較。無論是短文本提示方法還是長文本提示方法，在視覺上都無法生成與參照圖片相符的結果，因為預訓練的生成模型所理解的名詞很可能與參照圖像有偏差，而且參照圖像的細節很難用語言描述。

使用基線個性化方法生成的圖像通常在所有示例中顯示有限的變化或與參照圖片不一致的視覺屬性。這些方法都嘗試將圖片中的概念與單個固定的提示嵌入關聯起來，所以在語義上固定的嵌入缺少變化。

盡管去噪的過程能夠引入一些隨機性，但由于訓練目標是將各種不同的概念與同一個固定的嵌入建立聯系，這將導致1）提示嵌入欠擬合并且僅學習到一個過于廣泛的概念，比如物體類別的名詞本身，從而導致生成出的圖片與參照圖片不符（如下圖中間一列倒數第2，4行），或者2）擬合于訓練圖像的某一個特定的視覺上的組合，從而導致生成圖像缺乏多樣性（如下圖左列倒數第2，3，4行）。

通過使用多個提示模型和優化提示分布來建模多個概念，我們提出的方法能夠產生更多樣的外觀，視角等實質性變化，例如左列最后一行。我們的方法還可以建模材質和背景信息，并生成顏色和姿態方面具有顯著變化的新實例，如中間列示例中最后一行所示。

圖片

以及線條、整體風格等變化，并生成像右列中最后一行展示的新涂鴉創作?？傮w而言，DreamDistribution能夠生成在顏色，視角、姿態、布局，細節設計等方面產生實質性的變化的圖像，同時保持與參照圖像相符的適當視覺屬性。

質量和多樣性評估

我們在多樣性和質量方面進行了定量評估，在包括真實物體照片（大尺度和小尺度）、著名藝術家的作品，具有顯著風格的卡通人物插畫以及在線社區插畫師的作品等12種多樣化圖像場景上訓練了DreamBooth、Textual Inversion、Custom Diffusion和DreamDistribution。

自動評估指標

我們使用既定的自動評估指標對生成圖像進行評估，這些指標衡量了合成圖像的多樣性和真實圖像之間的相似性。

在下表中，使用FID、CLIP-I和DINO等流行指標來評估圖像質量。我們的方法在所有三個質量度量中均達到最佳質量，表明我們的方法能夠創建更多滿足提示要求的高質量圖像。

圖片

此外，在表1中報告了Density和Coverage指標。Density衡量真實樣本密集聚集的區域，而Coverage計算真實樣本鄰域中包含至少一個生成樣本的比例，反映圖片的多樣程度。我們的方法在整體上實現了最佳的覆蓋率和多樣性。

人類評估

我們進行了基于12組參考圖像的人工評估。對于每個參考圖像集，我們分別使用基線方法和我們的方法生成圖像，每種方法生成40張圖像，總計1,920張圖像。我們指派了10位獨立的注釋者。

對于這12個參考集中的每一個，注釋者被要求根據他們對生成圖像與參考集的相似性以及生成集內的多樣性的感知，選擇最傾向的生成圖像集。

這些方法是匿名的，因此注釋者不知道哪個生成集對應于哪種方法。我們收集了總共120個樣本并統計了偏好的頻率。與三個基線模型相比，我們生成的圖像在多樣性方面表現整體更好。

提示分布的可控性

下圖展示了更多文本引導的提示編輯生成結果。

圖片

除了文本引導的提示編輯，學習到的提示分布還可以通過縮放方差來控制生成的多樣性。如下圖所示，當縮放系數γ變大時，生成的圖像更具隨機性，而縮放系數等于0時則生成圖片的多樣性和隨機性顯著下降。

圖片

不同的提示分布還可以通過按權重相加來得到生成具有混合概念的圖片的效果，如下圖所示，按不同比例混合中國山水畫和梵高畫作所對應的提示分布，可以生成多樣的混合兩種特征的圖片。

圖片

應用于3D生成

由于方法獨立于下游生成模型，學習到的提示分布可以即插即用于其他文字提示驅動的生成任務，譬如文字生成3D。

圖片

我們實驗使用MVDream作為3D生成模型，結果顯示在3D生成任務上同樣可以體現多樣性生成，以及文本提示編輯等功能。

圖片

總結

這項工作注重于不同于實例層面而時更廣泛的圖片集層面的個性化生成任務，從而使得生成的圖像更具多樣性、創新性，但同時符合參照圖片的一些視覺屬性。

工作還有一些不足，比如生成效果高度依賴于訓練圖片的質量和多樣性，并且在3D生成上的結果還有提高空間。

研究人員希望未來能有辦法將方法優化得更魯棒，同時提升在類似3D生成任務上的效果。更多細節請參考原文章。

參考資料：

https://briannlongzhao.github.io/DreamDistribution/