復(fù)旦&字節(jié)提出layout-to-image新范式，支持基于布局的MM-DiT架構(gòu)下可控圖像生成！
本篇分享論文CreatiLayout: Siamese Multimodal Diffusion Transformer for Creative Layout-to-Image Generation，是由復(fù)旦大學(xué)&字節(jié)跳動提出的layout-to-image新范式，支持基于布局的MM-DiT架構(gòu)下的可控圖像生成！
效果示例
相關(guān)鏈接
- 論文地址: https://arxiv.org/abs/2412.03859
- 項目主頁: https://creatilayout.github.io
- 項目代碼: https://github.com/HuiZhang0812/CreatiLayout
- 項目Demo: https://huggingface.co/spaces/HuiZhang0812/CreatiLayout
- 數(shù)據(jù)集: https://huggingface.co/datasets/HuiZhang0812/LayoutSAM
論文介紹
任務(wù)背景
布局到圖像生成 (Layout-to-Image, L2I) 是一種基于布局信息進(jìn)行可控圖像生成的技術(shù)，其中布局信息包括實體在圖像中的空間位置和描述。例如，用戶指定了這些實體的描述與空間位置：鋼鐵俠手里拿著畫板，站在巖石上，畫板上用手繪字體寫著“CreatiLayout”，背景是海邊與日落。Layout-to-Image則能根據(jù)這些信息，生成符合用戶需求的圖像。
Layout-to-Image能進(jìn)一步釋放Text-to-Image模型的能力，為用戶進(jìn)一步提供精確控制和創(chuàng)意表達(dá)的渠道，在游戲開發(fā)、動畫制作、室內(nèi)設(shè)計、創(chuàng)意設(shè)計等場景有著廣泛的應(yīng)用前景。
先前的Layout-to-Image模型，主要存在以下問題：
- 布局?jǐn)?shù)據(jù)問題：現(xiàn)有的布局?jǐn)?shù)據(jù)集存在封閉集合的小規(guī)模數(shù)據(jù)和粗粒度的實體標(biāo)注等方面的不足，這限制了模型在生成開放集實體的泛化能力以及在生成具有復(fù)雜屬性實體的精準(zhǔn)性。
- 模型架構(gòu)問題：先前模型主要集中在 U-Net 架構(gòu)上，例如 SD1.5 和 SDXL。然而，隨著MM-DiT的發(fā)展，SD3、FLUX等文生圖模型開辟了視覺質(zhì)量與文本遵循度的新高度。直接將 U-Net 的布局控制范式應(yīng)用到 MM-DiT 上會削弱布局控制的準(zhǔn)確度。因此需要為 MM-DiT 設(shè)計一個新框架，以高效融合布局信息，充分發(fā)揮其潛力。
- 用戶體驗問題：許多現(xiàn)有方法只支持邊界框作為用戶指定實體位置的方式，缺乏對更靈活輸入方式（例如中心點、掩碼、草圖或只是語言描述）的處理能力，限制了用戶的使用體驗。此外，這些方法不支持對用戶的布局進(jìn)行添加、刪除或修改等優(yōu)化。
方法簡介
為了解決先前方法在數(shù)據(jù)、模型、體驗等方面存在的問題，CreatiLayout 提出了針對性的解決方案，實現(xiàn)了更高質(zhì)量、更可控的布局到圖像生成。
大規(guī)模&細(xì)粒度的布局?jǐn)?shù)據(jù)集
LayoutSAMCreatiLayout 構(gòu)建了自動標(biāo)注布局的鏈路，提出了大規(guī)模布局?jǐn)?shù)據(jù)集LayoutSAM，包含了 270萬圖像-文本對和 1070萬個實體標(biāo)注。LayoutSAM 從 SAM 數(shù)據(jù)集中篩選而來，有著開放集的實體、細(xì)粒度的標(biāo)注和高圖像質(zhì)量等特質(zhì)。每個實體都包含邊界框和詳細(xì)描述，涵蓋顏色、形狀、紋理等復(fù)雜屬性。這為模型能夠更好地理解和學(xué)習(xí)布局信息提供了數(shù)據(jù)驅(qū)動。基于此，CreatiLayout構(gòu)建了布局到圖像生成評估基準(zhǔn)LayoutSAM-Eval，全面評估模型在布局控制、圖像質(zhì)量和文本遵循等方面的表現(xiàn)。
將布局信息視為一種模態(tài)的模型架構(gòu)
SiamLayoutCreatiLayout 提出了 SiamLayout 框架，將布局信息引入MM-DiT的同時，有效緩解了模態(tài)競爭問題，增強了布局的指導(dǎo)作用，相比于其他網(wǎng)絡(luò)方案取得了更精準(zhǔn)的布局控制。核心設(shè)計點為：
- 將布局信息視為一種獨立的模態(tài)，與文本和圖像模態(tài)同等重要，提升布局信息對圖像內(nèi)容指導(dǎo)程度
- 布局模態(tài)與圖像模態(tài)的交互通過MM-DiT原生的MM-Attention實現(xiàn)，保留了其在模態(tài)交互的優(yōu)勢
- 將圖像、文本、布局這三個模態(tài)的交互解耦為兩個孿生的分支：圖像-文本交互分支與圖像-布局交互分支，使得文本與布局對圖像內(nèi)容的指導(dǎo)各司其職、互不干擾。
支持布局生成與優(yōu)化的布局設(shè)計器
LayoutDesignerCreatiLayout 提出了 LayoutDesigner，利用大語言模型進(jìn)行布局規(guī)劃，能夠根據(jù)用戶輸入（中心點、掩碼、草圖、文本描述）生成和優(yōu)化布局，支持更靈活的用戶輸入方式，并提供布局優(yōu)化功能，例如添加、刪除、修改實體等。這使得用戶能夠更方便地表達(dá)自己的設(shè)計意圖，并生成更和諧美觀的布局。
實驗結(jié)果
與SOTA方法在布局到圖像生成的對比實驗
在細(xì)粒度開放集布局到圖像生成任務(wù)上，CreatiLayout在空間定位、顏色、紋理、形狀等區(qū)域級別的屬性渲染上都優(yōu)于之前的 SOTA 方法；在整圖質(zhì)量上，CreatiLayout也展現(xiàn)出更好的視覺質(zhì)量與文本遵循度。下面的可視化結(jié)果進(jìn)一步證實了CreatiLayout 的優(yōu)勢。例如對于"HELLO FRIENDS"這一文本的更精準(zhǔn)的生成和對不同顏色的鉛筆與長椅的生成等。可以在項目demo上進(jìn)一步感受CreatiLayout在Layout-to-Image的能力。
與SOTA方法在布局生成與優(yōu)化的對比
實驗在布局規(guī)劃任務(wù)上的定量和定性實驗，展示了不同布局優(yōu)化器在不同用戶輸入粒度下的布局生成和優(yōu)化能力。LayoutDesigner 在基于全局標(biāo)題、中心點和邊界框的布局規(guī)劃任務(wù)上都表現(xiàn)出色，格式準(zhǔn)確性達(dá)到 100%，這表明 它能生成符合格式要求的布局。此外，基于LayoutDesigner 規(guī)劃的布局去生成圖像，能得到更高質(zhì)量、更具美感的圖像。例如，Llama3.1 生成的布局經(jīng)常缺少關(guān)鍵元素，而 GPT4 生成的布局經(jīng)常違反基本物理定律，導(dǎo)致基于這些次優(yōu)的布局去生成圖像會得到較差的圖像質(zhì)量與較低文本遵循度。
