LineArt：無(wú)需訓(xùn)練的高質(zhì)量設(shè)計(jì)繪圖生成方法，可保留結(jié)構(gòu)準(zhǔn)確性并生成高保真外觀
本文經(jīng)AIGC Studio公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
今天給大家介紹一種無(wú)需訓(xùn)練的基于擴(kuò)散模型的高質(zhì)量設(shè)計(jì)繪圖外觀遷移方法LineArt，該方法可以將復(fù)雜外觀轉(zhuǎn)移到詳細(xì)設(shè)計(jì)圖上的框架，可促進(jìn)設(shè)計(jì)和藝術(shù)創(chuàng)作。現(xiàn)有的圖像生成技術(shù)在細(xì)節(jié)保留和風(fēng)格樣式一致性方面存在局限，尤其是在處理專業(yè)設(shè)計(jì)圖時(shí)。LineArt的提出很好的解決了這個(gè)問(wèn)題，因此特別適用于設(shè)計(jì)圖紙的生成。
LineArt工作利用設(shè)計(jì)圖和參考照片來(lái)生成相應(yīng)的結(jié)果。
相關(guān)鏈接
- 論文：http://arxiv.org/abs/2412.11519v1
- 項(xiàng)目：https://meaoxixi.github.io/LineArt/
- 代碼：https://github.com/YOUR%20REPO%20HERE
論文介紹
LineArt：一種基于擴(kuò)散模型、知識(shí)引導(dǎo)、無(wú)需訓(xùn)練的高質(zhì)量設(shè)計(jì)繪圖外觀轉(zhuǎn)換方法
線條圖的圖像渲染在設(shè)計(jì)中至關(guān)重要，圖像生成技術(shù)可以降低成本，但專業(yè)的線條圖需要保留復(fù)雜的細(xì)節(jié)。文本提示難以保證準(zhǔn)確性，而圖像轉(zhuǎn)換則難以保證一致性和細(xì)粒度控制。
LineArt是一個(gè)將復(fù)雜外觀轉(zhuǎn)移到詳細(xì)設(shè)計(jì)圖上的框架，可促進(jìn)設(shè)計(jì)和藝術(shù)創(chuàng)作。它通過(guò)模擬分層視覺(jué)認(rèn)知并整合人類藝術(shù)經(jīng)驗(yàn)來(lái)指導(dǎo)傳播過(guò)程，在保留結(jié)構(gòu)準(zhǔn)確性的同時(shí)生成高保真外觀。LineArt 克服了當(dāng)前方法在細(xì)粒度控制困難和設(shè)計(jì)圖中風(fēng)格退化的局限性。它不需要精確的 3D 建模、物理屬性規(guī)范或網(wǎng)絡(luò)訓(xùn)練，使其更方便完成設(shè)計(jì)任務(wù)。
LineArt 由兩個(gè)階段組成：一個(gè)多頻線融合模塊，用于為輸入的設(shè)計(jì)圖補(bǔ)充詳細(xì)的結(jié)構(gòu)信息，以及一個(gè)用于基礎(chǔ)層成型和表面層著色的兩部分繪畫過(guò)程。我們還提出了一個(gè)新的設(shè)計(jì)圖數(shù)據(jù)集 ProLines 供評(píng)估。實(shí)驗(yàn)表明，與 SOTA 相比，LineArt 在準(zhǔn)確性、真實(shí)感和材料精度方面表現(xiàn)更好。
方法
工作流程： 該過(guò)程從設(shè)計(jì)圖 L original和外觀圖像 I appearance開始。基于深度的 ControlNet 估計(jì)深度并生成軟邊緣以指導(dǎo)合成。
- （a）多頻線融合模塊采用斷言引導(dǎo)技術(shù)來(lái)增強(qiáng)結(jié)構(gòu)細(xì)節(jié)控制。
- （b）基礎(chǔ)層塑造使用多尺度視網(wǎng)膜方法分解外觀圖像的照明，生成視網(wǎng)膜照明層 L retinex以平衡亮度。
- （c）表面層著色利用 U 網(wǎng)絡(luò)中的布局和樣式塊和交叉注意來(lái)細(xì)化輸出，以實(shí)現(xiàn)準(zhǔn)確的材料嵌入。
ProLine 數(shù)據(jù)集
ProLine數(shù)據(jù)集的構(gòu)建：
- (b)顯示了根據(jù)圖像復(fù)雜度進(jìn)行初步篩選以及人工去除噪聲數(shù)據(jù)后的數(shù)據(jù)概覽。
- (c)顯示了選定數(shù)據(jù)的數(shù)據(jù)預(yù)處理，包括mask的自動(dòng)處理過(guò)程和三輪人工驗(yàn)證。
經(jīng)過(guò)(b)(c)兩個(gè)過(guò)程得到了5101幅珍貴的線圖。
結(jié)果
該工作與其他 SOTA 在處理具有精細(xì)結(jié)構(gòu)的技術(shù)圖紙和指定材料的圖像的定性結(jié)果中進(jìn)行了比較。從圖中可以看出，論文提出的方法可以在保持更精細(xì)結(jié)構(gòu)的同時(shí)生成更準(zhǔn)確的紋理，并且對(duì)材料圖像具有更合適的顏色表示。
該方法在輔助設(shè)計(jì)中的應(yīng)用示例。該方法可以將各種材質(zhì)紋理與技術(shù)圖融合，生成豐富的材質(zhì)效果預(yù)覽，輔助設(shè)計(jì)師選擇最合適的材質(zhì)組合進(jìn)行產(chǎn)品線稿設(shè)計(jì)。
對(duì) ProLines 數(shù)據(jù)集上不同方法的定量評(píng)估。論文使用八個(gè)指標(biāo)從三個(gè)維度評(píng)估結(jié)果的質(zhì)量。結(jié)果表明，該方法在感知質(zhì)量和準(zhǔn)確性之間取得了良好的平衡，特別是在保留圖像細(xì)節(jié)和紋理方面。最佳值以紅色突出顯示，次佳值以黃色突出顯示。
