開源AltDiffusion-m18 ，18種語言文圖生成all in one
當前，非英文文圖生成模型選擇有限，用戶往往要將 prompt 翻譯成英語再輸入模型。這樣不僅會造成額外的操作負擔，并且翻譯過程中的語言文化誤差，會影響生成圖片的準確性。
智源研究院 FlagAI 團隊首創高效訓練方式，使用多語言預訓練模型和 Stable Diffusion 結合，訓練多語言文圖生成模型 —— AltDiffusion-m18，支持18種語言的文圖生成。
包括中文、英文、日語、泰語、韓語、印地語、烏克蘭語、阿拉伯語、土耳其語、越南語、波蘭語、荷蘭語、葡萄牙語、意大利語、西班牙語、德語、法語、俄語。
Huggingface：https://huggingface.co/BAAI/AltDiffusion-m18
GitHub：https://github.com/FlagAI-Open/FlagAI/blob/master/examples/AltDiffusion-m18
AltDiffusion-m18 在英文的 FID、IS、CLIP score 客觀評測上達到了 Stable Diffusion 95~99% 效果，在中文、日文上達到了最優水平，同時填補了其余 15 種語言文圖生成模型的空白，極大滿足了產業界對于多語言文圖生成的強烈需求。在此，特別鳴謝 Stable Diffusion Research Team 為這項工作提供建議。
此外，AltDiffusion-m18 相關創新技術報告《AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities》已被 Findings of ACL 2023 接收。
技術亮點
1 全新 AltCLIP，高效、低成本構建多語言 T2I 模型
在去年發布的 AltDiffusion-m9 中，智源團隊基于 Stable Diffusion v1.4，創新性地更換語言塔為多語言塔 AltCLIP，并使用九種語言的多語言數據進行微調，將原始僅支持英文的 Stable Diffusion 擴展到支持 9 種不同的語言。
AltCLIP：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltCLIP-m18
而 AltDiffusion-m18 基于 Stable Diffusion v2.1 訓練。Stable Diffusion v2.1 新的語言塔為 OpenCLIP 的倒二層，因此，全新的 AltCLIP 以 OpenCLIP 的倒二層作為蒸餾目標重新訓練，并且在 m9 的基礎上將僅對 Unet 中 CrossAttention 層 K,V 矩陣微調，擴展成兩階段的訓練方式，如下圖所示：
- 第一階段：早前在 m9 的實驗過程中發現，微調 K,V 矩陣主要學習的是文圖的概念對齊，所以 m18 訓練的第一階段繼續使用 18 語言的數據進行K,V矩陣的微調。此外，通過實驗證明，將圖片從 512*512 的分辨率降低到 256*256 并不會損失圖片的語義信息。因此，在第一階段學習文圖概念對齊的過程中使用 256*256 的分辨率進行訓練，加快了訓練速度。
- 第二階段：為了進一步提高生成圖像的質量，使用 512*512 的分辨率在 18 語言的數據中進行 Unet 全量參數的訓練。此外，丟掉 10% 的文本來進行 uncondition 的訓練，來服務 classifier-free guidance 的推理。
- 此外，采用了一種無分類器引導訓練技術，進一步提高生成質量。
最新評測結果顯示，AltCLIP-m18 在中英文 zero-shot（零樣本）檢索任務上超過 CLIP 達到了最優水平??
在多語言圖片分類 benchmarks 上，AltCLIP-m9（早期版本，支持9種語言） 與 AltCLIP-m18 達到最優水平??
同樣，得益于 AltCLIP 創新性的換塔思路，AltDiffusion-m18 也可以無縫接入 Stable Diffusion 所有建立在原 CLIP 上的模型和生態工具，所有支持 Stable Diffusion 的工具如 Stable Diffusion WebUI，DreamBooth 等都可應用 AltDiffusion-m18 上。無痛上手，可玩性極佳！
2 多語言生成效果對齊，性能優越、細節準確
在全新 AltCLIP 的加持下，AltDiffusion-m18 在英文的 FID、IS、CLIP score 評測中達到了原始 Stable Diffusion 95～99% 的效果，并在中文、日文等 17 種語言中實現了最先進的性能，詳細數據如下表所示：
在英文、中文、日文上，AltDiffusion-m18 與其他模型生成結果相比，效果更優越、細節更準確：
上圖(a)中 AltDiffusion-m18 可以生成跟原始 Stable Diffusion 高度一致的結果，并且在 prompt 理解上優于國內其他中英雙語模型，例如："A stuffed bear", "A black and white photo", "cat"等在國內其他中英雙語模型中生成失敗的概念可以在 AltDiffusion 中成功生成。同樣的現象在中文和日文中也有出現。
上圖(b)中的"黑色沙發，木地地板"僅有 AltDiffusion-m18 正確生成。
上圖(c)中的"bears"，Japanese Stable Diffusion 錯誤生成為“人類”，AltDiffusion-m18 可以正確生成為“熊”。
此外，智源 FlagEval 團隊開發了文圖生成模型評測工具 ImageEval。經評測，AltDiffusion-m18 在實體對象、實體數量維度上的準確度分別超過國內同行模型 11%、 10%（注：ImageEval 評測方法和結果將于近期公開發布，敬請期待）。
3 小語種文生圖救星，提供多語言文圖生成模型參照系
AltDiffusion-m18 從多語言的數據中學到了不同語言的偏置，幫助用戶越過語言翻譯門檻、繞過文化轉譯，減少了語言背后文化信息的丟失。如下圖所示，中文、日文 Prompt 生成的小男孩的臉部輪廓更加“亞洲風”，而英語及其他歐洲地區語言 prompt 生成小男孩則更加“歐美風”。
更加有趣的是，在不同語言下動物的 prompt 生成的圖片細節也有差異。如下圖所示，雖然不同語言生成的圖片整體上具有高度一致性，但畫面背景和柯基的五官細節都有細微差異。
總的來說，AltDiffusion-m18 為多語言文圖生成模型提供了一個基礎參照系。以西班牙語、德語、法語等15 種語言為母語的用戶，不必再將腦海中的 prompt 翻譯成英文，就可以感受到 AIGC 的樂趣。AI 調教高手們還可以在 AltDiffusion-m18 基礎上結合 DreamBooth 、ControlNet 和 LoRA 等進一步優化，或者使用其他語言的語料微調得到更好的文圖生成效果。
同時，大模型算法、模型及工具一站式開源項目—— FlagAI (github.com/FlagAI-Open/FlagAI)也提供了訓練推理的工具和 API ，方便大家快速下載和使用 AltDiffusion-m18 。
