本文整理自趣丸科技資深研發工程師阮陳貴在【WOT2023·深圳站】大會上的主題分享，更多精彩內容及現場PPT，請關注51CTO技術棧公眾號，發消息【WOT2023PPT深圳】即可直接領取。
嘉賓 | 阮陳貴
編輯 | 張誠
出品 | 51CTO技術棧（微信號：blog51cto）
2023年11月24日-25日，51CTO主辦的“WOT全球技術創新大會2023·深圳站”成功召開。在《AIGC賦能業務》專題論壇中，趣丸科技資深研發工程師阮陳貴帶來了《AIGC在趣丸科技廣告素材場景下賦能業務的探索實踐》主題分享，詳細介紹了AIGC技術在多模態素材上發揮的作用，AIGC如何為廣告投放業務賦能，以及趣丸科技的AIGC的實踐應用。
1、AIGC賦能廣告行業數據營銷和創意場景
廣告行業擁有巨大的市場份額。艾瑞公布的數據顯示，廣告市場占總體GDP的1%，并且還在持續地增長。AIGC的興起，將會對數字營銷內容和創意場景進行賦能，包括文生文、文生圖、音頻、視頻、跨模態等。
阮陳貴在分享中表示，AIGC對應的文案、圖片、視頻、音頻，能夠非常好地與廣告匹配，是天然為廣告業務而生。對于多模態技術，則能夠更好地匹配廣告業務。為此，趣丸科技開展了AIGC在廣告行業中的相關探索。
據介紹，AIGC在廣告業務的深層應用中，生成圖片和內容理解是比較重要的兩個方面。談到內容理解，阮陳貴認為，把圖片、文本、視頻等內容提供給AI，AI不但能夠幫助人們對圖片進行解析，還能夠理解文本中的情感信息、理解視頻中音頻所包含的信息等等，通過AI整理形成人們所需要的內容。
洞察生成內容，反向作用再去生成內容，這個過程便是趣丸科技對AIGC在內容理解更深層次的應用。
2、趣丸科技的程序化廣告投放與素材特點
阮陳貴表示，產品投放包括準備期、測試期、拓量期、穩定期、衰減期五個階段，涵蓋廣告投放的整個生命周期。素材與廣告是一體化的，理解素材的業務特點就是了解廣告投放生命周期的過程。由于廣告投量越來越大，投放玩法越來越多樣，這就需要大量的素材，包括文本、圖片、視頻等素材。因此，素材在廣告投放生命周期中扮演著重要的作用。
基于此，趣丸科技開發了名為“起飛”的智能投放系統，從基礎版本到智能化，再到素材智能化，該系統進行了五年時間的持續迭代。
圖片
阮陳貴表示，我們希望能夠把所有素材用智能化的方式搭建廣告，并不斷地觀察數據是不是符合預期，并與媒體進行交互，進行轉化管理。通過打造智能化生成素材——素材監測——媒體效果反饋，將信息與媒體資源進行打通與整合，并形成閉環，最終作用于素材本身。
趣丸科技將素材方向分為信息流廣告和新媒體廣告。所謂信息流廣告，就是在朋友圈中看到的各種硬廣和軟廣。大部分硬廣會把視頻、封面、文本組成一個創意包進行展示，并不會指定特定內容。新媒體廣告是指那些小眾或者更加垂直領域的內容，這類廣告會通過推薦產品的形式來吸引用戶。
隨著產品體量越來越大，素材需求量也變得更大。而素材制作過程繁瑣，也帶來了人手不足和產能不足的問題。除此之外，還會出現大量歷史素材無法高效利用的問題。如何利用AIGC解決這些問題，成為趣丸科技重點探討的方向。
3、基于AIGC技術的廣告素材生成產品方案
從素材數量上進行區分，趣丸科技將其分為常態化素材和探索素材。所謂常態化素材，就是能夠用固定范式進行歸納的素材形式。探索素材是原生類型素材、是指新的產品和新的投放模式。
阮陳貴認為，AIGC的突破點在于素材的結構化。
為此，趣丸科技通過產品方案增強AIGC業務效果，并利用AIGC輔助生產，打通了內容制作需求、素材收集、創意化生產、流程化生產、使用反饋的數據閉環。一方面，對于相對固定范式的內容生產，實現了全自動化、多線程操作，大幅提升了效率；另一方面，通過引入AIGC輔助人工設計師創作，幫助設計師完成元素材創作，實現了AIGC優化拓展；最后，形成素材元素采拆解能力，實現了元素級別的數據洞察。
圖片
據介紹，起飛系統在集合了AIGC能力的同時，擁有獨立的原子能力。它支持基于LLM的文生文，包括短文案、長篇文。具備內容理解的AI混編能力和人臉融合優化效果，擁有預設風格與Prompt的繪畫能力。目前，起飛系統已經提供AI腳本生成、AI換臉、AI視頻混編、AI圖片混編、AI繪圖、短文案生成、長篇文生成等功能，并在持續更新中。
接下來，阮陳貴通過文生視頻、AI圖片混編、AI廣告文案詳細介紹了三大生成技術應用。
在文生視頻生成技術上，從劇本創作到拍攝分鏡，再到后期處理，整個流程中AIGC無處不在。不僅需要AI能夠對素材元素進行理解和標注，并能夠進行靈活的腳本結構設置，還要對語義識別進行打分推薦。最后，要具備強大的后期處理能力，以此幫助用戶從繁復的工作解放出來。
圖片
在分鏡推薦技術方面，可以實現實現基于LLM&向量數據庫的AI分鏡推薦能力。并且，可以充分利用ASR、OCR等基礎技術識別素材中的音頻與文字內容，輸入大語言模型進行標簽生成，與人工標記的標簽組合成視頻內容摘要，通過向量化模型進行Embedding。最后，語義檢索（Retrieval）輸出目標分鏡，加入視頻混編流程。
圖片
據介紹，起飛系統已經實現了1分鐘50+視頻產出、50%以上素材占比、ROI>2。阮陳貴表示，從研發到上線，我們就把所有成本都進行了核算。目前，在底層邏輯不變的情況下，一分鐘能夠生產50個視頻。當然，這也要看資源投入量，如果堆加CPU或GPU，還能夠生成更多視頻。
在接下來的時間里，阮陳貴詳細分享了AI圖片混編、AI廣告文案的生成技術應用，這里不再過多介紹。
談及未來的挑戰與規劃，阮陳貴表示，目前趣丸科技已經做到了元數據的素材洞察。未來，趣丸科技將重點探索所有數據與投放平臺整體數據之間的聯動，希望在優化師提出需求時，讓系統清晰地告訴他們這個需求應該用什么數據、用哪些片段、用哪幾幀，甚至用哪幾秒，讓廣告位投放達到最優標準。
嘉賓介紹
阮陳貴曾就職于騰訊音樂娛樂集團，從事音樂類社交軟件后端服務研發。目前是趣丸科技廣告平臺技術負責人，負責程序化在線廣告投放系統架構設計及AIGC在廣告創意素材應用落地。2023年，阮陳貴主導項目“多模態AI數據應用一站式管理平臺”，在中國信息通信研究院舉辦的關于“Data-centric AI以數據為中心的人工智能應用案例”征集活動中被評為“優秀案例”。此外，阮陳貴在音頻處理、社交應用及廣告策略系統方面擁有8項發明專利。
