導(dǎo)讀

本文從抖音集團(tuán)內(nèi)部畫(huà)質(zhì)評(píng)估體系的建設(shè)歷程著筆，主要分享了畫(huà)質(zhì)評(píng)測(cè)對(duì)于業(yè)務(wù)的重要性、主要應(yīng)用場(chǎng)景和內(nèi)部產(chǎn)品的一些典型實(shí)踐案例。通過(guò)分享業(yè)務(wù)視角遇到的一些問(wèn)題和我們的解決思路，希望能拋磚引玉，為遇到類(lèi)似困擾的伙伴們提供有價(jià)值的參考。

畫(huà)質(zhì)評(píng)估體系建設(shè)歷程

為何評(píng)測(cè)畫(huà)質(zhì)如此重要？

我們通過(guò)線上業(yè)務(wù)大量實(shí)驗(yàn)發(fā)現(xiàn)，圖片畫(huà)質(zhì)優(yōu)劣對(duì)點(diǎn)擊率、 停留時(shí)長(zhǎng)等消費(fèi)類(lèi)指標(biāo)有正相關(guān)影響，間接影響用戶收益指標(biāo)。因此，建設(shè)一套行之有效的畫(huà)質(zhì)評(píng)估體系，保障用戶的畫(huà)質(zhì)體驗(yàn)是非常有必要性的。

直觀來(lái)講，畫(huà)質(zhì)提升能夠?yàn)閹?lái)更好的觀感體驗(yàn)，但QoE綜合體驗(yàn)也需要考慮其他方面如用戶設(shè)備、網(wǎng)絡(luò)狀況、觀看環(huán)境等多方面因素，不計(jì)成本地提升畫(huà)質(zhì)是否能持續(xù)為用戶帶來(lái)QoE的收益需要在業(yè)務(wù)場(chǎng)景中通過(guò)嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)方案來(lái)驗(yàn)證效果的。

在低質(zhì)圖像打壓和基于畫(huà)質(zhì)的推薦優(yōu)化等多項(xiàng)業(yè)務(wù)中的數(shù)據(jù)分析積累沉淀，我們獲取畫(huà)質(zhì)評(píng)分與用戶主觀體驗(yàn)之間的明確關(guān)系，數(shù)據(jù)統(tǒng)計(jì)顯示用戶對(duì)不同畫(huà)質(zhì)內(nèi)容的敏感程度有著不同趨勢(shì)，在中檔畫(huà)質(zhì)分區(qū)間持續(xù)提升畫(huà)質(zhì)，用戶的QoE體驗(yàn)也會(huì)顯著提升，但當(dāng)畫(huà)質(zhì)低于或者高于某個(gè)閾值時(shí)，用戶對(duì)于畫(huà)質(zhì)將變得不再敏感，提升/降低畫(huà)質(zhì)對(duì)用戶的影響均會(huì)降低。

期望中的畫(huà)質(zhì)甜點(diǎn)關(guān)系，中段區(qū)間的畫(huà)質(zhì)提升會(huì)持續(xù)帶來(lái)QoE收益

實(shí)際業(yè)務(wù)場(chǎng)景中，分析畫(huà)質(zhì)與用戶平均觀看時(shí)長(zhǎng)的關(guān)系，中高畫(huà)質(zhì)可以帶來(lái)持續(xù)的看播收益

下圖具體描述了兩類(lèi)典型應(yīng)用場(chǎng)景下，畫(huà)質(zhì)評(píng)估體系在業(yè)務(wù)實(shí)踐中發(fā)揮的主要價(jià)值：

我們?yōu)楹巫匝挟?huà)質(zhì)評(píng)估體系？

圖像服務(wù)的最終用戶是人類(lèi)，圖像質(zhì)量評(píng)價(jià)致力于成為可衡量圖像的人眼感知質(zhì)量需求的客觀計(jì)算方法。

行業(yè)現(xiàn)狀

• 主觀質(zhì)量評(píng)估：最準(zhǔn)確，但費(fèi)時(shí)費(fèi)力費(fèi)錢(qián)，難以批量應(yīng)用。例如專家評(píng)測(cè)、眾包測(cè)試等。
• 客觀評(píng)估算法：省時(shí)省力可大規(guī)模應(yīng)用，但無(wú)論全參/無(wú)參考算法與主觀評(píng)測(cè)均存在一定GAP，在UGC場(chǎng)景，差距會(huì)更加明顯。

業(yè)界常用的有參畫(huà)質(zhì)評(píng)估算法，主要包括PSNR、SSIM、VMAF等3種：

痛點(diǎn)

• 難以量化畫(huà)質(zhì)增強(qiáng)效果：行業(yè)通用指標(biāo)（ PSNR、SSIM、VMAF等）均為有參考畫(huà)質(zhì)指標(biāo)， 主要適用于壓縮失真的畫(huà)質(zhì)評(píng)估，難以量化評(píng)估畫(huà)質(zhì)增強(qiáng)效果。
• 不適合 UGC 場(chǎng)景的評(píng)分：行業(yè)通用指標(biāo)適用場(chǎng)景存在一定局限性，其訓(xùn)練數(shù)據(jù)集主要為PGC內(nèi)容，在UGC場(chǎng)景的泛化效果較差。
• 評(píng)估維度有限：UGC場(chǎng)景下，圖片內(nèi)容復(fù)雜且畫(huà)質(zhì)影響因素多樣，需要更多維度評(píng)估指標(biāo)用于畫(huà)質(zhì)分析和指導(dǎo)優(yōu)化。

我們?nèi)绾谓ㄔO(shè)畫(huà)質(zhì)評(píng)估體系？

根據(jù)點(diǎn)播、直播和圖片等不同形態(tài)業(yè)務(wù)需求，視頻架構(gòu)多媒體實(shí)驗(yàn)室自研的VQScore 畫(huà)質(zhì)體系提供配套最優(yōu)的全鏈路畫(huà)質(zhì)打分能力，提供異步或?qū)崟r(shí)畫(huà)質(zhì)打分?jǐn)?shù)據(jù)，為后續(xù)轉(zhuǎn)碼、增強(qiáng)、推薦策略和大盤(pán)監(jiān)控提供能力支持。

具體畫(huà)質(zhì)分析打分能力分為兩個(gè)部分：

1. 內(nèi)容分析理解：主要包含ROI檢測(cè)、CG內(nèi)容檢測(cè)、人臉檢測(cè)、內(nèi)容分類(lèi)等基礎(chǔ)分類(lèi)和檢測(cè)的能力，為后續(xù)畫(huà)質(zhì)打分和增強(qiáng)轉(zhuǎn)碼提供細(xì)分的維度拆解能力和關(guān)鍵內(nèi)容識(shí)別能力，實(shí)現(xiàn)精細(xì)準(zhǔn)確的端到端自適應(yīng)增強(qiáng)轉(zhuǎn)碼組合能力
2. 畫(huà)質(zhì)打分能力：主要包含通用清晰度打分算法、美學(xué)指標(biāo)、高階色彩指標(biāo)、人像畫(huà)質(zhì)等評(píng)估指標(biāo)，噪聲、塊效應(yīng)、過(guò)曝、臟鏡頭、模糊和偽高清等細(xì)分歸因指標(biāo)，以及超分質(zhì)量、銳化質(zhì)量和增強(qiáng)組合評(píng)估等前處理畫(huà)質(zhì)提升能力評(píng)估指標(biāo)，通用+歸因+增強(qiáng)多個(gè)維度組合，為不同的業(yè)務(wù)場(chǎng)景的畫(huà)質(zhì)優(yōu)化需求提供集監(jiān)控、分析、策略推薦等全方位畫(huà)質(zhì)打分能力

通用的畫(huà)質(zhì)清晰度評(píng)估算法基于多樣化多業(yè)務(wù)場(chǎng)景主觀標(biāo)注樣本、開(kāi)源數(shù)據(jù)集和多樣化失真合成數(shù)據(jù)集，驅(qū)動(dòng)的輕量transformer-based深度學(xué)習(xí)的方案，在UGC視頻/圖像場(chǎng)景提供更穩(wěn)定準(zhǔn)確的客觀清晰度預(yù)測(cè)能力。

在多種業(yè)務(wù)場(chǎng)景下，根據(jù)點(diǎn)播、直播和圖片不同形態(tài)業(yè)務(wù)需求，支持最高4K分辨率內(nèi)不同投稿內(nèi)容的源畫(huà)質(zhì)分析，結(jié)合業(yè)務(wù)屬性維度提供深入細(xì)化的畫(huà)質(zhì)維度分析，為自適應(yīng)轉(zhuǎn)碼提供編碼優(yōu)化對(duì)比和不同時(shí)間尺度的畫(huà)質(zhì)監(jiān)控，為AB實(shí)驗(yàn)和版本迭代等業(yè)務(wù)流程提供有效的QoE維度數(shù)據(jù)，同時(shí)也可以為多分辨率/碼率檔位播放下發(fā)提供畫(huà)質(zhì)與QoS網(wǎng)絡(luò)、設(shè)備等因素組合組合的自適應(yīng)播放分發(fā)優(yōu)化能力。

抖音畫(huà)質(zhì)評(píng)估體系有哪些優(yōu)勢(shì)？

適用范圍廣泛

• 高質(zhì)量且規(guī)模龐大的訓(xùn)練數(shù)據(jù)集，覆蓋PGC和UGC內(nèi)容，適用范圍廣泛（特別針對(duì)UGC場(chǎng)景）。
• 算法模型歷經(jīng)億級(jí)DAU產(chǎn)品持續(xù)打磨優(yōu)化，泛化能力強(qiáng)。

評(píng)估維度多元

包含主觀清晰度、大眾美學(xué)質(zhì)量等2類(lèi)綜合指標(biāo)和噪聲、亮度等十余類(lèi)細(xì)分指標(biāo)，支持更多維度、更細(xì)粒度地分析畫(huà)質(zhì)問(wèn)題，便于業(yè)務(wù)有針對(duì)性地進(jìn)行優(yōu)化和調(diào)整策略。

多業(yè)務(wù)線上驗(yàn)證收益顯著

歷經(jīng)抖音、頭條、番茄小說(shuō)等數(shù)十個(gè)大體量業(yè)務(wù)線上驗(yàn)證，評(píng)估效果可靠，能有效支持業(yè)務(wù)進(jìn)行畫(huà)質(zhì)體驗(yàn)提升，進(jìn)而帶來(lái)用戶消費(fèi)指標(biāo)提升，收益顯著。

算法能力業(yè)內(nèi)領(lǐng)先

畫(huà)質(zhì)評(píng)估體系涉及的算法模型已申請(qǐng)多項(xiàng)專利。eg. 一種檢測(cè)偽高清視頻的方法，一種基于多任務(wù)孿生神經(jīng)網(wǎng)絡(luò)的高階視頻色彩質(zhì)量評(píng)價(jià)模型，一種三明治視頻自適應(yīng)播放方法等。

在ICME 2021的「壓縮UGC視頻質(zhì)量評(píng)估」比賽中，火山引擎-多媒體實(shí)驗(yàn)室憑借自研的VQScore算法斬獲無(wú)參考視頻質(zhì)量評(píng)價(jià)（NR-VQA）MOS賽道第一名。（詳細(xì)介紹）

該比賽主要針對(duì) UGC 源視頻畫(huà)質(zhì)和 H.264/AVC 壓縮失真對(duì)視頻主觀畫(huà)質(zhì)的影響的研究

畫(huà)質(zhì)評(píng)估主要應(yīng)用在哪些場(chǎng)景？

以瘦身計(jì)劃和體重秤之間的關(guān)系做個(gè)簡(jiǎn)單類(lèi)比，畫(huà)質(zhì)評(píng)估體系作為一套相對(duì)客觀且行之有效的評(píng)測(cè)工具，在幫助產(chǎn)品了解業(yè)務(wù)畫(huà)質(zhì)現(xiàn)狀、了解行業(yè)和市場(chǎng)現(xiàn)狀、監(jiān)測(cè)線上畫(huà)質(zhì)變化和支持提升用戶體驗(yàn)等方面都有非常廣泛的應(yīng)用。

1. 了解業(yè)務(wù)畫(huà)質(zhì)現(xiàn)狀

業(yè)務(wù)團(tuán)隊(duì)可以借助veImageX提供的畫(huà)質(zhì)評(píng)估工具，通過(guò)離線測(cè)評(píng)和在線評(píng)估等手段高效完成業(yè)務(wù)產(chǎn)品的畫(huà)質(zhì)摸底；同時(shí)，畫(huà)質(zhì)評(píng)估體系包含豐富的評(píng)測(cè)維度（例如噪聲強(qiáng)度、色彩質(zhì)量、塊效應(yīng)檢測(cè)、過(guò)曝光檢測(cè)等），數(shù)十項(xiàng)細(xì)分評(píng)測(cè)指標(biāo)可高效幫助業(yè)務(wù)團(tuán)隊(duì)完成低質(zhì)圖像歸因分析，快速鎖定問(wèn)題所在。

2. 了解行業(yè)/市場(chǎng)現(xiàn)狀

借助畫(huà)質(zhì)評(píng)估工具，可以幫助業(yè)務(wù)團(tuán)隊(duì)對(duì)市場(chǎng)主流產(chǎn)品或同類(lèi)業(yè)務(wù)進(jìn)行畫(huà)質(zhì)評(píng)測(cè)，以便制定合理的畫(huà)質(zhì)提升目標(biāo)；同時(shí)，綜合用戶主觀評(píng)測(cè)和客觀指標(biāo)的對(duì)應(yīng)關(guān)系，高效幫助業(yè)務(wù)團(tuán)隊(duì)確定適合自身業(yè)務(wù)的畫(huà)質(zhì)評(píng)估標(biāo)準(zhǔn)。

3. 監(jiān)測(cè)線上畫(huà)質(zhì)變化

對(duì)于一款關(guān)注用戶畫(huà)質(zhì)體驗(yàn)的產(chǎn)品來(lái)說(shuō)，線上畫(huà)質(zhì)監(jiān)測(cè)工具必不可少。而veImageX提供端到端的畫(huà)質(zhì)指標(biāo)監(jiān)測(cè)工具，可幫助業(yè)務(wù)團(tuán)隊(duì)長(zhǎng)期高效監(jiān)測(cè)線上畫(huà)質(zhì)變化；通過(guò)前后數(shù)據(jù)對(duì)比分析，幫助業(yè)務(wù)有效驗(yàn)證畫(huà)質(zhì)優(yōu)化舉措的效果；同時(shí)，線上低質(zhì)問(wèn)題告警也可幫助業(yè)務(wù)團(tuán)隊(duì)及時(shí)發(fā)現(xiàn)問(wèn)題，保障線上用戶瀏覽體驗(yàn)。

4. 支持提升用戶體驗(yàn)

借助畫(huà)質(zhì)評(píng)估體系提供的評(píng)測(cè)結(jié)果，業(yè)務(wù)團(tuán)隊(duì)可以通過(guò)對(duì)低質(zhì)圖片進(jìn)行搜索/推薦降權(quán)等方式打壓低質(zhì)內(nèi)容，或借助畫(huà)質(zhì)增強(qiáng)能力提升畫(huà)質(zhì)，有效提升用戶的瀏覽體驗(yàn)，進(jìn)而帶來(lái)點(diǎn)擊率、人均閱讀/消費(fèi)時(shí)長(zhǎng)、用戶留存等業(yè)務(wù)指標(biāo)正向提升。

典型案例實(shí)踐分享

目前，由火山引擎veImageX提供的畫(huà)質(zhì)評(píng)估工具已服務(wù)于抖音、頭條、西瓜、番茄小說(shuō)、懂球帝等數(shù)十條業(yè)務(wù)線，在保障用戶的畫(huà)質(zhì)體驗(yàn)方面發(fā)揮著重要作用。接下來(lái)，我們選取了幾個(gè)典型案例為大家簡(jiǎn)要分享我們的實(shí)踐經(jīng)驗(yàn)。

某短視頻/社區(qū)平臺(tái)

需求背景

某短視頻/社區(qū)平臺(tái)是主要用戶分布在多個(gè)國(guó)家和地區(qū)，發(fā)布內(nèi)容覆蓋多個(gè)細(xì)分垂類(lèi)。業(yè)務(wù)團(tuán)隊(duì)收到部分用戶反饋關(guān)注到不同國(guó)家和內(nèi)容垂類(lèi)間的畫(huà)質(zhì)存在一定差異，影響了用戶的瀏覽體驗(yàn)，從而設(shè)立專項(xiàng)進(jìn)行問(wèn)題解決。

實(shí)踐方案

業(yè)務(wù)團(tuán)隊(duì)首先使用畫(huà)質(zhì)評(píng)估工具對(duì)全地區(qū)的圖片畫(huà)質(zhì)進(jìn)行了離線摸底分析，發(fā)現(xiàn)部分國(guó)家間、某些重點(diǎn)垂類(lèi)間的圖片畫(huà)質(zhì)有較大差異，故使用自適應(yīng)增強(qiáng)模型，針對(duì)性進(jìn)行畫(huà)質(zhì)提升的同時(shí)盡可能節(jié)省碼率。

整體收益

優(yōu)化后，該平臺(tái)各地區(qū)間、重點(diǎn)垂類(lèi)間的畫(huà)質(zhì)基本拉齊且均達(dá)到【良好】及以上水平，圖片大小顯著降低，人均停留時(shí)長(zhǎng)、人均互動(dòng)、人均閱讀時(shí)長(zhǎng)、人均session次數(shù)等消費(fèi)指標(biāo)均顯著正向。

番茄小說(shuō)

1. 需求背景

相比于網(wǎng)文，漫畫(huà)的書(shū)封更加精美，信息量也更多，因此在產(chǎn)品形態(tài)上，番茄小說(shuō)頻道采用了大屏的展現(xiàn)形式。然而，在漫畫(huà)功能上線后，業(yè)務(wù)團(tuán)隊(duì)發(fā)現(xiàn)，有部分漫畫(huà)的原始書(shū)封比較模糊，嚴(yán)重影響用戶瀏覽體驗(yàn)。如下圖所示：

為了提升這部分圖片的畫(huà)質(zhì)，業(yè)務(wù)團(tuán)隊(duì)想到了通過(guò)畫(huà)質(zhì)評(píng)估篩查低質(zhì)圖片，使用畫(huà)質(zhì)增強(qiáng)能力搭建自動(dòng)化處理流程，針對(duì)性處理低質(zhì)圖片，得到高清圖，以提升整體觀感。

2. 實(shí)踐方案

業(yè)務(wù)團(tuán)隊(duì)使用veImageX畫(huà)質(zhì)評(píng)估工具，針對(duì)出版物（如小說(shuō)封面、插圖、電子書(shū)書(shū)封、有聲播放器封面等） 和漫畫(huà)（漫畫(huà)封面、橫圖等） 等場(chǎng)景進(jìn)行離線畫(huà)質(zhì)測(cè)評(píng)，對(duì)不同分辨率圖片進(jìn)行畫(huà)質(zhì)摸底。根據(jù)對(duì)低質(zhì)原因的分析和增強(qiáng)算法對(duì)主觀畫(huà)質(zhì)提升的收益大小綜合評(píng)估，明確差異化的處理方案。最終業(yè)務(wù)團(tuán)隊(duì)選擇搭建自動(dòng)化處理流程，根據(jù)評(píng)估結(jié)果對(duì)不同畫(huà)質(zhì)等級(jí)的圖片進(jìn)行如自適應(yīng)增強(qiáng)、超分等優(yōu)化處理，針對(duì)性提升用戶的畫(huà)質(zhì)瀏覽體驗(yàn)。

低質(zhì)圖片優(yōu)化前后對(duì)比如下：

3. 整體收益

番茄小說(shuō)團(tuán)隊(duì)借助veImageX畫(huà)質(zhì)評(píng)估和畫(huà)質(zhì)增強(qiáng)能力，有的放矢的提升畫(huà)質(zhì)，有效提升了用戶畫(huà)質(zhì)體驗(yàn)和點(diǎn)擊率、人均閱讀/消費(fèi)時(shí)長(zhǎng)、留存等用戶消費(fèi)指標(biāo)。

今日頭條

需求背景

頭條小視頻頻道主要以雙列展示為主，而雙列流頻道展現(xiàn)形式又以封面圖為主。綜合線上實(shí)驗(yàn)結(jié)果和實(shí)踐經(jīng)驗(yàn)發(fā)現(xiàn)，封面圖的畫(huà)質(zhì)質(zhì)量不僅會(huì)影響用戶瀏覽體驗(yàn)，也會(huì)影響點(diǎn)擊轉(zhuǎn)化率和用戶留存等業(yè)務(wù)指標(biāo)，如何有效識(shí)別封面模糊的內(nèi)容并進(jìn)行打壓調(diào)控成為一項(xiàng)較為棘手的工作。

實(shí)踐方案

借助畫(huà)質(zhì)評(píng)估工具，業(yè)務(wù)團(tuán)隊(duì)對(duì)封面圖進(jìn)行畫(huà)質(zhì)打分，高效識(shí)別出低質(zhì)封面（blockiness≥ X且vqscore< Y）并實(shí)行打壓調(diào)控策略；同時(shí)將vqscore納入推薦模型的參考指標(biāo)，給優(yōu)質(zhì)內(nèi)容提供更多優(yōu)先曝光機(jī)會(huì)。

整體收益

業(yè)務(wù)團(tuán)隊(duì)通過(guò)對(duì)低質(zhì)封面圖進(jìn)行打壓調(diào)控，人工評(píng)估封面優(yōu)質(zhì)率提升約3倍，封面低質(zhì)率降低了約36.7% ，模糊封面圖占比降低了約51.4% ，人均閱讀數(shù)、 停留時(shí)長(zhǎng) 、點(diǎn)擊轉(zhuǎn)化率等業(yè)務(wù)指標(biāo)也得到顯著提升。（數(shù)據(jù)來(lái)自業(yè)務(wù)AB實(shí)驗(yàn)）

幸福里VR

需求背景

幸福里房產(chǎn)VR能力在建設(shè)初期，因素材供給來(lái)源多樣且渠道紛雜，質(zhì)量良莠不齊，頻繁收到線上用戶反饋；圖像質(zhì)量把控主要依靠人工審核、定期抽檢和線上反饋，不僅耗費(fèi)人力且評(píng)估主觀，對(duì)全景圖缺乏有區(qū)分度的數(shù)據(jù)指標(biāo)量化衡量圖像質(zhì)量和行業(yè)領(lǐng)先水平的差距，導(dǎo)致業(yè)務(wù)團(tuán)隊(duì)難以高效定位畫(huà)質(zhì)問(wèn)題并針對(duì)性的改善和評(píng)估優(yōu)化效果。

實(shí)踐方案

通過(guò)對(duì)線上樣本數(shù)據(jù)進(jìn)行離線畫(huà)質(zhì)摸底并綜合算法專家建議，業(yè)務(wù)團(tuán)隊(duì)最終選定清晰度 （ VQScore ）、噪聲（Noise）、亮度（Brightness）、過(guò)曝光（Overexporsure） 等四項(xiàng)指標(biāo)作為全景圖量化評(píng)估指標(biāo)。評(píng)估發(fā)現(xiàn)精裝 、 簡(jiǎn)裝 、毛坯等三種裝修類(lèi)型存在顯著畫(huà)質(zhì)差異，關(guān)鍵差異與環(huán)境光線、燈光照明等因素有較高關(guān)聯(lián)，業(yè)務(wù)團(tuán)隊(duì)針對(duì)性進(jìn)行迭代優(yōu)化并監(jiān)測(cè)畫(huà)質(zhì)指標(biāo)變化，顯著提升了VR看房效果。

整體收益

業(yè)務(wù)團(tuán)隊(duì)通過(guò)畫(huà)質(zhì)評(píng)估工具，定位具體的畫(huà)質(zhì)問(wèn)題，針對(duì)性進(jìn)行迭代優(yōu)化以縮小和行業(yè)領(lǐng)先水平的差距；同時(shí)借助veImgaeX 提供的VR畫(huà)質(zhì)增強(qiáng)能力，顯著提升全景圖畫(huà)質(zhì)，階段性實(shí)現(xiàn)用戶0客訴，彌補(bǔ)了前端采集設(shè)備質(zhì)量參差等問(wèn)題。

寫(xiě)在最后

本文簡(jiǎn)要介紹了抖音集團(tuán)內(nèi)部對(duì)畫(huà)質(zhì)評(píng)估體系的業(yè)務(wù)思考、建設(shè)歷程、應(yīng)用場(chǎng)景和部分實(shí)踐經(jīng)驗(yàn)。由于篇幅所限，本文對(duì)探索歷程、具體實(shí)現(xiàn)等細(xì)節(jié)內(nèi)容有所省略，但仍希望能給業(yè)內(nèi)同仁們一點(diǎn)啟發(fā)或者參考借鑒。