無障礙出行更安全！字節跳動研究成果獲CVPR2022 AVA競賽冠軍
近日，CVPR2022各項競賽結果陸續公布， 字節跳動智能創作AI平臺「Byte-IC-AutoML」團隊在基于合成數據的實例分割挑戰賽（ Accessibility Vision and Autonomy Challenge ，下文簡稱AVA) 中，憑借自研的 Parallel Pre-trained Transformers (PPT) 框架脫穎而出，成為該比賽唯一賽道的冠軍。
論文地址：??https://arxiv.org/abs/2206.10845??
本屆AVA競賽由波士頓大學(Boston University)和卡耐基梅隆大學(Carnegie Mellon University)聯合舉辦。
競賽通過渲染引擎得到一個合成的實例分割數據集，其中包含與殘疾行人交互的自治系統的數據樣例。競賽目標是為無障礙相關人與物提供目標檢測和實例分割的基準和方法。
數據集可視化
競賽難點分析
- 領域泛化問題：本次比賽數據集均為渲染引擎合成的圖像, 數據 domain 和自然圖像存在顯著差異；
- 長尾/少樣本問題：數據存在長尾分布, 如 "拐杖" 和 "輪椅" 類別在數據集中更少, 分割效果也更差；
- 分割魯棒性問題：些類別的分割效果非常差, 實例分割 mAP 比目標檢測分割 mAP 低 30
技術方案詳解
Byte-IC-AutoML團隊提出了一個Parallel Pre-trained Transformers (PPT)框架來完成。框架主要由三個模塊組成：1）并行的大規模預訓練的Transformers；2）Balance Copy-Paste 數據增強；3）像素級別的非極大值抑制和模型融合；
并行大規模預訓練Transformers
最近很多的預訓練文章表明，大規模數據集預訓練的模型可以很好地泛化到不同的下游場景中。因此，團隊使用 COCO 和BigDetection 數據集先對模型進行預訓練，這可以較大程度地緩解自然數據和合成數據之間的領域偏差，以便可以在下游的合成數據場景中用較少的樣本快速訓練。在模型層面, 考慮到 Vision Transformers 沒有 CNN 的歸納偏置, 更能享受預訓練帶來的好處，團隊使用 UniFormer 和CBNetV2。UniFormer 統一了 convolution 和 self-attention，同時解決 local redundancy 和 global dependency 兩大問題，實現高效的特征學習。CBNetV2 架構串接多個相同的主干分組，這些主干通過復合連接來構建高性能檢測器。模型的主干特征提取器都是 Swin Transformer。多個大規模預訓練的 Transformers 通過并行的方式排列，輸出的結果進行集成學習輸出最終的結果。
不同方法在驗證數據集上的mAP
Balance Copy-Paste 數據增強
Copy-Paste技術通過隨機粘貼對象為實例分割模型提供了令人印象深刻的結果，尤其是對于長尾分布下的數據集。然而，這種方法均衡地增加了所有類別的樣本，并沒能從根本上緩解類別分布的長尾問題。因此，團隊提出了Balance Copy-Paste 數據增強方法。Balance Copy-Paste 根據類別的有效數量自適應地對類別進行采樣，提高了整體的樣本質量，緩解了樣本數少和長尾分布的問題, 最終大幅提升了模型在實例分割上的 mAP。
Balance Copy-Paste數據增強技術帶來的提升
像素級別的非極大值抑制和模型融合
驗證集上的模型融合消融實驗
測試集上的模型融合消融實驗
目前，城市和交通數據集更多的是通用場景, 只包含正常的交通工具和行人，數據集中缺乏關于殘疾人及行動不便的人, 以及其輔助設備的類別，利用當前已有數據集得到的檢測模型無法檢測出這些人與物體。
字節跳動Byte-IC-AutoML團隊的這項技術方案，對目前自動駕駛和街道場景理解有廣泛應用：經過這些合成數據得到的模型可以識別出“輪椅”，“在輪椅上的人”，“拄拐杖的人”等少見的類別，不但能更加精細地對人群/物體進行劃分, 而且不會錯判誤判導致場景理解錯誤。此外, 通過這種合成數據的方式, 可以構造出真實世界中比較少見類別的數據, 從而訓練更加通用, 更加完善的目標檢測模型。
智能創作是字節跳動的多媒體創新科技研究所和綜合型服務商。覆蓋了計算機視覺、圖形學、語音、拍攝編輯、特效、客戶端、AI平臺、服務端工程等技術領域，在部門內部實現了前沿算法-工程系統-產品全鏈路的閉環，旨在以多種形式向公司內部各業務線以及外部合作客戶提供業界最前沿的內容理解、內容創作、互動體驗與消費的能力和行業解決方案。團隊技術能力正通過火山引擎對外開放。
火山引擎是字節跳動旗下的云服務平臺，將字節跳動快速發展過程中積累的增長方法、技術能力和工具開放給外部企業，提供云基礎、視頻與內容分發、大數據、人工智能、開發與運維等服務，幫助企業在數字化升級中實現持續增長。
