阿里創新知識蒸餾方法，論文入選頂會CVPR 2022口頭報告
6月23日消息，阿里巴巴達摩院自動駕駛實驗室創新知識蒸餾方法，在多個計算機視覺基準測試中，顯著提升算法性能，超越業界最優方法。相關論文已被頂會CVPR 2022收錄為口頭報告（Oral）。該技術集成于達摩院自動駕駛算法庫，未來有望應用于末端物流無人車“小蠻驢”和自動駕駛卡車“大蠻驢”。
知識蒸餾是一種模型壓縮/模型訓練方法，指將訓練好的大模型（教師模型）的知識“蒸餾”提取到有待訓練的小模型（學生模型）中，讓小模型獲得與大模型相當的泛化能力。大模型往往體積較大、部署成本高，小模型靈活小巧，能夠最大限度降低對計算資源的消耗。
CVPR 2022官網的論文分享
知識蒸餾是業界和學界的熱門研究課題。達摩院論文Knowledge Distillation via the Target-aware Transformer指出，以往的知識蒸餾方法，大多以一對一的空間匹配方式，將教師模型的特征提取到學生模型。但由于結構差異，大小模型在同一空間位置上的語義信息通常是不同的，這極大削弱了一對一蒸餾方法的基本假設。
論文提出一種新的基于transformer的一對多空間匹配方法，將教師模型特征的每個像素提取到學生模型特征的所有空間位置，通過參數相關性來衡量以學生特征和教師特征的表征成分為條件的語義距離，并對這種相關性進行建模。
在ImageNet、Pascal VOC和COCOS-tuff10k等基準測試中，新方法表現出色。如，針對ImageNet數據集的圖像分類任務，基于同一個學生模型（tiny ResNet18），新方法將模型的top-1準確率從70.04%提高到72.41%，顯著高于之前最優蒸餾方法的71.61%。；針對COCO-Stuff10k上的語義分割任務，新方法將mobilenetv2結構的mIoU提高1.75%。
達摩院研發的物流無人車小蠻驢現已配送訂單超過1000萬
知識蒸餾方法廣泛應用于知識遷移、半監督學習、計算機視覺等下游算法。自動駕駛技術團隊更關注其對線上模型性能的提升，讓小模型也能起大作用，論文作者于開丞介紹，“自動駕駛是個超級AI系統，每天都要處理海量的圖像、點云信息，算法性能關系到終端產品的智能性、安全性、可靠性，可以說，是工業實踐推動著技術創新。”
據悉，達摩院研發的L4級自動駕駛產品小蠻驢現已落地超過500輛，在學校、社區等末端場景配送訂單超過1000萬。達摩院已啟動面向干線物流的無人卡車“大蠻驢”的研發。
