聊聊實時通信中的AI降噪技術

作者：張貴生 2022-12-06 13:02:27

本篇文章將介紹如何基于深度學習做實時噪聲抑制，并落地于移動端和家親APP的過程。

Part 01 概述

在實時音視頻通信場景，麥克風采集用戶語音的同時會采集大量環境噪聲，傳統降噪算法僅對平穩噪聲（如電扇風聲、白噪聲、電路底噪等）有一定效果，對非平穩的瞬態噪聲（如餐廳嘈雜噪聲、地鐵環境噪聲、家庭廚房噪聲等）降噪效果較差，嚴重影響用戶的通話體驗。針對泛家庭、辦公等復雜場景中的上百種非平穩噪聲問題，融合通信系統部生態賦能團隊自主研發基于GRU模型的AI音頻降噪技術，并通過算法和工程優化，將降噪模型尺寸從2.4MB壓縮至82KB，運行內存降低約65%；計算復雜度從約186Mflops優化至42Mflops,運行效率提升77%；在現有的測試數據集中（實驗環境下），可有效分離人聲和噪聲，將通話語音質量Mos分（平均意見值）提升至4.25。

本篇文章將介紹我們團隊如何基于深度學習做實時噪聲抑制，并落地于移動端和家親APP的過程。全文將按照如下組織，介紹噪聲的分類，如何選擇算法去解決這些噪聲的問題；如何通過深度學習的方式去設計算法，訓練AI模型；最后會介紹目前AI降噪能達到什么樣效果和重點應用場景。

Part 02 噪聲分類和降噪算法選擇

實時音視頻的應用場景中，設備處于復雜的聲學環境，麥克風采集語音信號的同時還會采集大量噪聲，對實時音視頻質量來說是一個非常大的挑戰。噪聲的種類是多種多樣的。根據噪聲的數學統計特性可以將噪聲分為兩類：

平穩噪聲：噪聲的統計特性在比較長的時間里不會隨時間而變化，比如白噪聲、電風扇、空調、車內噪聲等；

非平穩噪聲：噪聲的統計特性隨時間在變化，如餐廳嘈雜噪聲、地鐵站、辦公室、家庭廚房等。

在實時音視頻應用中，通話易受到各類噪聲干擾從而影響體驗，因此實時音頻降噪已經成為實時音視頻中的一個重要功能。對于平穩的噪聲，比如空調出風口呼呼聲或者錄制設備的底噪，它不會隨著時間變化而產生較大變化，可以將其估計預測出來，通過簡單的減法的方式把它去掉，常見的有譜減法、維納濾波以及小波變換。對于非平穩噪聲，例如馬路上車子呼嘯而過的聲音、餐廳內餐盤的撞擊聲、家庭廚房內的鍋具的敲擊聲，都是隨機突發出現，是不可能通過估計預測的方式去解決的。傳統算法對于非平穩噪聲難以估計和消除，這也是我們采用深度學習算法的原因。

Part 03 深度學習降噪算法設計

為了提高音頻SDK對于各種噪聲場景的降噪能力，彌補傳統降噪算法的不足，我們研發了基于RNN的AI降噪模塊，結合傳統降噪技術和深度學習技術。重點針對家庭和辦公室使用場景的降噪處理，在噪聲數據集中加入大量的室內噪聲類型，諸如辦公室內的鍵盤敲擊、辦公桌與辦公用品拖拉的摩擦聲、座椅拖動、家庭中的廚房嘈雜聲、地板撞擊聲等等。

與此同時，為了在移動端的實時語音處理落地，該AI音頻降噪算法將計算開銷和庫的尺寸控制在一個非常低的量級。在計算開銷上，以48KHz為例，每幀語音的RNN網絡處理處理僅需約17.5Mflops，FFT和IFFT每幀語音需要約7.5Mflops，特征提取需要約12Mflops，總計約42Mflops，計算復雜度約和48KHz的Opus編解碼相當，在某品牌中端手機型號，統計RNN降噪模塊CPU占用約為4%。在音頻庫的尺寸上，開啟RNN降噪編譯后，音頻引擎庫的體積僅僅增加約108kB。

Part 04 網絡模型及處理流程

該模塊采用RNN 模型，原因是 RNN 相比其他學習模型（例如 CNN）攜帶時間信息，可以對時序信號進行建模，而不僅僅是單獨的音頻輸入和輸出幀。同時，模型采用門控循環單元（GRU，如圖1所示），實驗表明，GRU在語音降噪任務上的性能略好于LSTM，并且由于GRU的權值參數更少，可以節省計算資源。與簡單的循環單元相比，GRU有兩個額外的門。重置門控制狀態是否用于計算新狀態，而更新門控制狀態將根據新輸入改變的程度。這個更新門使GRU可以長時間記憶時序信息，這也是GRU比簡單的循環單元表現更好的原因。

圖 1 左側為簡單循環單元，右側為GRU

模型的結構如圖2所示。訓練后的模型會被嵌入到音視頻通信 SDK 中，通過讀取硬件設備的音頻流，對音頻流進行分幀處理并送入 AI 降噪預處理模塊中，預處理模塊會將對應的特征（Feature）計算出來，并輸出到訓練好的模型中，通過模型計算出對應的增益（Gain）值，使用增益值對信號進行調整，最終達到降噪的目的（如圖3所示）。