語音分離領(lǐng)域針對具有挑戰(zhàn)性的 “雞尾酒會問題”，隨著深度神經(jīng)網(wǎng)絡(luò) (DNN) 的發(fā)展，該領(lǐng)域取得了革命性的進(jìn)展。語音分離可以用于獨(dú)立應(yīng)用，在復(fù)雜的聲學(xué)環(huán)境中提高語音清晰度。此外，它還可以作為其他語音處理任務(wù)（如語音識別和說話人識別）的重要預(yù)處理方法。

為了應(yīng)對當(dāng)前的文獻(xiàn)綜述往往只關(guān)注特定的架構(gòu)設(shè)計或孤立的學(xué)習(xí)方法，導(dǎo)致對這個快速發(fā)展的領(lǐng)域的理解碎片化的現(xiàn)實情況，清華大學(xué)、青海大學(xué)、南京大學(xué)、南方科技大學(xué)、中國科學(xué)院大學(xué)、字節(jié)跳動的研究者們?nèi)嬲{(diào)研了該領(lǐng)域的發(fā)展和最前沿的研究方法，在深度學(xué)習(xí)方法、模型架構(gòu)、研究主題、評測指標(biāo)、數(shù)據(jù)集、工具平臺、模型效果比較、未來挑戰(zhàn)等多個維度，撰寫了一項統(tǒng)一、全面的綜述論文，對 200 余篇代表性論文進(jìn)行了系統(tǒng)歸納和分析。

表1 基于深度學(xué)習(xí)的語音分離最新調(diào)查與綜述的比較分析

• 論文鏈接：https://arxiv.org/abs/2508.10830
• Methods Search：https://cslikai.cn/Speech-Separation-Paper-Tutorial/
• Github鏈接：https://github.com/JusperLee/Speech-Separation-Paper-Tutorial

問題定義

作者們從語音分離領(lǐng)域的宏觀角度出發(fā)，根據(jù)混合說話人數(shù)量是否已知將已知人數(shù)分離和未知人數(shù)分離兩類。當(dāng)說話人數(shù)固定且已知時，網(wǎng)絡(luò)輸出固定個數(shù)的通道，可以通過深度聚類 (Deep Clustering) 或 Permutation Invariant Training（PIT，排列不變訓(xùn)練）等策略解決輸出順序不確定的 “排列歧義” 問題。對于未知人數(shù)的情況，模型需要動態(tài)決定輸出通道數(shù)并判斷何時結(jié)束分離。這帶來巨大挑戰(zhàn)：如說話人排列組合隨人數(shù)增加呈指數(shù)擴(kuò)展、需要在分離質(zhì)量與終止時機(jī)之間權(quán)衡避免欠分離或過分離等。為應(yīng)對這些問題，研究者提出了遞歸分離、動態(tài)網(wǎng)絡(luò)等框架來逐步提取不定數(shù)量的聲源。作者們從問題定義部分明確了語音分離任務(wù)的目標(biāo)和難點，為后續(xù)技術(shù)討論奠定了基礎(chǔ)。

圖 1 已知 / 未知聲源數(shù)量的語音分離概述。

學(xué)習(xí)范式

作者們分類總結(jié)了學(xué)習(xí)范式，比較了不同方法的適用場景和優(yōu)缺點，為讀者理解監(jiān)督與非監(jiān)督方法在語音分離中的權(quán)衡提供了清晰脈絡(luò)。重點對比了有監(jiān)督和無監(jiān)督（含自監(jiān)督）學(xué)習(xí)方法。有監(jiān)督學(xué)習(xí)利用配對的混合音頻及純凈源音頻進(jìn)行訓(xùn)練，是目前最成熟的范式。針對有監(jiān)督訓(xùn)練中不同源輸出無法一一對應(yīng)的標(biāo)簽置換問題，研究者提出了兩類經(jīng)典方案：

一是深度聚類方法（DPCL），通過神經(jīng)網(wǎng)絡(luò)將混合語音的時頻單元映射到高維嵌入空間，再將嵌入向量聚類以生成每個聲源的掩膜，從而避免直接輸出固定順序的源信號；

二是 Permutation Invariant Training（PIT）方法，在訓(xùn)練時對網(wǎng)絡(luò)輸出的來源標(biāo)簽進(jìn)行動態(tài)匹配，只保留誤差最小的排列來更新模型，從而使網(wǎng)絡(luò)學(xué)習(xí)到與輸出排列無關(guān)的分離能力。

圖 2 受監(jiān)督的語音分離工作流程。

無監(jiān)督學(xué)習(xí)則不依賴配對的干凈源參考，探索利用未標(biāo)注的混合語音直接訓(xùn)練分離模型。例如，MixIT（混合 - 分離訓(xùn)練）方法通過將兩段混合語音再混合作為輸入，讓模型輸出更多分量并設(shè)計損失函數(shù)僅依賴輸入混合物，實現(xiàn)無需純凈源標(biāo)簽的訓(xùn)練。這類方法以及基于生成模型的自監(jiān)督策略（如變分自編碼器 VAE 方法、擴(kuò)散模型等）為無法獲得干凈訓(xùn)練數(shù)據(jù)的場景提供了新思路。

模型架構(gòu)

模型架構(gòu)部分系統(tǒng)總結(jié)了語音分離模型的核心組成和演進(jìn)路線。典型架構(gòu)包含編碼器、分離網(wǎng)絡(luò)和解碼器。

圖 3 不同方案的發(fā)展脈絡(luò)

綜述按網(wǎng)絡(luò)類型歸納了主要的分離器架構(gòu)：

基于 RNN 的模型利用循環(huán)神經(jīng)網(wǎng)絡(luò)擅長捕獲語音信號中的長時依賴關(guān)系。早期很多方法在頻域用雙向 LSTM 生成掩膜；后來出現(xiàn)直接處理時域波形的端到端模型（如 TasNet 系列  ），避免了相位重建難題并提升效率。代表性的 Dual-Path RNN（雙路徑 RNN）通過劃分長序列為短塊并在塊內(nèi)和塊間雙路徑循環(huán)處理，高效建模長序列，被視為 RNN 架構(gòu)的里程碑。

基于 CNN 的模型利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的局部特征提取能力，適合直接對原始波形建模。Conv-TasNet 等時域卷積模型通過空洞卷積等技術(shù)兼顧短時細(xì)節(jié)和長程依賴，在無需頻域處理的情況下取得了優(yōu)異分離效果。基于自注意力的模型（Transformer 及其變種）引入了全局序列建模能力，在語音分離中用于捕獲長距離依賴并建模復(fù)雜場景下源間關(guān)系。

近年來出現(xiàn)的 SepFormer 等 Transformer 架構(gòu)進(jìn)一步刷新了分離性能。還有混合架構(gòu)將上述優(yōu)勢結(jié)合，例如將 CNN 的局部建模和 RNN/Transformer 的長程建模相融合，以兼顧不同尺度的信息。

除了分離網(wǎng)絡(luò)，綜述還討論了音頻重構(gòu)策略：一類是掩膜估計，即模型輸出每個源的時間頻率掩膜，乘以混合后再重建源信號；另一類是直接映射，即模型直接輸出各源的波形或特征表示。掩膜方法簡單直觀且易于結(jié)合頻域特征，而直接法避免誤差傳播，有望獲取更高保真度。

總體而言，本節(jié)脈絡(luò)清晰地展現(xiàn)了模型架構(gòu)從早期循環(huán)網(wǎng)絡(luò)到卷積、再到自注意力和混合模型的演進(jìn)，以及各種重構(gòu)方式的權(quán)衡，凸顯了架構(gòu)創(chuàng)新對性能提升的驅(qū)動作用。

評估指標(biāo)

評價語音分離效果需要科學(xué)全面的指標(biāo)體系，以便衡量模型性能、指導(dǎo)算法優(yōu)化并確保滿足實際應(yīng)用需求。該綜述將評估指標(biāo)分為主觀和客觀兩大類。綜述對比了各種指標(biāo)的優(yōu)劣：主觀評價貼近人耳體驗但難以大規(guī)模獲取，客觀指標(biāo)高效客觀但各自側(cè)重不同方面，需要結(jié)合使用。綜合運(yùn)用主客觀評價能夠更完整地刻畫語音分離系統(tǒng)的性能，為研究和應(yīng)用提供可靠依據(jù)。

表 2 不同評價指標(biāo)的對比

數(shù)據(jù)集

公開數(shù)據(jù)集為語音分離研究提供了標(biāo)準(zhǔn)測試，他們按照單通道和多通道對主流數(shù)據(jù)集進(jìn)行了總結(jié)。通過對數(shù)據(jù)集的梳理，研究者可以了解各數(shù)據(jù)集所覆蓋的場景和難度，有助于選擇合適的數(shù)據(jù)集來評估算法并發(fā)現(xiàn)當(dāng)前研究還未覆蓋的場景（例如更長時段對話、開放域噪聲環(huán)境等），從而指導(dǎo)未來數(shù)據(jù)收集和模型開發(fā)。

表 3 不同數(shù)據(jù)集的比較

實驗結(jié)果

他們匯總了不同模型在各標(biāo)準(zhǔn)數(shù)據(jù)集上的分離性能對比，勾勒出語音分離技術(shù)近年來的進(jìn)步軌跡。作者列舉了眾多具有代表性的模型在若干公開基準(zhǔn)上的評測結(jié)果，并通過圖表展示性能隨時間的提升趨勢。

例如，在經(jīng)典數(shù)據(jù)集 WSJ0-2mix 上，早期模型（如 DPCL、uPIT-BLSTM 等）能達(dá)到約 10 dB 的 SDR；隨后基于深度學(xué)習(xí)的端到端模型（如 Conv-TasNet）將性能推升到 12 dB 以上；最近兩三年的先進(jìn)架構(gòu)（如 SepFormer、DPRNN 系列、雙路 Transformer 等）更是將 SDR 提升到 20 dB 左右，接近定量評測所能達(dá)到的上限。這些結(jié)果直觀證明了架構(gòu)創(chuàng)新和訓(xùn)練范式改進(jìn)對分離效果的巨大推動作用。

不僅如此，綜述還比較了模型在不同數(shù)據(jù)集上的表現(xiàn)差異：例如在含噪聲混響的 WHAM! 和 WHAMR! 上，模型性能相對無噪條件下降明顯，說明噪聲魯棒性仍是挑戰(zhàn)；這種多維度的結(jié)果對比幫助讀者了解各類方法的優(yōu)勢和局限：有的模型在干凈近場語音下接近完美，但在遠(yuǎn)場或噪聲場景下性能下滑；有的方法擅長分離兩三人對話，但擴(kuò)展到更多說話人時代價巨大。通過統(tǒng)一的結(jié)果匯總與分析，作者提供了對當(dāng)前最先進(jìn)技術(shù)水平的客觀評估，并據(jù)此指出了亟待攻克的薄弱環(huán)節(jié)。

圖 4 語音分離模型在 WSJ0-2mix 上隨時間的變化表現(xiàn)

工具平臺

為了推動研究復(fù)現(xiàn)和應(yīng)用落地，綜述還介紹了當(dāng)前常用的開源工具和平臺，這些軟件庫為語音分離任務(wù)提供了便利的開發(fā)接口和訓(xùn)練框架。對比了各工具的功能側(cè)重點，例如有的注重學(xué)術(shù)研究易用性，有的側(cè)重工業(yè)優(yōu)化和實時性能，也指出了當(dāng)前工具鏈存在的局限，如對最新算法的支持仍需跟進(jìn)等。通過了解這些平臺，研發(fā)人員可以更高效地復(fù)現(xiàn)論文結(jié)果、搭建原型系統(tǒng)，加速從研究到應(yīng)用的轉(zhuǎn)化。

表 4 不同開源工具的對比

挑戰(zhàn)與探索

在對現(xiàn)狀全面總結(jié)的基礎(chǔ)上，深入討論了語音分離領(lǐng)域當(dāng)前存在的熱點難題和未來可能的探索方向。

首先，長時段音頻處理，在實際應(yīng)用中（如會議記錄、連續(xù)對話）需要處理數(shù)分鐘甚至更長的音頻，如何在保證分離連續(xù)性的同時控制模型復(fù)雜度和內(nèi)存開銷。

其次，移動端和嵌入式應(yīng)用要求分離模型具備較小的參數(shù)量和計算量，因此研究者正探索剪枝、量化、知識蒸餾以及新的高效架構(gòu)（如高效卷積、高效自注意力等）來減小模型體積，同時維持性能。

第三，因果（實時）語音分離也是熱點之一：實時通信和在線處理要求算法只能利用當(dāng)前及過去幀的信息，不能窺視未來，這對模型的延時、緩存機(jī)制提出嚴(yán)格要求。如何在嚴(yán)格的因果約束下仍然取得接近離線模型的分離效果。

第四，生成式方法的崛起為語音分離提供了新思路：包括生成對抗網(wǎng)絡(luò)（GAN）和擴(kuò)散模型在內(nèi)的新型生成模型開始用于語音分離，以期生成更逼真的語音并改善分離質(zhì)量，尤其在弱監(jiān)督或無監(jiān)督場景下展示出潛力。

第五，預(yù)訓(xùn)練技術(shù)正逐步引入本領(lǐng)域：借鑒 ASR 等領(lǐng)域的成功，大規(guī)模自監(jiān)督預(yù)訓(xùn)練（如 wav2vec 2.0 等）或基于音頻編碼器的預(yù)訓(xùn)練模型可以提供強(qiáng)大的通用特征，在低資源分離任務(wù)上顯著提升性能。未來可能出現(xiàn)專門針對語音分離預(yù)訓(xùn)練的模型或利用語音神經(jīng)編碼器壓縮感知混合信號的新范式。

第六，目標(biāo)說話人提取作為語音分離的變種也備受關(guān)注：即利用已知的目標(biāo)說話人特征（如說話人注冊音頻）從混合中提取該說話人的語音，相比盲分離加入了先驗信息，如何高效利用目標(biāo)說話人嵌入并與分離網(wǎng)絡(luò)融合是研究重點。最后，綜述強(qiáng)調(diào)了與其他任務(wù)的聯(lián)合建模趨勢：語音分離正日益與語音識別、說話人識別 / 分離、語音增強(qiáng)等任務(wù)結(jié)合，形成端到端的聯(lián)合優(yōu)化框架。