大型語言模型（LLMs）如GPT-4等，已經(jīng)在多個領(lǐng)域展示了其強(qiáng)大的能力，能夠通過對話幫助人們完成各種任務(wù)。然而，這些模型在需要語音輸入或輸出的場景中仍面臨顯著的限制。盡管最近的技術(shù)進(jìn)展，如GPT-4o，提升了語音交互的響應(yīng)速度，但依然存在延遲和質(zhì)量方面的挑戰(zhàn)。如何實(shí)現(xiàn)低延遲且高質(zhì)量的語音交互，成為開源社區(qū)亟待解決的問題。

01、概述 

為了實(shí)現(xiàn)與LLMs的語音交互，研究者們嘗試了多種方法，每種方法都有其局限性。最常見的做法是將自動語音識別（ASR）和文本到語音（TTS）模型串聯(lián)使用，但這種方法由于逐步處理轉(zhuǎn)錄文本、生成文本響應(yīng)和語音響應(yīng)，往往導(dǎo)致較高的延遲。為了改進(jìn)這一點(diǎn)，一些研究提出了多模態(tài)語音-語言模型，嘗試將語音離散化為標(biāo)記，并擴(kuò)展LLM詞匯表以支持語音輸入和輸出。雖然理論上這些模型能夠?qū)崿F(xiàn)低延遲的語音到語音生成，但實(shí)際上仍需生成中間文本以保持高質(zhì)量，從而犧牲了一部分響應(yīng)速度。

此外，還有嘗試通過在語義或聲學(xué)標(biāo)記上訓(xùn)練語言模型，或?qū)⒄Z音編碼器添加到LLMs中，以提高語音理解能力。然而，這些方法通常需要大量的數(shù)據(jù)和計(jì)算資源，或者只專注于語音理解，而忽視了生成能力。

02、LLaMA-Omni的突破性創(chuàng)新 

為了突破這些限制，中國科學(xué)院大學(xué)的研究團(tuán)隊(duì)推出了一種名為LLaMA-Omni的全新模型架構(gòu)。LLaMA-Omni的設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)與LLMs的低延遲和高質(zhì)量的語音交互。其創(chuàng)新之處在于集成了語音編碼器、語音適配器、LLM和流式語音解碼器，能夠?qū)崿F(xiàn)無縫的語音到語音通信。具體來說，該模型通過直接處理語音輸入繞過了中間文本轉(zhuǎn)錄的步驟，顯著減少了響應(yīng)延遲。

LLaMA-Omni的架構(gòu)主要包括四個部分：語音編碼器、語音適配器、LLM和語音解碼器。語音編碼器基于Whisper-large-v3，從用戶的語音輸入中提取有意義的表示。接著，這些表示經(jīng)過語音適配器處理，通過下采樣和兩層感知器映射到LLM的嵌入空間。LLM則基于Llama-3.1-8B-Instruct直接從語音指令生成文本響應(yīng)。而語音解碼器，一個非自回歸流式Transformer，利用連接時序分類（CTC）預(yù)測與語音響應(yīng)相對應(yīng)的離散單元，實(shí)現(xiàn)了文本和語音的同步生成。

03、LLaMA-Omni的訓(xùn)練與評估

LLaMA-Omni采用了兩階段的訓(xùn)練策略。第一階段關(guān)注從語音指令生成文本響應(yīng)，第二階段則專注于生成語音響應(yīng)。在推理過程中，LLaMA-Omni能夠同時生成文本和語音響應(yīng)，語音解碼器在LLM生成文本的同時實(shí)時轉(zhuǎn)換為語音波形。這種方法實(shí)現(xiàn)了極低延遲的語音交互，使得用戶在文本完全生成之前即可聽到響應(yīng)。

為了支持LLaMA-Omni的開發(fā)和評估，研究人員創(chuàng)建了InstructS2S-200K數(shù)據(jù)集。該數(shù)據(jù)集包含200,000個語音指令、文本響應(yīng)和語音響應(yīng)的三元組。構(gòu)建過程包括使用Llama-3-70B-Instruct重寫文本指令以適應(yīng)語音，生成適合語音的簡潔響應(yīng)，并使用CosyVoice-300M-SFT和VITS進(jìn)行語音合成。該數(shù)據(jù)集結(jié)合了Alpaca的50,000條條目和UltraChat的150,000條條目，涵蓋了廣泛的主題，為LLaMA-Omni在語音交互任務(wù)上的訓(xùn)練提供了堅(jiān)實(shí)基礎(chǔ)。

04、未來展望 

LLaMA-Omni在InstructS2S-Eval基準(zhǔn)測試中的表現(xiàn)優(yōu)于之前的模型，特別是在語音到文本和語音到語音指令的內(nèi)容和風(fēng)格一致性上。模型在語音質(zhì)量和響應(yīng)延遲之間提供了良好的權(quán)衡，延遲低至226毫秒。與其他模型相比，LLaMA-Omni的文本和語音同時生成能力顯著提高了解碼速度。案例研究顯示，LLaMA-Omni能夠提供更簡潔、更詳細(xì)且更有幫助的響應(yīng)，特別適合語音交互場景。

總之，LLaMA-Omni作為一種創(chuàng)新的AI模型架構(gòu)，不僅在低延遲和高質(zhì)量的語音交互方面實(shí)現(xiàn)了突破，還通過創(chuàng)建專門的數(shù)據(jù)集和優(yōu)化訓(xùn)練過程，推動了基于LLMs的語音交互技術(shù)的發(fā)展。其卓越的性能和高效的訓(xùn)練過程，為未來的語音交互模型的快速開發(fā)奠定了基礎(chǔ)。

參考：

1. ??https://arxiv.org/abs/2409.06666??
2. ??https://github.com/ictnlp/LLaMA-Omni??

本文轉(zhuǎn)載自公眾號Halo咯咯  作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/LLMNcrcjsJ47MwsaKeXDLA??