過去幾年間，大模型的飛速發(fā)展，不僅推動了生成式AI的進步，也為各行各業(yè)帶來了前所未有的變革。而大模型之所以能夠取得如此成就，核心在于Transformer架構(gòu)作為其支撐力量發(fā)揮了至關(guān)重要的作用。

具有哪些優(yōu)勢?

Transformer是一種廣泛應(yīng)用于自然語言處理(NLP)中的深度學(xué)習(xí)模型，通過引入注意力機制(Attention?Mechanism)，能夠高效地處理輸入信息，并在長序列中保持信息的流動。

據(jù)悉，Transformer于2017年在論文《Attention?is?All?You?Need》中首次引入，此后成為深度學(xué)習(xí)模型的首選架構(gòu)，為OpenAI的GPT、Meta的Llama和谷歌的Gemini等文本生成模型提供支持。除了文本，Transformer還應(yīng)用于音頻生成、圖像識別、蛋白質(zhì)結(jié)構(gòu)預(yù)測，甚至游戲等眾多領(lǐng)域，這主要歸功于幾個關(guān)鍵因素：

第一，長上下文

注意力機制可以將輸入序列中的所有令牌相互比較。因此，整個輸入中的信息將被記錄并用于生成輸出。相比之下，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)會忘記較舊的信息，卷積神經(jīng)網(wǎng)絡(luò)(CNN)只能使用靠近每個令牌的信息。這就是為什么可以上傳數(shù)百頁內(nèi)容給大模型聊天機器人，詢問其中任何一頁的問題，并獲得準確回應(yīng)的原因。RNN和CNN缺乏長上下文是Transformer在任務(wù)中擊敗它們的最大原因。

第二，并行性

Transformer中的注意力機制可以在輸入序列中的所有令牌上并行執(zhí)行。這與RNN順序處理令牌不同。因此，Transformer可以更快地訓(xùn)練和部署，為用戶提供更快地響應(yīng)。這種并行處理能力顯著提高了Transformer相對于RNNs的效率。

第三，可擴展性

研究人員不斷增加Transformer的規(guī)模和使用來訓(xùn)練它們的數(shù)據(jù)量。Transformer模型越大，它能理解和生成的文本就越復(fù)雜和細致，例如，GPT-3有1750億個參數(shù)，而GPT-4超過1萬億個。與構(gòu)建一個包含10億參數(shù)的模型相比，擴大Transformer的規(guī)模至一個擁有100億參數(shù)的模型，并不會顯著增加所需的時間。這種可擴展性使得Transformer成為各種高級應(yīng)用的強大工具。

缺點亦不容忽視

然而，盡管Transformer具有諸多優(yōu)勢，但其缺點亦不容忽視。Transformer在處理長序列時具有二次方的時間和空間復(fù)雜度，即輸入中的每個令牌都與其他每個令牌進行比較，兩個令牌會有4次比較，三個令牌會有9次，四個令牌會有16次，依此類推。基本上，計算成本是令牌數(shù)量的平方，這意味著需要大量的計算資源。具體來看：

一是需要專門的硬件。大模型無法在普通計算機上高效運行。由于大模型的參數(shù)量非常大且結(jié)構(gòu)十分復(fù)雜，通常需要大量的RAM來加載模型參數(shù)。并且，傳統(tǒng)的CPU沒有針對并行計算進行優(yōu)化，運行的大模型可能需要幾分鐘才能生成一個令牌，這使得GPU成為更合適的選擇。然而，GPU并不是最便宜或最容易獲得的硬件。

二是輸入長度有限。Transformer可以處理的文本量有限，也就是上下文長度。GPT-3最初只能處理2,048個令牌。注意力實施的進步產(chǎn)生了上下文長度高達100萬令牌的模型。即便如此，找到每一個額外的上下文長度仍需要進行大量研究。

三是增加能源成本。支持Transformer架構(gòu)計算的數(shù)據(jù)中心不僅依賴于大量的能源維持運行，還需要充足的水資源來實現(xiàn)有效冷卻。據(jù)估計，訓(xùn)練GPT-3需要1300兆瓦時的電力。隨著模型變大，所需的電力也在增加。另據(jù)科研機構(gòu)Digiconomist的預(yù)測，到2027年，AI的用電量可能等同于荷蘭一年的電力使用。

我們認為，Transformer無疑是推動AI領(lǐng)域創(chuàng)新發(fā)展的關(guān)鍵力量。盡管面臨一些挑戰(zhàn)，但隨著技術(shù)的不斷進步，這些問題有望逐步得到改善和解決。

寫在最后：

總而言之，Transformer已經(jīng)成為自然語言處理領(lǐng)域的一項重大突破，為技術(shù)進步開辟了新的途徑。展望未來，我們有理由相信，Transformer將持續(xù)助力人工智能的蓬勃發(fā)展，并在更多領(lǐng)域展現(xiàn)出其潛力。