隨著2024年的結(jié)束，我們可以回顧并認(rèn)識(shí)到，AI已經(jīng)取得了令人矚目且開創(chuàng)性的進(jìn)展。按照當(dāng)前的發(fā)展速度，幾乎無法預(yù)測(cè)2025年AI將帶來怎樣的驚喜，但有幾個(gè)趨勢(shì)為企業(yè)描繪了一幅來年可期以及如何充分準(zhǔn)備的動(dòng)人畫卷。

推理成本驟降

過去一年，前沿模型的成本穩(wěn)步下降。過去兩年內(nèi)，OpenAI表現(xiàn)最佳的大型語言模型(LLM)每百萬token的價(jià)格已經(jīng)降低了200多倍。

推理成本下降的一個(gè)關(guān)鍵因素是競(jìng)爭(zhēng)日益激烈。對(duì)于許多企業(yè)應(yīng)用而言，大多數(shù)前沿模型都適用，因此很容易從一種模型切換到另一種，從而將競(jìng)爭(zhēng)轉(zhuǎn)向定價(jià)。此外，加速器芯片和專用推理硬件的改進(jìn)也使得AI實(shí)驗(yàn)室能夠以更低的成本提供其模型。

為了利用這一趨勢(shì)，企業(yè)應(yīng)當(dāng)開始嘗試最先進(jìn)的LLM，并圍繞其構(gòu)建應(yīng)用原型，即使當(dāng)前成本較高。模型價(jià)格的持續(xù)下降意味著，許多此類應(yīng)用將很快具備可擴(kuò)展性。同時(shí)，模型的能力也在不斷提升，這意味著在相同的預(yù)算下，企業(yè)能做的事情比過去一年要多得多。

大型推理模型的崛起

OpenAI o1的發(fā)布在LLM領(lǐng)域掀起了一股新的創(chuàng)新浪潮。讓模型“思考”更長(zhǎng)時(shí)間并審查其答案的趨勢(shì)，使得它們能夠解決以往單次推理調(diào)用無法解決的問題。盡管OpenAI尚未發(fā)布o(jì)1的詳細(xì)信息，但其令人印象深刻的能力已經(jīng)在AI領(lǐng)域引發(fā)了一場(chǎng)新的競(jìng)賽。如今，有許多開源模型復(fù)制了o1的推理能力，并將這一范式擴(kuò)展到新領(lǐng)域，如回答開放式問題。

o1類模型(有時(shí)被稱為大型推理模型，LRM)的進(jìn)展對(duì)未來可能有兩個(gè)重要影響。首先，鑒于LRM必須生成大量token來給出答案，我們可以預(yù)期硬件公司將更有動(dòng)力開發(fā)具有更高token吞吐量的專用AI加速器。

其次，LRM有助于解決下一代語言模型的一個(gè)重要瓶頸：高質(zhì)量訓(xùn)練數(shù)據(jù)。已有報(bào)道稱，OpenAI正在使用o1為其下一代模型生成訓(xùn)練示例。我們還可以預(yù)期，LRM將有助于催生新一代小型專用模型，這些模型將針對(duì)特定任務(wù)使用合成數(shù)據(jù)進(jìn)行訓(xùn)練。

為了利用這些發(fā)展，企業(yè)應(yīng)當(dāng)為實(shí)驗(yàn)前沿LRM的潛在應(yīng)用分配時(shí)間和預(yù)算。他們應(yīng)當(dāng)不斷測(cè)試前沿模型的極限，并思考如果下一代模型克服這些限制，將可能實(shí)現(xiàn)哪些類型的應(yīng)用。結(jié)合推理成本的持續(xù)下降，LRM有望在來年解鎖許多新的應(yīng)用。

Transformer替代品蓄勢(shì)待發(fā)

Transformer(LLM中使用的主要深度學(xué)習(xí)架構(gòu))的內(nèi)存和計(jì)算瓶頸催生了一系列具有線性復(fù)雜度的替代模型。其中，狀態(tài)空間模型(SSM)是最受歡迎的架構(gòu)，過去一年取得了許多進(jìn)展。其他有前景的模型還包括液體神經(jīng)網(wǎng)絡(luò)(LNN)，它們使用新的數(shù)學(xué)方程，用少得多的人工神經(jīng)元和計(jì)算周期完成更多任務(wù)。

過去一年，研究人員和AI實(shí)驗(yàn)室發(fā)布了純SSM模型以及結(jié)合Transformer和線性模型優(yōu)勢(shì)的混合模型。盡管這些模型的性能尚未達(dá)到前沿的基于Transformer的模型水平，但它們正在迅速趕超，并且已經(jīng)實(shí)現(xiàn)了數(shù)量級(jí)的更快速度和更高效率。如果該領(lǐng)域的進(jìn)展持續(xù)下去，許多更簡(jiǎn)單的LLM應(yīng)用可以卸載到這些模型上，并在邊緣設(shè)備或本地服務(wù)器上運(yùn)行，這樣企業(yè)就可以使用定制數(shù)據(jù)，而無需將其發(fā)送給第三方。

擴(kuò)展定律的變化

LLM的擴(kuò)展定律在不斷演變。2020年GPT-3的發(fā)布證明，擴(kuò)展模型規(guī)模將繼續(xù)帶來令人印象深刻的結(jié)果，并使模型能夠執(zhí)行它們未經(jīng)明確訓(xùn)練的任務(wù)。2022年，DeepMind發(fā)布了Chinchilla論文，為數(shù)據(jù)擴(kuò)展定律設(shè)定了新的方向。Chinchilla證明，通過在比模型參數(shù)數(shù)量大數(shù)倍的海量數(shù)據(jù)集上訓(xùn)練模型，可以繼續(xù)獲得改進(jìn)。這一發(fā)展使得較小的模型能夠與擁有數(shù)百億參數(shù)的前沿模型相競(jìng)爭(zhēng)。

如今，人們擔(dān)心這兩種擴(kuò)展定律都即將達(dá)到極限。報(bào)告顯示，前沿實(shí)驗(yàn)室在訓(xùn)練更大模型方面的回報(bào)正在遞減。同時(shí)，訓(xùn)練數(shù)據(jù)集已經(jīng)增長(zhǎng)到數(shù)十萬億token，獲取高質(zhì)量數(shù)據(jù)的難度和成本也越來越高。

與此同時(shí)，LRM正在開辟一個(gè)新的方向：推理時(shí)間擴(kuò)展。在模型和數(shù)據(jù)集大小失效的地方，我們或許可以通過讓模型運(yùn)行更多推理周期并修正自己的錯(cuò)誤來開拓新天地。

隨著2025年的到來，AI領(lǐng)域繼續(xù)以意想不到的方式發(fā)展，新的架構(gòu)、推理能力和經(jīng)濟(jì)模型正在重塑可能性。對(duì)于愿意嘗試和適應(yīng)的企業(yè)而言，這些趨勢(shì)不僅代表著技術(shù)進(jìn)步，更是我們利用AI解決現(xiàn)實(shí)世界問題方式的根本轉(zhuǎn)變。