作者 | Ben Dickson

譯者 | 李睿

審校 | 重樓

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

小模型、開源模型正在猛攻GPT-4，OpenAI需要更完善的措施來構(gòu)建技術(shù)方面的護(hù)城河，以保護(hù)其LLM業(yè)務(wù)。

2023年5月，谷歌公司泄露的一份內(nèi)部文件揭示了ChatGPT和GPT-4等大型語言模型(LLM)面臨的挑戰(zhàn)。這份文件的主要觀點是，谷歌公司和OpenAI沒有為他們的私有大型語言模型(LLM)構(gòu)建技術(shù)方面的“護(hù)城河”。開源模式最終將主導(dǎo)LLM市場。

這份文件中寫道：“雖然我們開發(fā)的LLM在質(zhì)量方面仍有一定的優(yōu)勢，但這種優(yōu)勢正在驚人地迅速縮小。開源模型處理速度更快、更可定制、更私密，而且功能更強(qiáng)大?！?/p>

而在不到一年的時間里，這份文件中提出的大多數(shù)警告都被證明是正確的。開源模型在質(zhì)量上正在迅速趕上，它們更加靈活，訓(xùn)練和微調(diào)的速度也更快。

然而，隨著生成式人工智能領(lǐng)域的發(fā)展，OpenAI正在采取更加完善的措施來構(gòu)建技術(shù)方面的護(hù)城河，以保護(hù)其LLM業(yè)務(wù)。但這一策略并不一定奏效。

1、OpenAI的護(hù)城河是如何被攻破的

當(dāng)OpenAI發(fā)布ChatGPT時，大多數(shù)觀點認(rèn)為LLM將會隨著應(yīng)用量的增長而改進(jìn)。GPT-3擁有1750億個參數(shù)，需要采用數(shù)百GB的GPU內(nèi)存和巨額投資來訓(xùn)練和運行。在2022年發(fā)布的一些開源LLM是如此龐大和笨拙，以至于很少有企業(yè)可以運行它們。

初始，訓(xùn)練和管理LLM的高昂成本就是一條護(hù)城河，只有資金充足的企業(yè)有實力擁有和開發(fā)。OpenAI利用其先發(fā)優(yōu)勢確立了自己的領(lǐng)先地位。該公司推出的GPT-3以及后來的ChatGPT和GPT-4實際上已經(jīng)成為構(gòu)建LLM應(yīng)用程序的首選模型。

在其他大型科技公司競相追趕和投入資金之際，規(guī)模較小的企業(yè)只能希望通過API購買這些LLM的使用權(quán)。

然而，DeepMind研究人員在2022年進(jìn)行的一項研究表明，開發(fā)人員并不需要運行規(guī)模巨大的LLM就能獲得最先進(jìn)的結(jié)果。這項對名為Chinchilla模型的研究表明，在非常大的數(shù)據(jù)集上訓(xùn)練的小模型可以與大模型的性能相匹配。研究人員表示，Chinchilla模型的參數(shù)為700億個，其性能優(yōu)于當(dāng)時其他最先進(jìn)的LLM。

雖然DeepMind沒有將Chinchilla開源，但其訓(xùn)練方法引領(lǐng)了一個新的研究方向。Meta在2023年2月發(fā)布了Llama，這是一個LLM系列，其參數(shù)從70億個到650億個不等。Llama模型接受了1.4萬億個Tokens的訓(xùn)練，而GPT-3只有3000億個Tokens。

Llama模型具有資源效率和高性能，并在幾個關(guān)鍵基準(zhǔn)測試中與ChatGPT進(jìn)行了比較。而且Llama是開源的，這意味著開發(fā)人員能夠以非常低的成本直接在他們的服務(wù)器上運行它，甚至可以在單個GPU上運行。

在Llama模型發(fā)布之后，DeepMind又發(fā)布了一系列其他的開源模型，每個模型都是在之前的基礎(chǔ)上構(gòu)建和改進(jìn)的。許多LLM產(chǎn)品附帶許可，允許開發(fā)人員使用它們創(chuàng)建LLMLM產(chǎn)品。

模型壓縮、量化、低秩適應(yīng)，以及多年來其他發(fā)展起來的技術(shù)，使開發(fā)人員和企業(yè)在其應(yīng)用程序中采用開源模型變得越來越方便。新的編程框架、低代碼/無代碼工具和在線平臺使一些企業(yè)在其基礎(chǔ)設(shè)施上定制和運行LLM變得更加容易，并且承諾了一些創(chuàng)新，例如在邊緣設(shè)備上運行的高性能LLM。

公平地說，OpenAI的LLM模型在性能上仍然具有一定優(yōu)勢，目前還沒看到能夠趕超GPT-4的LLM。但是一些開源模型已經(jīng)達(dá)到并超過了GPT-3.5的性能，而它們趕超GPT-4和其他最先進(jìn)的LLM只是時間問題。

開源模式將會奪走大型科技公司的技術(shù)優(yōu)勢，并使LLM實現(xiàn)商品化。隨著轉(zhuǎn)換成本的下降，越來越多的企業(yè)將被激勵從GPT-4轉(zhuǎn)向低成本的開源模式。即使這些模型在性能上還沒有趕超GPT-4，但大多數(shù)企業(yè)都有專門的需求，可以通過精心調(diào)整的LLM來滿足這些需求，這種模型的成本很低，并且可以滿足數(shù)據(jù)所有權(quán)和隱私等其他需求。

2、GPT商店、用戶綁定和集成

由于沒有基礎(chǔ)設(shè)施和技術(shù)方面的護(hù)城河，OpenAI需要轉(zhuǎn)向其他方面，以確保其業(yè)務(wù)的可防御性。該公司已經(jīng)采取了一些戰(zhàn)略舉措來建造新的護(hù)城河。

該公司這一戰(zhàn)略的一個重要部分是圍繞其旗艦產(chǎn)品ChatGPT創(chuàng)造網(wǎng)絡(luò)效應(yīng)。OpenAI在去年11月首次宣布計劃推出的GPT Store已上線運行。它是蘋果應(yīng)用商店的人工智能版本，允許用戶和開發(fā)人員分享他們定制的LLM版本供其他人使用。雖然大多數(shù)GPT都將死掉，但其中一些LLM將非常有用，能夠提高生產(chǎn)力。

OpenAI還將提供企業(yè)功能，允許注冊ChatGPT團(tuán)隊計劃的企業(yè)擁有自己的私有GPT商店。

OpenAI的想法是，有了足夠的臨界質(zhì)量，用戶會堅持使用ChatGPT，更多的用戶會注冊ChatGPT Plus計劃來訪問GPT商店。開發(fā)人員將會一直使用這個平臺，讓他們的產(chǎn)品能夠接觸到更多的用戶。隨著發(fā)布更多的ChatGPT的內(nèi)容，用戶的大規(guī)模使用也將為該公司進(jìn)行免費宣傳，進(jìn)一步使其成為LLM應(yīng)用程序的實際載體。

OpenAI正在通過盈利強(qiáng)化網(wǎng)絡(luò)效應(yīng)。該公司在其網(wǎng)站聲稱，“在2024年第一季度，美國GPTs構(gòu)建者們將根據(jù)用戶與GPT的互動程度獲得報酬?！边@意味著他們將激勵用戶最大程度的參與，以提高產(chǎn)品的粘性。但它也會產(chǎn)生復(fù)制社交媒體所有不好的事情的負(fù)面影響。

與此同時，OpenAI將加強(qiáng)數(shù)據(jù)網(wǎng)絡(luò)效應(yīng)，以不斷改進(jìn)其產(chǎn)品。如果用戶使用的是免費計劃，OpenAI將收集他們的數(shù)據(jù)來進(jìn)一步訓(xùn)練它的模型。如果用戶使用的是ChatGPT Plus計劃，除非選擇退出數(shù)據(jù)收集計劃，否則他們的數(shù)據(jù)仍將被收集。

例如，OpenAI在其推特上向用戶發(fā)布這樣的信息：“嘿，你可以在設(shè)置頁面上選擇退出訓(xùn)練，無論是免費還是附加計劃。我會確保讓團(tuán)隊知道，并在網(wǎng)頁上澄清這一點——willdepue (@willdepue) 2024年1月11日”。

另一項重要工作是降低運行ChatGPT的成本。OpenAI首席執(zhí)行官Sam Altman最近在接受采訪時表示，該公司已經(jīng)成功地將LLM的運營成本降低了40倍。隨著開源LLM繼續(xù)趕超ChatGPT，降低成本將使OpenAI能夠為免費和付費用戶推出更多功能。

OpenAI也在為未來發(fā)展做準(zhǔn)備。據(jù)稱OpenAI在自己的設(shè)備上運行ChatGPT，這可能是圍繞其LLM專門構(gòu)建的。這將賦予它垂直整合的力量，就像蘋果公司對iOS生態(tài)系統(tǒng)的鐵腕控制一樣。人們看到的可能是計算領(lǐng)域新范式轉(zhuǎn)變的開端。隨著該領(lǐng)域的發(fā)展和新的計算范式的出現(xiàn)，OpenAI準(zhǔn)備推出其垂直堆棧。

參考鏈接：https://bdtechtalks.com/2024/01/15/how-openai-is-building-its-moat/