根據(jù)外媒《華爾街日報(bào)》消息，Meta正在加緊開發(fā)新的大語言模型，能力將完全對標(biāo)GPT-4，預(yù)計(jì)將于明年推出。

消息還特別強(qiáng)調(diào)了，Meta新的大語言模型將比Llama 2大數(shù)倍，而且大概率還是會開源，支持免費(fèi)商用。

自從年初Meta將LlaMA「不小心」泄露出來之后，到7月份Llama 2的開源發(fā)布，Meta漸漸找到了自己在這次AI浪潮中的獨(dú)特位置——AI開源社區(qū)的旗幟。

人員震蕩不斷，模型能力有硬傷，靠開源坐回主桌

年初，在OpenAI用GPT-4引爆了科技行業(yè)之后，谷歌，微軟也相繼推出了自己的AI產(chǎn)品。

在5月份的時候，美國監(jiān)管層就邀請了當(dāng)時他們認(rèn)為AI行業(yè)相關(guān)的頭部企業(yè)CEO，開了一個圓桌會議，討論AI技術(shù)的發(fā)展。

OpenAI，谷歌，微軟，都被邀請了，甚至還包括了初創(chuàng)公司Anthropic，但是卻沒有Meta的身影。當(dāng)時官方對Meta缺席的回應(yīng)是：「我們只邀請?jiān)贏I行業(yè)中最頂尖的公司。」

好事沒有輪上Meta，但是麻煩卻源源不斷地找上門來。

先是6月初國會一封質(zhì)詢信直接寄到的小扎手上，措辭嚴(yán)厲的要求他說明3月份LlaMA泄漏事故的前因后果。

而在后來的幾個月時間里，即便在Llama 2發(fā)布之后，Meta之前花重金打造的AI團(tuán)隊(duì)卻依然在逐漸分崩離析。

在Llama 2的致謝中，提到的4位最先發(fā)起這項(xiàng)研究的團(tuán)隊(duì)，其中三位已經(jīng)離職，目前僅有Edouard Grave還在Meta。

業(yè)界大牛何愷明，也將離開Meta，回歸學(xué)術(shù)界。

根據(jù)最近The Information的爆料文章，Meta的AI團(tuán)隊(duì)，因?yàn)閷τ趦?nèi)部算力的爭奪，摩擦不斷，人員陸續(xù)離開。

在這樣的大背景下，小扎自己應(yīng)該也很清楚，Meta自己的大語言模型，也確實(shí)沒有辦法和業(yè)內(nèi)最前沿的GPT-4沾邊。

不論是在各個方向的基準(zhǔn)測試還是從用戶反饋來看，Llama 2和GPT-4的差距依然還比較大。

在各項(xiàng)基準(zhǔn)測試中，開源的Llama 2和GPT-4還有不小差距

網(wǎng)友的實(shí)際體驗(yàn)也在不斷強(qiáng)調(diào)GPT-4比Llama 2依然領(lǐng)先不少

于是，小扎決定讓Meta直接在模型開源之路上繼續(xù)一路狂奔。

也許小扎背后的邏輯是這樣的：Meta模型能力一般，打不過閉源大佬，藏著掖著也沒啥意義。那就索性開源讓AI社區(qū)以自家模型為基礎(chǔ)來不斷迭代，擴(kuò)大自己產(chǎn)品在業(yè)界的影響力。

而且小扎也不止一次的在公開場合表示，開源社區(qū)針對自己模型的迭代會讓自己的技術(shù)團(tuán)隊(duì)獲得啟發(fā)，從而在未來開發(fā)出更有競爭力的產(chǎn)品。

小扎在Fridman的播客中強(qiáng)調(diào)，開源能讓Meta從社區(qū)中吸取靈感，而且未來Meta可能會推出閉源模型。 

參見：https://lexfridman.com/mark-zuckerberg-2/

而事實(shí)也證明，Meta的這個選擇確實(shí)是正確的。

雖然在算力資源和技術(shù)實(shí)力上比不上谷歌，OpenAI，但是Meta的Llama 2等開源模型對于開源社區(qū)的吸引力依然是首屈一指的。隨著Llama 2慢慢成為AI開源社區(qū)的「技術(shù)底座」，Meta也在行業(yè)中找到了自己的生態(tài)位。

最明顯的一個標(biāo)志是，馬上9月份將要召開的國會AI閉門會議之中，小扎終于成為了監(jiān)管層的座上賓，和谷歌、OpenAI等行業(yè)最前沿的公司CEO一同作為代表，對于AI行業(yè)監(jiān)管發(fā)出自己的聲音。

而如果明年Meta推出的新模型，能夠繼續(xù)保持進(jìn)步，獲得和GPT-4持平的能力，一方面能讓開源社區(qū)繼續(xù)拉近與閉源巨頭的差距，坐實(shí)了「開源社區(qū)與行業(yè)最先進(jìn)水平差距在一年左右」的說法。

另一方面，小扎在采訪中也曾透露，如果未來大模型能力進(jìn)一步提升，Meta可能會推出自己的閉源模型。如果新的模型能進(jìn)一步迫近行業(yè)SOTA，也許就離Meta推出自己的閉源模型不遠(yuǎn)了。

雖然Meta看起來在這波AI浪潮中已經(jīng)暫時落后了，但是小扎的野心也不甘心只做一個追隨者。

在「AI三巨頭」Yann Lecun的指引下，Meta也正在為顛覆整個行業(yè)做著準(zhǔn)備。

Meta的未來

所以，這個傳說中能比肩GPT-4的神秘大模型之后，Meta AI未來會是什么樣子？

因?yàn)槟壳斑€沒有具體信息，我們也只能做一番猜測，比如從Meta AI首席科學(xué)家LeCun的態(tài)度入手。

當(dāng)紅炸子雞GPT，一直是LeCun批評和鄙視的人工智能發(fā)展路線。

今年2月4日，LeCun就直白地表示，「在通往人類級別AI的道路上，大型語言模型完全是一條歪路」。

他認(rèn)為這種根據(jù)概率生成自回歸的大模型最多活不過5年，因?yàn)檫@些人工智能只是在大量的文本上訓(xùn)練的，它們無法理解現(xiàn)實(shí)世界。

所以這些模型既不會計(jì)劃也不能推理，它們擁有的只是上下文學(xué)習(xí)能力。

嚴(yán)肅的說，這些在LLM上訓(xùn)練的人工智能幾乎毫無「智能」可言。

而LeCun期待的，則是能夠通向AGI的 「世界模型」。

世界模型能夠?qū)W習(xí)世界如何運(yùn)作，更快速地進(jìn)行學(xué)習(xí)，為完成復(fù)雜任務(wù)做出計(jì)劃，并隨時應(yīng)對不熟悉的新情況。

這與需要大量預(yù)訓(xùn)練的LLM不同，世界模型能夠像人類一樣，從觀察中找到規(guī)律，適應(yīng)新環(huán)境、掌握新技能。

相較于OpenAI在LLM領(lǐng)域不斷精進(jìn)深耕的策略，Meta力求多樣化的模型開發(fā)。

今年6月14日，Meta發(fā)布了一個「類人」的人工智能模型 I-JEPA，也是史上第一個基于LeCun世界模型愿景關(guān)鍵部分的AI模型。

論文地址：https://arxiv.org/abs/2301.08243

I-JEPA能夠理解圖像中的抽象表征，并通過監(jiān)自督學(xué)習(xí)獲取常識。

并且I-JEPA不需要額外的人工制作的知識作為輔助。

之后，Meta推出了Voicebox，這是一個全新的突破性語音生成系統(tǒng)，基于 Meta AI 提出的一種新方法——流匹配。

它可以合成六種語言的語音，執(zhí)行去噪、編輯內(nèi)容、轉(zhuǎn)換音頻風(fēng)格等操作。

Meta還發(fā)布了通用的具身AI agents。

通過語言引導(dǎo)技能協(xié)調(diào)（LSC），機(jī)器人能夠在部分預(yù)先映射的環(huán)境中，進(jìn)行自由的移動、拾取。

在多模態(tài)模型的開發(fā)中，Meta也與眾不同。

ImageBind，第一個能夠從六種不同模態(tài)綁定信息的人工智能模型。

它賦予機(jī)器全面的理解能力，將照片中的物體與它們的聲音、三維形狀、溫度以及運(yùn)動方式聯(lián)系起來。

而來自Meta AI和CMU_Robotics共同開發(fā)的RoboAgent，讓機(jī)器人可以獲得各種各樣的非平凡技能，并將它們推廣到數(shù)百個生活場景中。

同時，所有這些場景的數(shù)據(jù)都比該領(lǐng)域先前的工作少一個數(shù)量級。

對于這次爆料的模型，有網(wǎng)友表示，希望他們繼續(xù)開放源代碼。

不過也有網(wǎng)友表示，Meta要到2024年初才會開始訓(xùn)練。

但令人欣慰的是，Meta依舊釋放了自己將繼續(xù)堅(jiān)持原有戰(zhàn)略的信號。