說到開源大模型，Llama 系列自誕生以來就是典型代表，其優(yōu)秀的性能與開源特點(diǎn)讓人工智能技術(shù)的應(yīng)用性和可訪問性大大提升。任何研究人員和開發(fā)者都能夠從中獲益，讓研究和應(yīng)用變得更加廣泛。

現(xiàn)在，Meta Llama 3.1 405B 正式發(fā)布。在官方博客中，Meta 表示：「直到今天，開源大語言模型在功能和性能方面大多落后于封閉模型?，F(xiàn)在，我們正在迎來一個開源引領(lǐng)的新時代?！?/p>

與此同時，Meta 創(chuàng)始人、CEO 扎克伯格親自撰寫長文闡述開源對所有開發(fā)者、對 Meta、對世界的意義。他表示，開源是 AI 積極發(fā)展的必要條件。以 Unix 和 Linux 的發(fā)展為例，開源 AI 將更有利于創(chuàng)新、數(shù)據(jù)保護(hù)和成本效益。

他還認(rèn)為，開源 Llama 模型能夠建立一個完整的生態(tài)系統(tǒng)，確保技術(shù)進(jìn)步，并且不會因?yàn)楦偁幎?yōu)勢。Meta 有著成功的開源歷史，通過開源 AI 模型，扎克伯格希望促進(jìn)全球技術(shù)的平等和安全應(yīng)用。 

原文鏈接：https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

以下是原文內(nèi)容：

扎克伯克為 Meta 注入開源基因

在高性能計算的早期，各大主流科技公司都投入大量資金開發(fā)各自的閉源 Unix 版本。當(dāng)時很難想象會有其他方法能開發(fā)出如此先進(jìn)的軟件。

然而，開源的 Linux 逐漸流行起來：最初是因?yàn)樗试S開發(fā)人員自由修改代碼且價格更實(shí)惠，而后來它變得更先進(jìn)、更安全，并且擁有比任何閉源 Unix 更廣泛的生態(tài)系統(tǒng)，支持更多的功能。今天，Linux 已成為云計算和運(yùn)行大多數(shù)移動設(shè)備的操作系統(tǒng)的行業(yè)標(biāo)準(zhǔn)基礎(chǔ)， 大家都因其卓越的產(chǎn)品受益。 

我相信人工智能的發(fā)展也與其發(fā)展軌跡類似。今天，一些科技公司正在開發(fā)領(lǐng)先的閉源模型，但開源正在迅速縮小差距。

去年，Llama 2 僅能與一代舊型號相媲美。而在今年，Llama 3 在某些領(lǐng)域已經(jīng)可以與行業(yè)中領(lǐng)先的模型競爭甚至領(lǐng)先。明年開始，我們預(yù)計未來的 Llama 模型將成為行業(yè)中最先進(jìn)的大模型。在此之前，Llama 也已經(jīng)在開放性、可修改性和成本效益方面領(lǐng)先。

今天，我們正邁出下一步 —— 使開源 AI 成為行業(yè)標(biāo)準(zhǔn)。我們發(fā)布了首個前沿級開源 AI 模型 Llama 3.1 405B，以及改進(jìn)版的 Llama 3.1 70B 和 8B 模型。較于閉源模型，這些開源模型在成本效益上顯著提升，特別是 405B 模型的開源特性，使其成為微調(diào)和蒸餾小型模型的最佳選擇。 

除了發(fā)布這些模型，我們還與多家公司合作，拓展更廣泛的生態(tài)系統(tǒng)。亞馬遜、Databricks 和英偉達(dá)正在推出全套服務(wù)，支持開發(fā)者微調(diào)和蒸餾他們自己的模型。像 Groq 這樣的創(chuàng)新者已經(jīng)為所有新模型構(gòu)建了低延遲、低成本的推理服務(wù)。

這些模型將在包括 AWS、Azure、Google、Oracle 等所有主要云平臺上可用。Scale.AI、戴爾、德勤等公司已經(jīng)準(zhǔn)備好幫助企業(yè)采用 Llama 并使用他們自己的數(shù)據(jù)訓(xùn)練定制模型。隨著社區(qū)的成長和更多公司開發(fā)新服務(wù)，我們可以共同使 Llama 成為行業(yè)標(biāo)準(zhǔn)，并將 AI 的益處帶給每個人。

Meta 致力于開源 AI，以下是我認(rèn)為開源是最佳開發(fā)平臺的原因，為什么開源 Llama 對 Meta 有利，以及為什么開源 AI 對世界有益，并由此將長期存在。

開源 AI 之于開發(fā)者

當(dāng)我與全球的開發(fā)者、CEO 和政府官員交談時，通常聽到幾個主題：

• 我們需要訓(xùn)練、微調(diào)和蒸餾自己的模型。每個組織都有不同的需求，這些需求最好通過使用不同規(guī)模并使用特定數(shù)據(jù)訓(xùn)練或微調(diào)的模型來滿足。設(shè)備上的任務(wù)和分類任務(wù)需要小型模型，而更復(fù)雜的任務(wù)則需要大型模型。現(xiàn)在，你可以使用最先進(jìn)的 Llama 模型，繼續(xù)用自己的數(shù)據(jù)訓(xùn)練它們，然后將它們蒸餾成最適合你需求的模型規(guī)模 —— 無需我們或任何其他人看到你的數(shù)據(jù)。
• 我們需要掌控自己的命運(yùn)，而不是被閉源供應(yīng)商「鎖死」。許多組織不希望依賴他們無法自己運(yùn)行和控制的模型。他們不希望閉源模型供應(yīng)商能夠更改模型、改變使用條款，甚至完全停止服務(wù)。他們也不希望被鎖定在擁有模型專有權(quán)的單一云平臺上。開源使得兼容工具鏈的廣泛生態(tài)系統(tǒng)成為可能，你可以輕松地在這些工具之間切換。
• 我們需要保護(hù)我們的數(shù)據(jù)。許多組織處理需要保護(hù)的敏感數(shù)據(jù)，無法通過云 API 發(fā)送到閉源模型。一些組織則根本不信任閉源模型供應(yīng)商對其數(shù)據(jù)的處理。開源解決了這些問題，因?yàn)樗鼓憧梢栽谌魏文阆胍牡胤竭\(yùn)行模型。眾所周知，開源軟件會因?yàn)殚_發(fā)過程更加透明，而更安全。
• 我們需要一個高效且經(jīng)濟(jì)的模型。開發(fā)者可以在自己的基礎(chǔ)設(shè)施上運(yùn)行 Llama 3.1 405B，進(jìn)行推理，成本大約是使用閉源模型（如 GPT-4）的 50%，適用于用戶端和離線推理任務(wù)。
• 我們希望投資于將成為長期標(biāo)準(zhǔn)的生態(tài)系統(tǒng)。許多人看到開源的發(fā)展速度快于封閉模型，他們希望在能夠長期提供最大優(yōu)勢的架構(gòu)上構(gòu)建自己的系統(tǒng)。

開源 AI 之于 Meta

Meta 的商業(yè)模式是為人們構(gòu)建最佳體驗(yàn)和服務(wù)。為了實(shí)現(xiàn)這一目標(biāo)，我們必須確保始終能夠獲取最佳技術(shù)，而不是被鎖定在競爭對手的封閉生態(tài)系統(tǒng)中，這樣他們就不能限制我們所開發(fā)的內(nèi)容。 

我想分享一個重要經(jīng)歷：雖然蘋果公司允許我們在其平臺上構(gòu)建內(nèi)容，但是當(dāng)我們構(gòu)建服務(wù)時仍受到了限制。無論是他們對開發(fā)者的稅收、他們施加的任意規(guī)則，還是他們阻止的所有產(chǎn)品創(chuàng)新，顯而易見，如果我們能夠構(gòu)建產(chǎn)品的最佳版本，并且競爭對手無法限制我們構(gòu)建的內(nèi)容，Meta 和許多其他公司將能夠?yàn)槿藗兲峁└玫姆?wù)。從哲學(xué)層面上講，這也是我如此堅(jiān)信在 AI 和 AR/VR 領(lǐng)域?yàn)橄乱淮嬎銠C(jī)建立開放生態(tài)系統(tǒng)的一個重要原因。

人們常常問我是否擔(dān)心因?yàn)殚_源 Llama 而失去技術(shù)優(yōu)勢，但我認(rèn)為這忽略了大局，原因有以下幾點(diǎn)：

• 首先，為了確保我們能夠長期保持技術(shù)領(lǐng)先，并且不被鎖定在閉源生態(tài)系統(tǒng)中，Llama 需要發(fā)展成一個完整的生態(tài)系統(tǒng)，包括工具、效率改進(jìn)、硬件優(yōu)化和其他集成。如果只有我們公司使用 Llama，這個生態(tài)系統(tǒng)將不會發(fā)展，我們的境況也不會比 Unix 的閉源變種好多少。
• 其次，我預(yù)計 AI 開發(fā)將繼續(xù)保持高度競爭，這意味著在任何給定時刻，開源某個模型不會使我們在與下一個最佳模型的競爭中失去巨大優(yōu)勢。Llama 成為行業(yè)標(biāo)準(zhǔn)的途徑是通過一代又一代地保持競爭力、高效性和開放性。 
• 第三，Meta 與閉源模型提供商的一個關(guān)鍵區(qū)別在于，銷售 AI 模型的訪問權(quán)限并不是我們的商業(yè)模式。這意味著公開發(fā)布 Llama 不會削弱我們的收入、可持續(xù)性或投資研究的能力，而閉源提供商則會受到影響。（這也是為什么一些閉源提供商一直在游說公共管理者反對開源的原因之一。）
• 最后，Meta 在開源項(xiàng)目上有著豐富的成功經(jīng)驗(yàn)。通過與開放計算項(xiàng)目分享我們的服務(wù)器、網(wǎng)絡(luò)和數(shù)據(jù)中心設(shè)計，并使供應(yīng)鏈標(biāo)準(zhǔn)化，我們節(jié)省了數(shù)十億美元。通過開源 PyTorch、React 等領(lǐng)先工具，我們從生態(tài)系統(tǒng)的創(chuàng)新中受益匪淺。這種方法長期以來一直極具效果。

開源 AI 之于世界

我相信開源對于 AI 的未來是有必要的。AI 比任何其他現(xiàn)代技術(shù)都更有潛力提高人類的生產(chǎn)力、創(chuàng)造力和生活質(zhì)量，并且能夠在加速經(jīng)濟(jì)增長的同時推動醫(yī)學(xué)和科學(xué)研究的進(jìn)步。開源將確保全球更多的人能夠從 AI 的發(fā)展中獲得利益和機(jī)會，權(quán)力不會集中在少數(shù)幾家公司手中，并且技術(shù)能夠更均勻和安全地在社會中部署。

關(guān)于開源 AI 模型的安全性，存在著持續(xù)的爭論。我的觀點(diǎn)是，開源 AI 將比替代方案更安全。我認(rèn)為各國政府最終會得出支持開源的結(jié)論，因?yàn)檫@將使世界更加繁榮和安全。

在我理解的安全性框架中，我們需要防范兩類危害：無意和故意。

• 無意的危害是指 AI 系統(tǒng)可能在運(yùn)行時非故意地造成傷害。例如，現(xiàn)代 AI 模型可能在無意中給出錯誤的健康建議?；蛘撸谖磥韴鼍爸?，有人擔(dān)心模型可能會無意中自我復(fù)制或過度優(yōu)化目標(biāo)，從而對人類造成損害。
• 故意的危害是指不良行為者使用 AI 模型以造成傷害為目的。

值得注意的是，無意的危害涵蓋了人們對 AI 的多數(shù)擔(dān)憂 —— 從 AI 系統(tǒng)對數(shù)十億用戶的影響到大多數(shù)真正災(zāi)難性的科幻場景。在這方面，開源所帶來的安全性更加顯著，因?yàn)橄到y(tǒng)更透明，可以被廣泛審查。

歷史上，開源軟件由于這一原因一直更安全。同樣，使用 Llama 及其安全系統(tǒng)如 Llama Guard，可能會比閉源模型更安全和更可靠。因此，大多數(shù)關(guān)于開源 AI 安全性的討論集中在故意的危害上。

我們的安全流程包括嚴(yán)格的測試和紅隊(duì)評估，以檢驗(yàn)我們的模型是否有可能造成實(shí)質(zhì)性傷害，此目標(biāo)是在發(fā)布前減輕風(fēng)險。由于這些模型是開源的，任何人都可以自行進(jìn)行測試。我們必須牢記，這些模型是通過互聯(lián)網(wǎng)上已有的信息訓(xùn)練的，所以在考慮危害時，起點(diǎn)應(yīng)該是模型是否能比從 Google 或其他搜索結(jié)果快速獲取的信息造成更多的危害。

通過區(qū)分個體或小規(guī)模行為者與擁有大量資源的大規(guī)模行為者（如國家）所能做的事情，將會有益于推理故意傷害。

在未來的某個時候，個別惡意行為者可能會利用 AI 模型的智能，從互聯(lián)網(wǎng)上現(xiàn)有的信息中制造出新型危害。在這一點(diǎn)上，力量的均衡對 AI 安全至關(guān)重要。

我認(rèn)為生活在一個 AI 廣泛部署的世界中會更好，因?yàn)檫@樣可以使大型行為者制衡小型惡意行為者。這也是我們在社交網(wǎng)絡(luò)上管理安全的方式，憑借更強(qiáng)大的 AI 系統(tǒng)識別并阻止那些經(jīng)常使用小規(guī)模 AI 系統(tǒng)的不太復(fù)雜的行為者。

更廣泛地說，大型機(jī)構(gòu)在大規(guī)模部署 AI 時將促進(jìn)社會的安全和穩(wěn)定。只要每個人都能訪問類似代際的模型，那么擁有更多算力資源的政府和機(jī)構(gòu)將能夠制衡擁有較少計算資源的惡意行為者。

在考慮未來的機(jī)遇時，請記住，今天的大多數(shù)領(lǐng)先科技公司和科學(xué)研究都是建立在開源軟件之上的。如果我們共同投資于開源 AI，下一代公司和研究就會獲得使用的機(jī)會。這包括剛剛起步的初創(chuàng)企業(yè)，以及那些可能沒有資源從頭開發(fā) SOTA AI 的大學(xué)和國家的人們。

總而言之，開源 AI 代表了在全球范圍內(nèi)我們可以利用這項(xiàng)技術(shù)為所有人創(chuàng)造最大的經(jīng)濟(jì)機(jī)會和安全保障。

合作行穩(wěn)，開源致遠(yuǎn)

在過去的 Llama 模型中，Meta 為自身開發(fā)發(fā)布了這些模型，但并未重點(diǎn)關(guān)注建立更廣泛的生態(tài)系統(tǒng)。這次發(fā)布，我們采取了不同的方式。我們正在內(nèi)部組建團(tuán)隊(duì)，使盡可能多的開發(fā)者和合作伙伴能夠使用 Llama，并且積極建立合作伙伴關(guān)系，以便生態(tài)系統(tǒng)中的更多公司能夠?yàn)樗麄兊目蛻籼峁┆?dú)特的功能。

我相信 Llama 3.1 的發(fā)布將成為行業(yè)的一個轉(zhuǎn)折點(diǎn)，大多數(shù)開發(fā)者將開始使用開源技術(shù)，我預(yù)計這種方式將會以我們的開源為起點(diǎn)。

我希望我們可以共同努力將 AI 的益處帶給全世界。

你現(xiàn)在可以在 llama.meta.com 上訪問這些模型。

馬克·扎克伯格