剛剛，LIama 3.1正式發布，登上大模型王座！

在150多個基準測試集中，405B版本的表現追平甚至超越了現有SOTA模型GPT-4o和Claude 3.5 Sonnet。

也就是說，這次，最強開源模型即最強模型。

在此之前，Llama 3.1已經被多番曝光泄露，如今可以說千呼萬喚始出來。

從今天開始，模型即可在官網上下載使用，Meta AI應用可在線試玩。

更令研究社區贊賞的是發布近100頁詳細論文，涵蓋了創造Llama 3.1過程中的一切：預訓練數據、過濾、退火、合成數據、縮放定律、基礎設施、并行性、訓練配方、訓練后適應、工具使用、基準測試、推理策略、量化、視覺、語音、視頻……

HuggingFace首席科學家贊嘆：如果你是從零開始研究大模型，就從這篇論文讀起。

小扎扎克伯格還在最新接受彭博社采訪時專門嘲諷了一把OpenAI。

奧特曼的領導能力值得稱贊，但有點諷刺的是公司名為OpenAI卻成為構建封閉式人工智能模型的領導者。

小扎還專門為此撰寫了一篇長文：開源AI是前進的道路。

以往，開源模型在性能、功能等方面大多落后于閉源模型，但現在：

就像開源的Linux在一眾閉源系統中脫穎而出獲得普及，并逐漸變得更先進、更安全，擁有比閉源系統更廣泛的生態。

我相信Llama 3.1將成為行業的一個轉折點。

迄今為止，所有Llama 版本的總下載量已超過 3 億次，Meta也是放下豪言：

這僅僅是個開始。

各大云廠商也在第一時間上線了的Llama 3.1的支持，價格是醬嬸的：

LIama 3.1官方正式發布

首先來看模型能力。

Llama 3.1將上下文長度擴展到 128K、增加了對八種語言的支持。

其中超大杯405B版本，在常識、可操縱性、數學、工具使用和多語言翻譯等能力方面都追平、超越了現有頂尖模型。

除此之外，也推出了8B和70B模型的升級版本，能力與同等參數下的頂尖模型基本持平。

再來看模型架構。

官方介紹，要在超15萬億個token上訓練 Llama 3.1 405B模型挑戰不小。

為此他們大幅優化了整個訓練棧，并把模型算力規模首次擴展到了超過16000個H100 GPU。

具體來說，還是采用標準的僅解碼器的Transformer架構，并做一些細微改動；并采用迭代的post-traing流程，每輪都有SFT（監督微調）和DPO（直接偏好優化），以提高每個能力的性能。

與Llama以前的版本相比，他們提高了用于預訓練和post-training數據的數量和質量。

而為了支持405B這樣尺寸模型的大規模生產推理，Meta將模型從16位（BF16）量化到8位（FP8）數值，有效地降低了所需的計算需求，并允許模型在單個服務器節點內運行。

在指令微調方面，Meta還提高了模型對用戶指令的響應能力、增強了它遵循詳細指令的能力，同時保證安全性。

在post-training階段，Meta在預訓練模型的基礎上進行多輪對齊。

每一輪都包括監督微調（Supervised Fine-Tuning, SFT）、拒絕采樣（Rejection Sampling, RS）和直接偏好優化（Direct Preference Optimization, DPO）。

他們使用合成數據生成來絕大部分SFT示例，并數次迭代。

此外，還采用了多種數據處理技術來將這些合成數據過濾到最高質量。

總計15T tokens使用Llama 2模型做清理和過濾，而代碼和數學相關的數據處理流水線則主要借鑒了Deepseek的方法。

除了最基本的根據提示詞響應，Meta官方表示，任何普通開發者可以用它做些高級的事情，比如：

• 實時和批量推理
• 監督微調
• 針對特定應用評估模型
• 持續預訓練
• 檢索增強生成 (RAG)
• 函數調用
• 合成數據生成

而這背后也是由它的強大生態伙伴支持。

小扎撰寫長文：開源AI是前進的道路

（以下由大模型翻譯，摘取主體內容，如有遺漏錯誤歡迎更正！）

在高性能計算的早期，當時的大型科技公司都投入巨資開發各自閉源的Unix版本。那時，很難想象除了閉源之外，還有其他途徑能夠孕育出如此先進的軟件。然而，開源的Linux操作系統最終贏得了廣泛的歡迎——最初是因為它允許開發者自由地修改代碼，成本也更加低廉；隨著時間的流逝，Linux不僅變得更加先進和安全，而且構建了一個比任何閉源Unix系統都要廣泛的生態系統，支持更多的功能。如今，Linux已成為云計算和大多數移動設備操作系統的行業標準基礎，我們所有人都因此享受到了更優質的產品。

我相信人工智能將以類似的方式發展。今天，幾家科技公司正在開發領先的閉源模型。但開源正在迅速縮小差距。去年，Llama 2只能與落后一代的模型相媲美。今年，Llama 3與最先進的模型競爭，并在某些領域領先。從明年開始，我們預計未來的Llama模型將成為行業中最先進的。但即使在那之前，Llama已經在開放性、可修改性和成本效率方面領先。

今天，我們正在朝著“開源人工智能成為行業標準”的方向邁進。我們發布了Llama 3.1 405B，這是第一個前沿級別的開源人工智能模型，以及改進版Llama 3.1 70B和8B模型。除了與閉源模型相比具有顯著更好的成本/性能比之外，405B模型的開放性將使其成為微調和蒸餾更小模型的最佳選擇。

除了發布這些模型外，我們正與一系列公司合作，以發展更廣泛的生態系統。亞馬遜、Databricks和英偉達正在推出一整套服務，支持開發者微調和蒸餾自己的模型。像Groq這樣的創新者已經為所有新模型構建了低延遲、低成本的推理服務。這些模型將在所有主要云平臺上提供，包括AWS、Azure、Google、Oracle等。像Scale.AI、Dell、德勤等公司已準備好幫助企業采用Llama，并用他們自己的數據訓練定制模型。隨著社區的增長和更多公司開發新服務，我們可以共同使Llama成為行業標準，將AI的好處帶給每個人。

Meta致力于開源人工智能。我將概述為什么我認為開源是最好的開發堆棧，為什么開源Llama對Meta有好處，以及為什么開源人工智能對世界有好處，因此是一個長期可持續的平臺。

為什么開源人工智能對開發者有好處

當我與世界各地的開發者、首席執行官和官員交談時，我通常會聽到幾個主題：

• 我們需要訓練、微調和蒸餾我們自己的模型。。每個組織都有其獨特的需求，最適合的是使用不同規模的模型，這些模型可以根據他們特定的數據進行訓練或微調。對于設備上的任務和分類任務，小模型足矣；而對于更復雜的任務，則需要大模型。現在，你可以利用最先進的Llama模型，用你自己的數據繼續訓練它們，然后將它們蒸餾成一個最適合你需要的模型尺寸——而無需讓我們或任何其他人看到你的數據。
• 我們需要控制自己的命運，不要被限制在閉源供應商那里。許多組織不希望依賴他們無法自行運行和控制的模型。他們不希望閉源模型提供者能夠更改模型、修改使用條款，甚至完全停止服務。他們也不想被限制在只有一個云平臺擁有模型獨家使用權。開源允許廣泛的公司生態系統擁有兼容的工具鏈，使你可以輕松地在它們之間遷移。
• 我們需要保護我們的數據安全。許多組織處理敏感數據，需要加以保護，不能通過閉源模型的云API發送。還有一些組織根本不信任閉源模型提供者處理他們的數據。開源通過允許你在任何地方運行模型來解決這些問題。普遍認為，開源軟件通常更安全，因為它的開發過程更加透明。
• 我們需要一個運行效率高且負擔得起的模型。開發者可以在自己的基礎設施上，以大約使用閉源模型如GPT-4o一半的成本，運行Llama 3.1 405B的推理，無論是面向用戶的還是離線推理任務。
• 我們希望投資于將成為長期標準的生態系統。許多人看到開源的發展速度比閉源模型快，他們希望建立他們的系統在將給他們帶來最大長期優勢的架構上。

為什么開源人工智能對Meta有好處

Meta的商業模式是為人們創造最佳的體驗和服務。為此，我們必須確保始終能夠獲取最佳技術，并且不會被鎖定在競爭對手的閉源生態系統中，從而限制了我們的創新能力。

我的一個重要經歷是，由于蘋果對我們在其平臺上能夠構建的內容有所限制，我們的服務受到了制約。從他們對開發者征稅的方式，到他們隨意應用的規則，再到他們阻止發布的所有產品創新，很明顯，如果我們能夠構建產品的最佳版本，而競爭對手無法限制我們的創新，Meta和其他許多公司將能夠為人們提供更好的服務。從哲學上講，這是我堅信在人工智能和AR/VR中為下一代計算構建開放生態系統的主要原因。

人們經常問我是否擔心通過開源Llama放棄技術優勢，但我認為這忽略了大局，原因有幾個：

首先，為了確保我們能夠獲取最佳技術，并且長期不會被鎖定在閉源生態系統中，Llama需要發展成為一個完整的工具生態系統，包括效率提升、硅片優化和其他集成。如果我們是唯一使用Llama的公司，這個生態系統就不會發展起來，我們的表現也不會比Unix的閉源版本更好。

其次，我預計人工智能的發展將繼續非常具有競爭力，這意味著開源任何特定模型并不會在當時給予比下一個最佳模型更大的優勢。Llama成為行業標準的道路是通過持續保持競爭力、效率和開放性，一代又一代地發展。

第三，Meta與閉源模型提供者的一個關鍵區別在于，出售對人工智能模型的訪問并不是我們的商業模式。這意味著公開發布Llama并不會削弱我們的收入、可持續性或研究投資能力，而這對于閉源提供者來說則不然。

最后，Meta有著長期的開源項目和成功的歷史。我們通過發布服務器、網絡和數據中心設計，并讓供應鏈標準化我們的設計，通過Open Compute項目節省了數十億美元。我們通過開源諸如PyTorch、React等領先工具，從生態系統的創新中受益。長期堅持這種方法對我們始終有效。

為什么開源人工智能對世界有好處

我相信開源對于實現積極的人工智能未來至關重要。人工智能比任何其他現代技術都有更大的潛力來提升人類的生產力、創造力和生活質量——并加速經濟增長，同時推動醫學和科學研究的進步。開源將確保全球更多的人能夠獲得人工智能的好處和機會，權力不會集中在少數公司手中，技術可以更均勻、更安全地在社會中部署。

關于開源人工智能模型的安全性正在進行辯論，我的看法是開源人工智能將比替代方案更安全。

我理解安全框架是我們需要防范兩類傷害：無意的和故意的。無意的傷害是當一個人工智能系統可能會造成傷害，即使運行它的人沒有意圖這樣做。例如，現代人工智能模型可能會無意中給出不良的健康建議。或者，在更具未來感的情景中，一些人擔心模型可能會無意中自我復制或過度優化目標，從而損害人類。故意傷害是當一個不良行為者使用人工智能模型以達到造成傷害的目的。

值得注意的是，無意的傷害涵蓋了人們對人工智能的大多數擔憂——從人工智能系統將對數十億使用者產生什么影響，到對人類來說真正災難性的科幻情景的大部分。在這方面，開源應該更安全，因為系統更透明，可以廣泛審查。從歷史上看，開源軟件因此更安全。同樣，使用Llama及其安全系統如Llama Guard可能會比閉源模型更安全、更可靠。因此，關于開源人工智能安全性的大多數對話都集中在故意傷害上。

我們的安全流程包括嚴格的測試和紅隊，以評估我們的模型是否有能力造成重大傷害，目標是在發布前降低風險。由于模型是開放的，任何人都可以自己測試。我們必須記住，這些模型是由已經在網絡上的信息訓練的，所以當考慮傷害時，起點應該是模型是否能促進比從Google或其他搜索結果中快速檢索到的信息更多的傷害。

當你考慮未來的機遇時，請記住，當今大多數領先的科技公司和科學研究都是建立在開源軟件之上的。如果我們共同投資，下一代公司和研究將使用開源人工智能。

最重要的是，開源人工智能代表了世界上利用這項技術為每個人創造最大經濟機會和安全的最佳機會。

讓我們一起建設

對于過去的 Llama 模型，Meta 是自己開發然后發布的，但并沒有過多關注構建更廣泛的生態系統。這次發布我們采取了不同的方法。我們正在內部組建團隊，讓盡可能多的開發人員和合作伙伴能夠使用 Llama，我們也在積極建立合作伙伴關系，以便生態系統中的更多公司也能為其客戶提供獨特的功能。

我相信 Llama 3.1 的發布將成為行業的一個轉折點，大多數開發人員將開始主要使用開源，并且我預計這種方法只會從現在開始發展。我希望你能加入我們的旅程，將人工智能的好處帶給世界上的每個人。

最新采訪鏈接：https://x.com/rowancheung/status/1815763595197616155