Meta版ChatGPT來了：Llama 2加持，接入必應(yīng)搜索，小扎現(xiàn)場演示

作者：機(jī)器之心 2023-09-28 12:06:23

這個(gè)名為 Meta AI 的人工智能助手，看起來與 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 2 等聊天機(jī)器人非常相似。

今天凌晨，一年一度的 Meta Connect 大會上發(fā)布了一系列以 AI 為重點(diǎn)的公告。

不只有最新的 MR 耳機(jī)、與 Ray-Ban 合作打造的智能眼鏡，最重要的是，Meta 將在自身的所有通訊類 App、Meta Quest 3 和未來的 Ray-Ban Meta 智能眼鏡中內(nèi)置生成式 AI 技術(shù)驅(qū)動的新功能，從多輪對話的 AI 助手到圖像編輯等一應(yīng)俱全。

所有這些發(fā)布涉及的 AI 技術(shù)均基于 Llama 2—— 迄今為止最強(qiáng)大的開源大模型。不過 Meta 也提前透露了，更強(qiáng)大的 Llama 3 將于 2024 年推出。

Meta 還在 Connect 大會上宣布了全新的圖像生成器 Emu，它將用于為 AI 貼紙和圖像編輯等功能提供支持。

Meta 版聊天機(jī)器人「Meta AI」問世

大模型出現(xiàn)后，科技公司都在推出一系列新的人工智能機(jī)器人，引領(lǐng)開源一方的 Meta 也不例外，其正在其消息應(yīng)用程序中推出一系列新的人工智能機(jī)器人，包括 WhatsApp、Messenger 和 Instagram。從本周三起，全新上線的大模型能力可供美國的部分測試版用戶使用。

扎克伯格展示 Meta 版 ChatGPT

這個(gè)名為 Meta AI 的人工智能助手，看起來與 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 2 等聊天機(jī)器人非常相似。

扎克伯格表示，用戶現(xiàn)在已經(jīng)可以通過群聊接受大模型的幫助，與朋友計(jì)劃旅行、收獲知識問題回答，并通過微軟的 Bing 搜索互聯(lián)網(wǎng)以提供實(shí)時(shí)網(wǎng)絡(luò)結(jié)果。

與此前 Facebook 的虛擬助手 M 不同，定制的 Meta AI 助手面向更廣大的用戶群體，而且是完全自動化的，其模型可以參考之前的對話，經(jīng)過調(diào)整可以給出「非常簡潔」的答案。

這意味著最新的 AI 助手需要擁有強(qiáng)大的上下文學(xué)習(xí)能力。關(guān)于如何實(shí)現(xiàn)，Meta 也在一篇新論文中介紹了背后的技術(shù)：

論文地址：https://ai.meta.com/research/publications/effective-long-context-scaling-of-foundation-models/

在上面這篇論文中，Meta 通過持續(xù)預(yù)訓(xùn)練 LLAMA 2 checkpoints 來構(gòu)建模型，并使用了額外的 4000 億個(gè) token 作為長訓(xùn)練序列。在該系列模型中，較小規(guī)模的 7B/13B 變體使用了 32768 個(gè) token 序列進(jìn)行訓(xùn)練，而 34B/70B 變體則使用了 16,384 個(gè) token 序列。

與現(xiàn)有研究進(jìn)行的有限評估不同，Meta 使用語言建模、合成任務(wù)以及涵蓋長短語境任務(wù)的各種實(shí)際基準(zhǔn)對我們的模型進(jìn)行了廣泛評估。在語言建模方面，Meta 的模型在上下文長度方面表現(xiàn)出明顯的冪律縮放行為。這種縮放行為不僅表明該模型能夠持續(xù)從更多語境中獲益，還表明語境長度是縮放 LLM 的另一個(gè)重要軸心。在研究基準(zhǔn)上將新模型與 LLAMA 2 進(jìn)行比較時(shí)，我們不僅能觀察到在長語境任務(wù)上的顯著改進(jìn)，而且還觀察到在標(biāo)準(zhǔn)短語境任務(wù)上的適度改進(jìn)，尤其是在編碼、數(shù)學(xué)和知識基準(zhǔn)上。

研究人員探索了一種簡單而經(jīng)濟(jì)有效的方法，在沒有任何人工標(biāo)注數(shù)據(jù)的情況下，對持續(xù)預(yù)訓(xùn)練的長模型進(jìn)行指導(dǎo)性微調(diào)。最終的結(jié)果是，在一系列長語境基準(zhǔn)測試中，聊天模型的整體性能超過了 gpt-3.5-turbo-16k，這些基準(zhǔn)測試包括問題解答、摘要和多文檔聚合任務(wù)。

目前，Meta AI 可以在任何聊天中調(diào)用。與 ChatGPT 接入 DALLE?3 能力類似，Meta AI 可以利用自家的圖像生成模型 Emu 來生成帶水印的圖像。

除了 Meta AI 之外，Meta 今天還推出了一系列「AI 角色」—— 大模型可以模仿某些名人的個(gè)性，包括 Kendall Jenner、德維恩?韋德、MrBeast、帕麗斯希爾頓、Charli D'Amelio 和 Snoop Dogg，其他機(jī)器人，包括貝爾?格里爾斯（Bear Grylls）、Chloe Kim 和 Josh Richards 正在路上。與 Meta AI 一樣，聊天機(jī)器人也存在于 Meta 的消息應(yīng)用程序中，它們有個(gè)人資料圖像和時(shí)間線，就像真人一樣。當(dāng)你與他們聊天時(shí)，化身會根據(jù)對話巧妙地產(chǎn)生動畫。

Meta 表示，為了保證安全性，其在發(fā)布模型之前花費(fèi)了 6000 個(gè)小時(shí)尋找有問題的用例并招募員工在內(nèi)部與模型進(jìn)行交互。它還聲稱已經(jīng)開發(fā)了新技術(shù)來捕獲違反其政策的內(nèi)容并對其采取行動，阻止 Meta AI 以外的聊天機(jī)器人搜索網(wǎng)絡(luò)。

圖像生成領(lǐng)域又一選手：Emu

在大會上，扎克伯格還介紹了全新的圖像生成模型「Emu」。

Emu（鴯鹋）的命名方式延續(xù)了 Meta 的動物主題。這是 Meta 對 DALL-E 和 MidJourney 等爆火應(yīng)用程序的正式回應(yīng)，同時(shí)推出的還有「生成式 AI 表情」和「圖像編輯」兩個(gè)重點(diǎn)新功能。

由 Emu 提供支持的新功能將允許用戶在幾秒鐘內(nèi)創(chuàng)建獨(dú)一無二的 AI 表情，不久后就將登陸 WhatsApp、Messenger、Instagram 甚至 Facebook Stories 等 Meta 旗下的應(yīng)用程序。

扎克伯格表示：「人們每天都會發(fā)送數(shù)以億計(jì)的表情來表達(dá)聊天內(nèi)容。每一次聊天都是不同的，人們想表達(dá)的情緒也有微妙的不同，但現(xiàn)在我們只有固定數(shù)量的表情。有了 Emu，你就可以隨意輸入想要的東西了。」

具體來說，想使用這一功能，用戶可以在文本框中輸入想看到的圖片：

Meta 表示，生成多個(gè)即時(shí)分享選項(xiàng)平均需要三秒鐘。

此外，Meta 還即將在 Instagram 應(yīng)用程序中推出「圖像編輯」功能。用戶可以改造自己的圖片，或與朋友共同創(chuàng)建 AI 生成的圖片，同樣由 Emu 的技術(shù)提供支持。

以「風(fēng)格重塑」（Restyle）選項(xiàng)為例，通過輸入「水彩」或更詳細(xì)的提示詞，用戶可以改造圖片的視覺風(fēng)格：

現(xiàn)場，扎克伯格演示了對自己的狗狗「Beast」照片的編輯，將其變成了折紙和十字繡的風(fēng)格：

再比如，利用「背景」（Backdrop）選項(xiàng)，用戶可以通過提示詞來改變圖像的場景或背景：

在最新公布的論文中，Meta 也介紹了 Emu 背后的技術(shù)細(xì)節(jié)：

論文地址：https://ai.meta.com/research/publications/emu-enhancing-image-generation-models-using-photogenic-needles-in-a-haystack/

具體來說，Meta 在 11 億的圖像 - 文本對上預(yù)訓(xùn)練了一個(gè)潛在擴(kuò)散模型 (LDM)，并在從大量圖像語料庫中手工挑選出的幾千張高質(zhì)量圖像上對模型進(jìn)行了質(zhì)量調(diào)整。鑒于圖像選擇的標(biāo)準(zhǔn)具有主觀性和文化依賴性。Meta 在此過程遵循了一些常見的攝影原則，包括但不限于構(gòu)圖、照明、色彩、有效分辨率、焦點(diǎn)和故事性。

通過對潛在擴(kuò)散架構(gòu)進(jìn)行一些優(yōu)化，Meta 建立了一個(gè)強(qiáng)大的預(yù)訓(xùn)練模型，并通過質(zhì)量調(diào)整大大提高了生成圖像的視覺吸引力，也就是 Emu。在視覺吸引力方面，Emu 的表現(xiàn)明顯優(yōu)于當(dāng)前的開源 SOTA 模型 SDXL v1.0 ，如下圖所示。