比ChatGPT早發兩周，被噴下線的Galactica成了LeCun最大的意難平
今天我們提到大型語言模型（LLM），第一個想到的就是 OpenAI 的 ChatGPT。一年來，ChatGPT 因其強大的性能，廣泛的應用前景而爆火出圈。但談到大型語言模型，ChatGPT 并不是第一個。
一年前，也就是 OpenAI 發布 ChatGPT 的前兩周，Meta 發布了一個名為 Galactica 的試用版模型。作為一個大型語言模型，Galactica 是在大量的論文、參考資料、知識庫和許多其他來源的科學語料庫上進行訓練的，包括超過 4800 萬篇論文、教科書和講義、數百萬種化合物和蛋白質知識、科學網站、百科全書等。
彼時，Meta 聲稱 Galactica 能夠總結學術文獻、解決數學問題、生成 Wiki 文章、編寫科學代碼，甚至可以執行涉及化學公式和蛋白質序列的多模態任務。
然而，上線不到三天，Galactica 就迅速下架了，原因是 Galactica 生成的文本不嚴謹，不負責任地胡編亂造。
當時，「幻覺」這個詞還沒有成為機器學習領域的主流詞匯，但 Galactica 可以說是因為嚴重的幻覺問題而被下架。
圖靈獎得主、Meta 首席科學家 Yann LeCun 為 Galactica 的下架感到非常遺憾，并發布推文：「再也不能用它來找樂子了。你們都開心了嗎？」顯然，LeCun 認為大家對 Galactica 的指責有些過分。
有趣的是，就在同一周，關于 GPT-4 即將發布的傳言不脛而走。11 月 30 日，當許多 AI 研究人員正在 NeurIPS 上討論 OpenAI 可能要推出 GPT-4 時，ChatGPT 突然就發布了。
當然， ChatGPT 很快也被發現有幻覺問題，這與 Galactica 和其他生成式 AI 一樣。ChatGPT 會「滔滔不絕」，自信滿滿，但它的回答又是似是而非的。但值得注意的是，OpenAI 在發布 ChatGPT 的博客中明確指出了它這一弱點，并解釋稱：「解決這一問題極具挑戰性?！?/span>
接下來的事情大家都看到了，ChatGPT 迅速成為 LLM 「頂流」。在過去的一年里，它已經成為有史以來增長最快的服務之一。推出兩個月后，月活用戶就突破了 1 億，現在每周用戶也有約 1 億。
現在，Galactica 的故事又一次被提起。外媒 VentureBeat 資深撰稿人 Sharon Goldman 發布了一篇新文章，講述了 Galactica 給 Meta 帶來的經驗教訓。
文章鏈接：https://venturebeat.com/ai/what-meta-learned-from-galactica-the-doomed-model-launched-two-weeks-before-chatgpt/
關于 Galactica，Meta 公司 AI 研究副總裁 Joelle Pineau 在采訪時向 VentureBeat 講道：「我們學到了很多好的經驗。這是一個很好的模型，我仍然收到很多人想要這個模型的請求。」
「人們對產品會有一種期望，就像是你想要用它來撰寫論文。但這并不是我們的初衷?！筆ineau 強調說：「Galactica 從來就不是一個產品，而是一個研究項目。我們是抱著這樣的目的發布的，我們做了一個低調的發布，把它放在 GitHub 上，研究人員在推特上發布了它，但是期望與研究之間的差距太大了?！?/span>
當時的人們顯然對模型幻覺十分驚訝，而幻覺這件事在一年后將變得稀松平常。其實，Galactica 的幻覺水平實際上低于其他模型，因為它是根據科學文獻進行微調的。
此外，在 VentureBeat 的文章中，作者 Sharon Goldman 也提到：令人慶幸的是，Galactica 的教訓給 Llama 的發布上了一課。
Meta 公司撤下了 Galactica 演示版，以確保人們不會被誤導使用它。Pineau 表示：「如果讓我今天來做這件事，我們會對發布進行管理。」當時，Meta 很可能錯誤地估計了人們對 Galactica 的期待，但 「我們已經將從中吸取的教訓融入到下一代模型中了?！?/span>
Meta 的下一代大型語言模型就是 LLaMA，它于 2023 年 2 月在 AI 研究領域掀起了一場風暴，隨后在 7 月推出了商用的 LLaMA 2，8 月又推出了 Code LLaMA。隨著 LLaMA 成為第一個主要的免費開源 LLM，開源 AI 開始嶄露頭角，并引發了一場熱火朝天的討論。
LLaMA 于 2 月 24 日發布時，Meta 非常謹慎。Yann LeCun 在分享 LLaMA 論文時表示：「Meta 致力于開放研究，將在 GPL v3 許可證下向研究社區發布所有模型。」
當被問及為什么研究人員必須填寫表格才能訪問 LLaMA 時，LeCun 回答道：「因為上次我們向所有人提供 LLM（ 旨在幫助科學家撰寫科學論文的 Galactica）時，人們對我們嗤之以鼻，并告訴我們這將破壞社會結構?！?/span>
看起來，LeCun 對 Galactica 的下架一直抱有「怨氣」。
如今，LeCun 也是馬上就在推特上轉發了 Sharon Goldman 這篇文章，說道：「輿論稱我們現在所說的 LLM 幻覺會摧毀科學出版系統。結果，一個對科學家來說非常有用的工具被毀了?！棺詈笏€表示：「以人工智能道德為幌子的誤導性觀點可能會適得其反?！惯@不得不讓人聯想到最近 LeCun 與另一位圖靈獎得主 Geoffrey Hinton 關于「AI 監管」的辯論。
Galactica 的第一作者 Ross Taylor 也在推特上發文表示：Galactica 在發布時因人手稀缺而沒有對基礎模型進行充分的檢查，這導致了一些問題。他們原本希望通過公開演示來收集科學查詢的數據，但這反而引起了誤解和批評。但他們的研究仍然是有價值的，并且從這次經歷中學到的教訓已經用到了后續的 LLaMA 2 項目中。
LeCun 更是用開源應「盡早發布，經常發布（release early, release often）」為 Galactica 再鳴不平。
無論如何，掀起大模型浪潮的是 OpenAI 的 ChatGPT，在開源領域實現突破的是 LLaMA，Galactica 的故事已成過去。
