OpenAI 的風(fēng)波暫時(shí)告一段落，員工也忙著「干活了」。

年初回歸 OpenAI 的 Andrej Karpathy 最近做了一場(chǎng)關(guān)于大型語(yǔ)言模型（LLM）的 30 分鐘入門講座，但該講座當(dāng)時(shí)沒(méi)錄制。因此，他基于這場(chǎng)講座重新錄制了一個(gè)長(zhǎng)達(dá) 1 小時(shí)的視頻，希望讓更多人看到和學(xué)習(xí)。

視頻的主題為《大型語(yǔ)言模型入門》，涵蓋了 LLM 的推理、訓(xùn)練、微調(diào)以及新出現(xiàn)的 LLM 操作系統(tǒng)和 LLM 安全。視頻主打「非技術(shù)性」，偏科普，所以更加容易理解。

想要了解更詳細(xì)內(nèi)容，大家可觀看原視頻。

我們接下來(lái)整體了解一下 Karpathy 都講到了哪些內(nèi)容。視頻主要分為三大部分展開(kāi)，分別是 LLMs、LLMs 的未來(lái)和 LLM 安全。

在第一部分，Karpathy 首先介紹了 LLM 的一些入門知識(shí)，并以 Meta 推出的開(kāi)源大模型 Llama 2-70b 為例講解。該模型有 700 億參數(shù)，它主要包含兩個(gè)文件，分別是參數(shù)文件（文件大小為 140GB）和運(yùn)行這些參數(shù)的代碼（以 C 語(yǔ)言為例需要約 500 行代碼）。

因此，在 LLM 推理階段，Karpathy 表示只要有這兩個(gè)文件再加上一臺(tái) MacBook，我們就可以構(gòu)建一個(gè)獨(dú)立的系統(tǒng)，無(wú)需聯(lián)網(wǎng)或其他設(shè)施。這里他展示了跑 70 億參數(shù)大模型的例子。

LLM 訓(xùn)練比推理復(fù)雜得多。Karpathy 表示，模型推理可以在一臺(tái) MacBook 上運(yùn)行，但模型訓(xùn)練過(guò)程耗費(fèi)的計(jì)算量就非常大了。因此，我們需要對(duì)互聯(lián)網(wǎng)內(nèi)容進(jìn)行壓縮。他以 Llama 2-70b 為例來(lái)說(shuō)明，訓(xùn)練該模型需要從網(wǎng)絡(luò)爬取約 10TB 的文本，大約需要 6000 個(gè) GPU 訓(xùn)練約 12 天，耗資 200 萬(wàn)美元，參數(shù)文件大小約為 140GB。

顯然 Llama 2-70b 并不是最大的，如果訓(xùn)練 ChatGPT、Claude 或 Bard，這些數(shù)字可能會(huì)增加 10 倍或者更多，耗資可能高達(dá)千萬(wàn)甚至上億美元。

不過(guò)，一旦擁有了這些參數(shù)，運(yùn)行神經(jīng)網(wǎng)絡(luò)的計(jì)算成本就相對(duì)較低了。Karpathy 解釋了什么是神經(jīng)網(wǎng)絡(luò)，它的基本任務(wù)是預(yù)測(cè)序列中的下一個(gè)單詞。他將訓(xùn)練過(guò)程視為一種互聯(lián)網(wǎng)的壓縮，如果可以準(zhǔn)確地預(yù)測(cè)下一個(gè)單詞，則能夠用來(lái)壓縮數(shù)據(jù)集。

神經(jīng)網(wǎng)絡(luò)是如何預(yù)測(cè)下一個(gè)單詞的呢？Karpathy 介紹稱，正如以下 Transformer 神經(jīng)網(wǎng)絡(luò)架構(gòu)示意圖，1000 億參數(shù)分布在整個(gè)神經(jīng)網(wǎng)絡(luò)中。這就需要迭代地調(diào)整這些參數(shù)，使網(wǎng)絡(luò)作為一個(gè)整體來(lái)更好地執(zhí)行預(yù)測(cè)下一個(gè)單詞的任務(wù)。

上面這些是訓(xùn)練的第一階段，稱為預(yù)訓(xùn)練，顯然還不足以訓(xùn)練出一個(gè)真正的助理模型。這就要進(jìn)入微調(diào)階段。預(yù)訓(xùn)練階段需要大量來(lái)自互聯(lián)網(wǎng)的文本數(shù)據(jù)，這些數(shù)據(jù)可能質(zhì)量不高。但微調(diào)階段看重?cái)?shù)據(jù)的質(zhì)量而非數(shù)量，比如需要非常高質(zhì)量的對(duì)話文檔。

Karpathy 總結(jié)了如何訓(xùn)練自己的 ChatGPT。預(yù)訓(xùn)練階段獲得基礎(chǔ)模型，微調(diào)階段則需要編寫標(biāo)簽指令、雇人收集高質(zhì)量的 QA 響應(yīng)、對(duì)基礎(chǔ)模型進(jìn)一步微調(diào)、進(jìn)行大量評(píng)估以及部署等步驟。

第二部分講的是 LLMs 的未來(lái)，包括 LLM 縮放法則、工具使用、多模態(tài)、思考及 System 1/2、自我改進(jìn)及 LLM AlphaGo、LLM 定制、GPTs Store 以及 LLM 操作系統(tǒng)等。

所謂 LLM 縮放法則，即 LLM 的性能可以表示為非常平滑、表現(xiàn)良好且可以預(yù)測(cè)的兩個(gè)變量函數(shù)，分別是網(wǎng)絡(luò)中的參數(shù)量（N）和要訓(xùn)練的文本量（D）。我們可以根據(jù)這兩個(gè)變量通過(guò)縮放來(lái)預(yù)測(cè)下一個(gè)單詞預(yù)測(cè)任務(wù)中的準(zhǔn)確率。

至于工具使用，Karpathy 提到了瀏覽器、計(jì)算器、解釋器和 DALL-E。這里著重講一下 DALL-E，它是 OpenAI 開(kāi)發(fā)的文生圖工具。目前，最新版本 DALL-E 3 已經(jīng)集成到了 ChatGPT 中，可以輸入自然語(yǔ)言描述來(lái)生成圖像。

多模態(tài)也是近來(lái)領(lǐng)域關(guān)注的重點(diǎn)，比如視覺(jué)、音頻等。在視覺(jué)領(lǐng)域，大模型不僅可以生成圖像，還可以看到（See）圖像。Karpathy 提到了 OpenAI 聯(lián)合創(chuàng)始人 Greg Brockman 的一個(gè)演示，后者向 ChatGPT 展示了一張 MyJoke 網(wǎng)站的手寫小圖。結(jié)果 ChatGPT 看明白了這張圖，并創(chuàng)建一個(gè) MyJoke 網(wǎng)站。我們可以訪問(wèn)這個(gè)網(wǎng)站，還可以看到笑話。

在談到 LLM 的未來(lái)發(fā)展時(shí)，Karpathy 提到了 System 1 和 System 2 的思維模式。System 1 是快速、本能和自動(dòng)的思維過(guò)程，System 2 則是有意識(shí)、有思考的思維過(guò)程。現(xiàn)在，人們希望為 LLM 引入更多類似 Sytem 2 的思維能力。此外 LLM 的自我改進(jìn)也是需要關(guān)注的重點(diǎn)問(wèn)題之一。

LLMs 的定制化更是近來(lái)的熱點(diǎn)。OpenAI CEO Sam Altman 在開(kāi)發(fā)者日上宣布推出的 GPTs 商店走出了模型定制化的第一步。用戶可以創(chuàng)建自己的 GPT，根據(jù)需求進(jìn)行定制，或者添加更多知識(shí)。未來(lái)對(duì) LLM 進(jìn)行微調(diào)和定制的可能性越來(lái)越大。

至于 LLM 操作系統(tǒng)，與當(dāng)前的傳統(tǒng)操作系統(tǒng)有很多相似之處。在未來(lái)幾年，LLM 可以閱讀和生成文本，擁有比任何個(gè)人都豐富的知識(shí)，瀏覽互聯(lián)網(wǎng)，使用現(xiàn)有軟件基礎(chǔ)架構(gòu)，具備查看和生成圖像、視頻的能力，聽(tīng)到、發(fā)出并創(chuàng)作音樂(lè)，利用 System 2 進(jìn)行深入思考，能夠自我改進(jìn)，針對(duì)特有任務(wù)微調(diào)和定制，等等。

第三部分是 LLM 安全性。Karpathy 講了越獄（Jailbreak）、提示注入（Prompt injection）、數(shù)據(jù)投毒或后門打擊（Data poisoning or Backdoor atteck）等三種打擊方式。