還記得這些天大模型被揪出來的低級錯誤嗎？

不知道 9.11 和 9.9 哪個大，數(shù)不清 Strawberry 單詞里面有多少個 r…… 每每被發(fā)現(xiàn)一個弱點，大模型都只能接受人們的無情嘲笑。

嘲笑之后，大家也冷靜了下來，開始思考：低級錯誤背后的本質(zhì)是什么？

大家普遍認為，是 Token 化（Tokenization）的鍋。

在國內(nèi)，Tokenization 經(jīng)常被翻譯成「分詞」。這個翻譯有一定的誤導(dǎo)性，因為 Tokenization 里的 token 指的未必是詞，也可以是標(biāo)點符號、數(shù)字或者某個單詞的一部分。比如，在 OpenAI 提供的一個工具中，我們可以看到，Strawberry 這個單詞就被分為了 Str-aw-berry 三個 token。在這種情況下，你讓 AI 大模型數(shù)單詞里有幾個 r，屬實是為難它。

除了草莓 (Strawberry) 之外，還有一個很好的例子就是「Schoolbooks」這個詞，AI 模型會把它分為 school 和 books 兩個 token。

這個問題也吸引了剛剛投身 AI + 教育行業(yè)的 Karpathy 的注意。為了讓大家直觀地看到大模型眼里的文字世界，他特地寫了一個小程序，用表情符號（emoji）來表示 token。

按照小程序被設(shè)計的表示方法，「How many letters 'r' in the word'strawberry'?」在 LLM 看來是這樣的：

一段文本在 LLM 看來會是這樣：

但這種解釋也引起了另一種疑問：如果你讓大模型把 Strawberry 這個詞的每個字母都列出來，然后刪掉 r 以外的字母，大模型就能數(shù)對了，那大模型為什么自己不這么做呢？它好像不太會利用自己的能力。

對此，Karpathy 給出的回復(fù)是「因為沒有人教它這么做」。

其實，如果你在 Prompt 里加上「think step by step」等思維鏈相關(guān)「咒語」，大模型是可以分步驟解決問題的，而且很有可能數(shù)對「r」的數(shù)量。那它之前不假思索就給出答案，是不是因為過度自信？   

對此，有人猜測說，大模型公司給 LLM 的設(shè)定可能就是讓它在一個問題上花費盡可能少的時間，因此，除非你明確要求，不然它不會主動去深入思考。

對于這種說法，我們也測試了一下。結(jié)果發(fā)現(xiàn)，如果明確要求深入思考，模型確實立馬就會數(shù)了：   

這就類似于它有兩套系統(tǒng)：快速、依靠直覺的系統(tǒng) 1 和較慢、較具計劃性且更仰賴邏輯的系統(tǒng) 2，平時默認使用系統(tǒng) 1。

當(dāng)然，這些只是猜測。

綜合最近的新聞來看，我們會發(fā)現(xiàn)一個有意思的現(xiàn)象：一方面，大模型都能在人類奧數(shù)中拿銀牌了；而另一方面，它們又在數(shù)數(shù)、比大小方面集體翻車。類似的例子還有不會玩幾歲小孩都會玩的井字棋，不會判斷兩個圓是否重疊等。

Karpathy 給這種現(xiàn)象取了個名字 ——Jagged Intelligence（Jagged 的意思是參差不齊的）。這種參差不齊的智能表現(xiàn)和人類是不一樣的，人類的知識體系和解決問題的能力在成長過程中是高度相關(guān)的，并且是同步線性發(fā)展的，而不是在某些領(lǐng)域突然大幅度提升，而在其他領(lǐng)域卻停滯不前。

Karpathy 認為，這一問題的核心在于目前的大模型缺乏「認知自我知識（cognitive self-knowledge）」（ 模型自身對其知識和能力的自我認知 ）。如果模型具備這種能力，它可能會在面對「數(shù)字母」這樣的問題時回答說，「我不太擅長數(shù)字母，讓我使用代碼解釋器來解決這個問題」。

這一問題的解決方案可能包括但不限于擴大規(guī)模，可能需要在整個技術(shù)棧的各個方面都做一些工作，比如在后訓(xùn)練階段采用更復(fù)雜的方法。

對此，Karpathy 推薦閱讀 Llama 3 論文的 4.3.6 章節(jié)。在此章節(jié)中，Meta 的研究者提出了一些方法來讓模型「只回答它知道的問題」。

該章節(jié)寫到：

我們遵循的原則是，后訓(xùn)練應(yīng)使模型「知道它知道什么」，而不是增加知識。我們的主要方法是生成數(shù)據(jù)，使模型生成與預(yù)訓(xùn)練數(shù)據(jù)中的事實數(shù)據(jù)子集保持一致。為此，我們開發(fā)了一種知識探測技術(shù)，利用 Llama 3 的 in-context 能力。數(shù)據(jù)生成過程包括以下步驟：

1、從預(yù)訓(xùn)練數(shù)據(jù)中提取數(shù)據(jù)片段。

2、通過提示 Llama 3 生成一個關(guān)于這些片段（上下文）的事實問題。

3、采樣 Llama 3 關(guān)于該問題的回答。

4、以原始上下文為參照，以 Llama 3 為裁判，評估生成的回答的正確性。 

5、以 Llama 3 為裁判，評估生成回答的信息量。

6、對于 Llama 3 模型在多個生成過程中提供的信息雖多但內(nèi)容不正確的回答，使用 Llama 3 生成拒絕回答的內(nèi)容。 

我們使用知識探測生成的數(shù)據(jù)來鼓勵模型只回答它知道的問題，而拒絕回答它不確定的問題。此外，預(yù)訓(xùn)練數(shù)據(jù)并不總是與事實一致或正確。因此，我們還收集了一組有限的標(biāo)注事實性數(shù)據(jù)，這些數(shù)據(jù)涉及與事實相矛盾或不正確的陳述。

最后，Karpathy 表示，這種參差不齊的智能問題值得注意，尤其是在生產(chǎn)環(huán)境中。我們應(yīng)該致力于讓模型只完成他們擅長的任務(wù)，不擅長的任務(wù)由人類及時接手。