OpenAI 的新戰(zhàn)略泄露，揭示了他們正在開發(fā)兩個強大的新模型：草莓和獵戶座，這兩者都將推動人工智能領(lǐng)域的巨大進步。本文將深入分析 OpenAI 的戰(zhàn)略，解讀這些模型背后的技術(shù)，以及它們可能帶來的潛在影響。

人工智能的困境：推理能力的缺失

大型語言模型 (LLM) 的能力常常被描述為“黑魔法”，但實際上它們只是基于一個簡單的原理：模式匹配。它們只是在訓(xùn)練過程中學(xué)習(xí)了數(shù)據(jù)中的模式，并根據(jù)這些模式進行預(yù)測。

然而，這種模式匹配能力存在一個致命缺陷：推理能力的缺失。LLM 無法像人類一樣進行復(fù)雜的推理，因為它們在訓(xùn)練數(shù)據(jù)中沒有看到足夠的推理過程。雖然網(wǎng)絡(luò)上的文本可能表達了智能的想法，但它們通常缺少推理過程。

因此，目前的 LLM 如 GPT-4o 和 Claude 3.5 Sonnet 所展現(xiàn)的“智能”，只是一種幻覺。它們只是能夠?qū)⒁阎闹R點進行組合，而并非真正理解和推理。

合成數(shù)據(jù)：打破推理能力的瓶頸

為了克服 LLM 的推理能力不足，研究人員們開始轉(zhuǎn)向合成數(shù)據(jù)。合成數(shù)據(jù)是指人工生成的數(shù)據(jù)，它可以用來訓(xùn)練模型進行推理。

合成數(shù)據(jù)在 LLM 訓(xùn)練中的應(yīng)用已經(jīng)十分普遍。例如，GPT-4o、 GPT-4o-mini、Grok-2-mini、Claude 3.5 Sonnet 和微軟 Phi 家族等模型都使用了合成數(shù)據(jù)進行訓(xùn)練。

Meta 采用了一種創(chuàng)新的方法：他們在訓(xùn)練過程中對模型進行檢查點，并在特定任務(wù)的數(shù)據(jù)集上進行微調(diào)，然后使用這些微調(diào)后的模型生成新的數(shù)據(jù)來訓(xùn)練更高級的版本。

蒸餾是一種壓縮模型的技術(shù)，它可以訓(xùn)練一個較小的模型來模仿更大的模型，從而在性能上接近更大的模型，但成本更低。例如，GPT-4o-mini 比 GPT-4 便宜 400 倍，而且性能更好。

蒸餾背后的數(shù)學(xué)原理：

• 交叉熵是 LLM 訓(xùn)練中常用的損失函數(shù)，它衡量的是模型預(yù)測的概率和真實概率之間的差異。
• KL 散度是一種衡量兩個概率分布之間差異的指標。
• 在蒸餾訓(xùn)練中，模型不僅要學(xué)習(xí)預(yù)測正確的下一個詞，還要學(xué)習(xí)模仿教師模型的概率分布，從而實現(xiàn)對教師模型的模仿。

草莓模型：提升推理能力的關(guān)鍵

OpenAI 的新戰(zhàn)略可以分為兩個階段，分別對應(yīng)兩個新的模型家族：草莓和獵戶座。

草莓模型是 OpenAI 研發(fā)多年的新模型，它旨在提高 LLM 的推理能力。

草莓模型的研發(fā)基礎(chǔ)：

• 驗證器：OpenAI 在 2021 年提出了驗證器的概念，它可以用來評估模型的推理過程和結(jié)果。
• **過程監(jiān)督獎勵模型 (PRM)**：OpenAI 在 2023 年提出了 PRM，它可以根據(jù)模型推理過程中的每個步驟來評估模型的性能。
• 證明者-驗證者游戲：OpenAI 在 2024 年提出了證明者-驗證者游戲，它可以幫助模型生成更容易理解的答案，方便人類進行評估。

草莓模型的工作原理：

• 它可以搜索解空間，并使用驗證器來驗證每個推理步驟。
• 它可以利用更小的驗證器，從而降低計算成本。

草莓模型的局限性：

• 由于需要進行長時間的推理過程，因此成本較高。

草莓模型的應(yīng)用：

• OpenAI 可能會通過蒸餾技術(shù)，訓(xùn)練一個更小的草莓 mini 模型，并將其集成到 ChatGPT 產(chǎn)品中，以提升 ChatGPT 的推理能力。

獵戶座模型：人工智能的下一個里程碑

雖然草莓模型可以提升 LLM 的推理能力，但它可能只是 OpenAI 實現(xiàn)下一個目標的過渡階段。獵戶座模型才是 OpenAI 的最終目標，它將是下一個強大的 AI 模型。

獵戶座模型的訓(xùn)練過程：

• OpenAI 可能使用 GPT-4o 和 GPT-4o-mini 生成大量的推理數(shù)據(jù)。
• 他們使用這些數(shù)據(jù)訓(xùn)練強大的獎勵模型，以評估推理過程。
• 他們使用 GPT-4o/mini 和驗證器進行主動搜索，生成更高級的推理數(shù)據(jù)。
• 他們使用這些數(shù)據(jù)訓(xùn)練草莓 Large 模型。
• 他們使用草莓 Large 模型重復(fù)步驟 1-4，最終訓(xùn)練出獵戶座模型。

獵戶座模型的潛在影響：

• 獵戶座模型可能比目前的 LLM 更強大，并能夠執(zhí)行更復(fù)雜的推理任務(wù)。
• 獵戶座模型的發(fā)布可能會引發(fā)社會對人工智能的擔憂。

結(jié)語

OpenAI 的新戰(zhàn)略，預(yù)示著人工智能領(lǐng)域的重大突破。草莓和獵戶座模型將推動人工智能的發(fā)展，并可能帶來前所未有的機遇和挑戰(zhàn)。

未來，人工智能將會如何發(fā)展？社會將如何應(yīng)對人工智能的快速發(fā)展？這些問題需要我們認真思考和探索。

本文轉(zhuǎn)載自 ??DevOpsAI??，作者： OpenAI