前些天，OpenAI 少見地 Open 了一回，發布了兩個推理模型 gpt-oss-120b 和 gpt-oss-20b。

但是，這兩個模型都是推理模型，OpenAI 并未發布未經強化學習的預訓練版本 gpt-oss 基礎模型。然而，發布非推理的基礎模型一直都是 AI 開源 / 開放權重社區的常見做法，DeepSeek、Qwen 和 Mistral 等知名開放模型皆如此。

近日，Cornell Tech 博士生、Meta 研究員 Jack Morris 決定自己動手填補這一空白。

他昨天在 ?? 上表示已經搞清楚了如何撤銷 gpt-oss 模型的強化學習，讓其回退成基礎模型。他還宣布將在今天發布他得到的基礎模型。

就在剛剛，他兌現了自己的承諾，發布了 gpt-oss-20b-base。

模型地址：https://huggingface.co/jxm/gpt-oss-20b-base

該模型一發布就獲得了大量好評。

據介紹，該模型基于 gpt-oss-20b 混合專家模型 —— 使用低秩適應（LoRA）將其微調成了一個基礎模型。

不同于 OpenAI 發布的 gpt-oss 模型，gpt-oss-20b-base 是基礎模型，可用于生成任意文本。也就是說，從效果上看，Morris 逆轉了 gpt-oss-20b 訓練過程中的對齊階段，使得到的模型可以再次生成看起來自然的文本。如下對比所示。

但也必須指出，正是因為 gpt-oss-20b 的對齊階段被逆轉了，因此這個模型已經不再對齊。也就是說，gpt-oss-20b-base 不僅會毫無顧忌地說臟話，也能幫助策劃非法活動，所以使用要慎重。

研究者還測試了 gpt-oss-20b-base 的記憶能力。他表示：「我們可以使用來自有版權材料的字符串提示模型，并檢查它的輸出，這樣就能輕松測試 gpt-oss 的記憶能力。」結果，他發現 gpt-oss 記得 6 本被測書籍中的 3 本。他說：「gpt-oss 絕對看過《哈利?波特》。」

gpt-oss-20b-base 的誕生之路

Jack Morris 也在 ?? 上分享了自己從靈感到煉成 gpt-oss-20b-base 的經歷。

他介紹說自己此前使用的方法是「越獄（jailbreaking）」，但這個思路是錯誤的。于是，他想尋找一個可以誘使模型變回基礎模型的提示詞 —— 但這很難。

在與 OpenAI 聯合創始人、前 Anthropic 研究者、Thinking Machines 聯合創始人兼首席科學家 John Schulman 一番交流之后，他得到了一個好建議：為什么不將這種「對齊逆轉」定義為優化？

也就是說「可以使用網絡文本的一個子集來搜索最小可能的模型更新，使 gpt-oss 表現為基礎模型」。

這涉及到兩個原理。

原理 1. 低秩性（Low-rankedness）

普遍的觀點是，預訓練是將所有信息存儲在模型權重中，而對齊 / 強化學習只是將輸出分布集中在有利于對話（和推理）的非常狹窄的輸出子集上。如果這是真的，那么 gpt-oss 模型與其原始預訓練模型權重相比，其實只進行了少量更新。

也就是說：在預訓練方向上存在一些足夠低秩的更新，而這些更新就可以「逆轉」后訓練過程。

原理 2：數據不可知性（Data Agnosticism）

此外，需要明確，Morris 想要的是恢復原始模型的能力，而不是繼續對其進行預訓練。這里并不想要模型學習任何新內容，而是希望它重新具備自由的文本生成能力。

所以，只要數據與典型的預訓練類似，使用什么數據都沒關系。Morris 表示選擇 FineWeb 的原因是它的開放度相對較高，加上他已經下載了。他表示只使用了大約 20,000 份文檔。

因此實際上講，他的做法就是將一個非常小的低秩 LoRA 應用于少數幾個線性層，并使用 <bos> ... 形式的數據進行訓練，就像典型的預訓練一樣。

具體技術上，Morris 表示，gpt-oss-20b-base 是原始 gpt-oss-20b 模型的 LoRA 微調版本。為了確保盡可能低的秩，他僅對第 7、15 和 23 層的 MLP 層進行了微調。至于 LoRA，他使用了 16 的秩，因此總共有 60,162,048 個可訓練參數，占原始模型 20,974,919,232 個參數的 0.3%。他已將所有參數合并回去，因此用戶可以將此模型視為完全微調的模型 —— 這使得它在大多數用例中都更有用。

該模型以 2e-6 的學習率和 16 的批次大小在 FineWeb 數據集中的樣本上進行了 1500 步微調。其最大序列長度為 8192。

那么，正如前 OpenAI 政策研究者 Miles Brundage 問道的那樣：「有什么證據表明這是在掘出下面的基礎模型，而不是教導一個已經蒸餾過的 / 無基礎的模型像基礎模型一樣運作？」

Morris 解釋說：「理論上講，因為這個更新的秩很低。而從實踐上看，是因為生成結果與訓練數據無關。例如，我沒有訓練模型輸出《哈利?波特》，但它卻不知怎的知道其內容。」

未來，Morris 表示還會更徹底地檢查 gpt-oss-20b-base 記憶的內容，并會試試逆轉 gpt-oss-120b，另外他還將嘗試指令微調以及與 GPT-2 和 GPT-3 進行比較。

對于該項目你怎么看？會嘗試這個模型嗎？