OpenAI 剛剛在Hugging Face和GitHub上悄悄發(fā)布了circuit-sparsity模型和工具包。這次發(fā)布的是一組專門研究Transformer內部工作機制的工具，跟普通模型更新完全不同。

權重稀疏Transformer是什么？

簡單說，這些是基于GPT-2架構、專門訓練用于理解Python代碼的模型。關鍵區(qū)別在于：它們從訓練開始就是"稀疏"的，不是訓練完再剪枝，天生就只保留部分連接。

傳統(tǒng)大模型像密集的神經(jīng)網(wǎng)絡，每個神經(jīng)元都相互連接。稀疏模型更像人腦，只有特定路徑被激活。OpenAI發(fā)現(xiàn)，這種稀疏性反而讓模型的"思考過程"變得可追溯。

工具包的實際價值

circuit-sparsity工具包提供了"激活橋"技術，能在稀疏模型和標準密集模型之間建立連接。這意味著研究人員可以：

• 精確追蹤模型處理輸入時的內部信號路徑
• 理解特定功能（比如代碼補全）對應的神經(jīng)網(wǎng)絡電路
• 比較稀疏與密集模型在相同任務上的表現(xiàn)差異

為什么這很重要？

當前大模型最大的問題就是不可解釋性。我們不知道它們?yōu)槭裁醋龀鎏囟Q策，這限制了在醫(yī)療、金融等敏感領域的應用。

OpenAI這項研究顯示，通過精心設計的稀疏結構，模型不僅能保持性能，還自然形成了模塊化的功能單元。就像從一團亂麻中理出了清晰的線路圖。

對開發(fā)者的意義

工具包完全開源，支持直接加載預訓練模型進行實驗。如果你一直在苦惱如何理解自己的模型內部發(fā)生了什么，現(xiàn)在有了更直接的工具。

不過要提醒的是，這還處于研究階段。稀疏模型訓練更困難，需要精心調整超參數(shù)。但至少，我們終于有辦法掀開AI黑箱的蓋子看一眼了。

開源地址：https://github.com/openai/circuit_sparsity
模型下載：https://huggingface.co/openai/circuit-sparsity

轉載自??AI工程化??，作者：ully