消費級顯卡可用！李開復零一萬物發(fā)布并開源90億參數(shù)Yi模型，代碼數(shù)學能力史上最強
李開復旗下AI公司零一萬物，又一位大模型選手登場：
90億參數(shù)Yi-9B。
它號稱Yi系列中的“理科狀元”，“惡補”了代碼數(shù)學，同時綜合能力也沒落下。
在一系列類似規(guī)模的開源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等）中，表現(xiàn)最佳。
老規(guī)矩，發(fā)布即開源，尤其對開發(fā)者友好：
Yi-9B（BF 16） 和其量化版 Yi-9B（Int8）都能在消費級顯卡上部署。
一塊RTX 4090、一塊RTX 3090就可以。
深度擴增+多階段增量訓練而成
零一萬物的Yi家族此前已經發(fā)布了Yi-6B和Yi-34B系列。
這兩者都是在3.1T token中英文數(shù)據(jù)上進行的預訓練，Yi-9B則在此基礎上，增加了0.8T token繼續(xù)訓練而成。
數(shù)據(jù)的截止日期是2023年6月。
開頭提到，Yi-9B最大的進步在于數(shù)學和代碼，那么這倆能力究竟如何提升呢？
零一萬物介紹：
單靠增加數(shù)據(jù)量并沒法達到預期。
靠的是先增加模型大小，在Yi-6B的基礎上增至9B，再進行多階段數(shù)據(jù)增量訓練。
首先，怎么個模型大小增加法？
一個前提是，團隊通過分析發(fā)現(xiàn)：
Yi-6B訓練得已經很充分，再怎么新增更多token練效果可能也不會往上了，所以考慮擴增它的大小。(下圖單位不是TB而是B)
怎么增？答案是深度擴增。
零一萬物介紹：
對原模型進行寬度擴增會帶來更多的性能損失，通過選擇合適的layer對模型進行深度擴增后，新增layer的input/output cosine 越接近1.0，即擴增后的模型性能越能保持原有模型的性能，模型性能損失微弱。
依照此思路，零一萬物選擇復制Yi-6B相對靠后的16層（12-28 層)，組成了48層的Yi-9B。
實驗顯示，這種方法比用Solar-10.7B模型復制中間的16層（8-24層）性能更優(yōu)。
其次，怎么個多階段訓練法？
答案是先增加0.4T包含文本和代碼的數(shù)據(jù)，但數(shù)據(jù)配比與Yi-6B一樣。
然后增加另外的0.4T數(shù)據(jù)，同樣包括文本和代碼，但重點增加代碼和數(shù)學數(shù)據(jù)的比例。
（悟了，就和我們在大模型提問里的訣竅“think step by step”思路一樣）
這兩步操作完成后，還沒完，團隊還參考兩篇論文（An Empirical Model of Large-Batch Training和Don’t Decay the Learning Rate, Increase the Batch Size）的思路，優(yōu)化了調參方法。
即從固定的學習率開始，每當模型loss停止下降時就增加batch size，使其下降不中斷，讓模型學習得更加充分。
最終，Yi-9B實際共包含88億參數(shù)，達成4k上下文長度。
Yi系列中代碼和數(shù)學能力最強
實測中，零一萬物使用greedy decoding的生成方式（即每次選擇概率值最大的單詞）來進行測試。
參評模型為DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B和Gemma-7B：
（1）DeepSeek-Coder，來自國內的深度求索公司，其33B的指令調優(yōu)版本人類評估超越GPT-3.5-turbo，7B版本性能則能達到CodeLlama-34B的性能。
DeepSeek-Math則靠7B參數(shù)干翻GPT-4，震撼整個開源社區(qū)。
（2）SOLAR-10.7B來自韓國的Upstage AI，2023年12月誕生，性能超越Mixtral-8x7B-Instruct。
（3）Mistral-7B則是首個開源MoE大模型，達到甚至超越了Llama 2 70B和GPT-3.5的水平。
（4）Gemma-7B來自谷歌，零一萬物指出：
其有效參數(shù)量其實和Yi-9B一個等級。
（兩者命名準則不一樣，前者只用了Non-Embedding參數(shù)，后者用的是全部參數(shù)量并向上取整）
結果如下。
首先在代碼任務上，Yi-9B性能僅次于DeepSeek-Coder-7B，其余四位全部被KO。
在數(shù)學能力上，Yi-9B性能僅次于DeepSeek-Math-7B，超越其余四位。
綜合能力也不賴。
其性能在尺寸相近的開源模型中最好，超越了其余全部五位選手。
最后，還測了常識和推理能力：
結果是Yi-9B與Mistral-7B、SOLAR-10.7B和Gemma-7B不相上下。
以及語言能力，不僅英文不錯，中文也是廣受好評：
最最后，看完這些，有網(wǎng)友表示：已經迫不及待想試試了。
還有人則替DeepSeek捏了一把汗：
趕緊加強你們的“比賽”吧。全面主導地位已經沒有了==
傳送門在此：https://huggingface.co/01-ai/Yi-9B
