Hugging Face上的開源大模型排名榜又更新了，這次榮登榜一的是：鴨嘴獸（Platypus 2-70B）！

和現在抱臉開源榜單上大部分的模型一樣，鴨嘴獸是來自波士頓大學的研究人員基于Llama2微調而來。

同時，鴨嘴獸的進步就像之前所有的開源大模型那樣：在提升性能的同時，使用更少的計算資源和數據。

一個13B的鴨嘴獸模型可以在單個A100 GPU使用25k個問題在5小時內完成訓練。

論文地址：https://arxiv.org/pdf/2308.07317.pdf

根據研究人員的論文描述，鴨嘴獸70B變強的原因主要是兩點：

1. 編輯數據集：刪除相似和重復的問題

2. 使用LoRA和PEFT對模型進行了優化，重點關注非注意力模塊

而在檢查測試數據泄漏和訓練數據污染方面，鴨嘴獸也做出了自己的貢獻，這為未來的研究提供了有價值的參考。

多快好省的鴨嘴獸

鴨嘴獸主要是通過在一個小而強大的數據集Open-Platypus上使用參數高效調整（PEFT）和LoRA中對非注意力部分的微調來改進模型的性能。

與一般專注于專業領域的模型在微調是耗時又昂貴不同，鴨嘴獸既做到了在總體上的模型性能提升，同時在特定領域的表現也很優秀。

在研究中發現，領域特定的數據集可以提高在所選任務類別上的性能。當與模型合并結合使用時，能夠顯著減少訓練時間。

開源數據集

研究團隊通過Hugging Face向公眾開放了鴨嘴獸的數據集Open-Platypus：

Open-Platypus由11個開源數據集組成，主要由人為設計的問題組成，只有大約10%的問題由LLM生成，能夠以最小的微調時間和成本實現強大的性能。側重于提高LLM的STEM和邏輯能力。

同時，研究團隊也對這些數據集進行了優化，這有助于縮小數據集并最大限度地減少數據冗余。

具體操作包括：

通過相似性排除的方法來最小化記憶，刪除了所有逐字逐句的重復指令，然后刪除了與訓練集中其他指令的SentenceTransformers 嵌入具有80%余弦相似度的指令。

并且默認保留具有更詳細答案的問題與答案對。因為較長的答案很可能對應更詳細的解釋和/或逐步解決方案。

解決數據污染

研究團隊深入探索了開放式LLM訓練集中的污染問題，并介紹了對鴨嘴獸數據進行過濾過程。

研究團隊數據過濾的方法，其核心是確保基準測試題不會無意中泄漏到訓練集中，這是為了防止測試數據的記憶對基準結果造成歪曲。

考慮到這一點，在確定是否應將問題標記為重復問題并從訓練集中刪除時，應留有余地。

在確定可疑問題時允許一定的靈活性，因為查詢有多種措辭方式，同時，通用領域知識可能會阻止問題被視作重復。

為此，研究團隊開發了以下啟發式方法，用于指導人工篩選來自 Open-Platypus 的、與任何基準問題相似度大于 80% 的問題。

研究團隊將潛在問題分為三類：重復、灰色區域和相似但不同。但為了謹慎起見，研究團隊會將它們全部從訓練集中刪除。

1. 重復：

這些問題幾乎是測試集問題的完全復制品，可能只有一個微小的詞語變化或輕微的重新排列。

這是我們將之定義為“真正”的污染類別，如上表中泄漏問題的數量所示。這種情況的具體示例如下：

2. 灰色區域

這組問題被稱為灰色區域，包括并非完全重復的問題，屬于常識范疇。

雖然我們將這些問題的最終評判權留給了開源社區，但我們認為這些問題往往需要專家知識。

值得注意的是，這類問題包括指令完全相同但答案卻同義的問題：

3. 相似但不同：

最后一類問題包括盡管具有較高的余弦相似性分數，但答案卻截然不同的問題。

這通常可以歸因于問題結構的細微變化，從而產生完全不同的答案。

下圖中的第一個問題就是一個很好的例子，其中對旋轉軸和象限定義的修改極大地改變了最終答案。

微調與合并模型

在完善數據集并對污染進行三重檢查后，研究團隊對模型進行了微調與合并。

方法主要是低秩逼近（LoRA）訓練和參數高效微調（PEFT）庫。

與完全微調不同，LoRA 保留了預先訓練的模型權重，并在轉換層中整合了秩分解矩陣。

這可以減少可訓練參數，并節省訓練的時間和成本。

例如，鴨嘴獸的13B模型使用1個A100 80GB進行了5個小時的微調，70B模型使用4個A100 80GB進行了22個小時的微調。

而作為比較基準，斯坦福大學對Alpaca-7B 的全面微調是在8 個 A100 80GB 上進行的，并花費了3個小時。

研究團隊對模型的微調最初主要針對的是注意力模塊，如 v_proj、q_proj、k_proj 和 o_proj。

后來，研究人員轉向了對gate_proj、down_proj 和 up_proj 模塊的微調，與注意力模塊相比，除了可訓練參數小于總參數的 0.1% 時，微調這些模塊模型的性能表現更好。

為了保持一致性，研究團隊對13B和70B模型統一采用了這一方法，可訓練參數分別為0.27%和0.2%。

唯一的差異在于這些模型的初始學習率。

研究團隊的模型合并策略則旨在評估與Instruct和Beluga等廣泛模型或Camel 等專業模型合并的協同效應。

研究團隊發現，合并模型能夠有效拓寬模型的知識基礎，但選擇何種模型進行合并，是廣泛合并還是集中合并，在決定性能結果方面起著關鍵作用。

同時，模型合并的效果因測試的具體領域而異。

所有領域的性能提升和下降并不一致，意味著在最終確定合并之前進行特定領域評估的必要性。

鴨嘴獸排名第一

截止到今天的Hugging Face開源LLM排行榜數據，Platypus2-70B依舊穩坐第一，而它的變體也在眾多LLM中排名前列。

而在13B的尺寸上，鴨嘴獸的表現也同樣亮眼，以平均分63.96脫穎而出，成為13B模型的領跑者。

Hugging Face的Open LLM排行榜

Huggingface的Open LLM排行榜目前是開源社區使用最多，同時也是參與模型最多的排行榜。

Open LLM排行榜使用Eleuther AI語言模型評估框架，這是一個在大量不同評估任務上測試生成式語言模型的統一框架，會在 4 個關鍵基準上對模型進行評估。 

1. AI2 ：針對科學問題的推理測試，共有25次測試。

2. HellaSwag：常識推理測試，但對大語言模型來說具有相當的挑戰性，總共進行10次測試。

3. MMLU：用于測量文本模型的多任務準確性。該測試涵蓋 57 項任務，包括初等數學、美國歷史、計算機科學、法律等，總共測試10次。

4. TruthfulQA：用于測試模型復制網上常見虛假內容的傾向。

整個測試框架都是開源的，網友可以直接在本地用這個框架測試模型，或者提交模型給Hugging Face來在線跑分。

全世界大大小小的模型都有機會打榜，成功登頂就可以標榜自己是世界第一。

一個韓國團隊訓練的開源模型，在被鴨嘴獸超越之前曾經是世界第一。他們就很自豪地將這個成果展示在公司主頁最矚目的地方。

Hugging Face的Open LLM排行榜，不僅能讓技術人員客觀對比模型的能力，還能給開源社區模型提供一個展示自己以獲取外部資源，最終進一步發展的機會。

這也與開源社區的宗旨一致：

秉持高性價比的理念，允許各種改進模型的嘗試，擁抱開放和共同進步.....

也許這就是開源社區如此生機勃勃的原因。