大羊駝LLaMa競品來了：AI畫圖最火公司開源語言模型，最小30億參數
出 Stable Diffusion 的公司也出語言大模型了，效果還挺好。本周三，StableLM 的發布引來了科技圈的關注。
Stability AI 是近期勢頭正盛的創業公司，因為開源的 AI 畫圖工具 Stable Diffusion 而飽受好評。在周三的發布中，該公司宣布其語言大模型現已可供開發人員在 GitHub 上使用和改編。
與業內標桿 ChatGPT 一樣，StableLM 旨在高效地生成文本和代碼。它在名為 Pile 的開源數據集的更大版本上進行訓練，其中包含來自各種來源的信息，包括維基百科、Stack Exchange 和 PubMed，共 22 個數據集，容量達到 825GB，1.5 萬億個 token。
Stability AI 表示，StableLM 模型目前可用版本的參數在 30 億到 70 億之間，未來將有 15 億到 650 億范圍的多種參數模型可用。
項目鏈接：https://github.com/stability-AI/stableLM/
根據目前人們的測試，如果跑 7B 模型（8 bit），需要用到 12GB 的顯存。
Stability AI 也放出了一些 StableLM 的問答示例：
StableLM 基于 Stability AI 此前與非營利組織 EleutherAI 合作開發的開源語言模型，包括 GPT-J、GPT-NeoX 和 Pythia，新模型面向盡可能大的用戶群。此前在 Stable Diffusion 上，Stability AI 通過多種方式提供其文本到圖像 AI 的技術，包括公開演示、軟件測試版和模型的完整下載，也允許開發人員使用其工具并進行各種集成。
相比 OpenAI 的封閉，Stability AI 一直把自身定位為 AI 研究社區的一員，我們大概率會在 StableLM 上看到和上月發布的 Meta 開源 LLaMa 語言模型同樣的情況。大量基于原版模型的算法可能會出現，在較小模型體量之上實現很好的效果。
StableLM 的微調版聊天界面。
此外，現在每個人都可以嘗試在 Hugging Face 上托管的 StableLM 微調聊天模型上和 AI 進行對話：https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat
和所有語言大模型一樣，StableLM 模型仍然存在「幻覺」問題，如果你嘗試問它如何制作花生醬三明治，StableLM 會給出一個非常復雜且荒謬的食譜。它還建議人們在慰問卡上添加一張「有趣的圖畫」。
Stability AI 警告說，雖然它使用的數據集應該有助于「將基礎語言模型引導到『更安全』的文本分布中，但并不是所有的偏見和毒性都可以通過微調來減輕。
現在 StableLM 模型已在 GitHub 存儲庫中上線。Stability AI 表示將在不久的將來發布一份完整的技術報告，此外還將啟動眾包 RLHF 計劃，并與 Open Assistant 等社區合作，為 AI 聊天助手創建一個開源數據集。
