昨天一個跑了220個小時的微調訓練完成了，主要任務是想在CHATGLM-6B上微調出一個能夠較為精確的診斷數據庫錯誤信息的對話模型來。

不過這個等了將近十天的訓練最后的結果令人失望，比起我之前做的一個樣本覆蓋更小的訓練來，差的還是挺大的。

這樣的結果還是有點令人失望的，這個模型基本上是沒有實用價值的。看樣子需要重新調整參數與訓練集，再做一次訓練。大語言模型的訓練是一場軍備競賽，沒有好的裝備是玩不起來的。看樣子我們也必須要升級一下實驗室的裝備了，否則沒有幾個十天可以浪費。

從最近的幾次失敗的微調訓練來看，微調訓練這條路也并不容易完成。不同的任務目標混雜在一起跑訓練，可能不同的任務目標需要的訓練參數不同，使最終的訓練集無法滿足某些任務的需求。因此PTUNING只適合某個十分確定的任務，不一定適合混合任務，以混合任務為目的的模型，可能需要用FINETUNE。這和前幾天我在和一個朋友交流時大家的觀點類似。

實際上因為訓練模型難度比較大，一些人已經放棄了自己訓練模型，而采用將本地知識庫矢量化后進行較為精準的檢索，然后通過AUTOPROMPT將檢索后的結果生成自動提示，去問打語音模型。利用langchain很容易實現這個目標。

這個工作的原理是將本地文檔通過加載器加載為文本，然后對文本進行切分行程文本片段，經過編碼后寫入向量存儲中功查詢使用。查詢結果出來后，通過Prompt Template自動形成提問用的提示，去詢問LLM，LLM生成最后的回答。

這項工作里有另個要點，一個是較為精準的搜索到本地知識庫中的知識，這個通過向量存儲于搜索來實現，目前針對中英文的本地知識庫的向量化與搜索的解決方案很多，可以選擇某個對你的知識庫比較友好的方案來使用。

上面是一個在vicuna-13b上通過關于OB的知識庫進行的問答，上面的是沒有使用本地知識庫，直接使用LLM的能力的回答，下面是加載了本地知識庫后的回答。可以看出性能提升還是挺明顯的。

我們再來看看剛才那個ORA錯誤的問題，在沒有使用本地知識庫之前，LLM基本上是胡說八道的，而加載了本地知識庫之后，這個回答還是中規中矩的，文中的錯別字也是我們知識庫中的錯誤。實際上PTUNING使用的訓練集也是通過這個本地知識庫生成出來的。

從最近我們踩過的坑可以收獲一些經驗。首先ptuning的難度比我們想象得要高得多，雖然說ptuning比finetune需要的裝備低一點，不過訓練難度一點都不低。其次是通過Langchain和autoprompt利用本地知識庫來改善LLM能力效果不錯，對于大多數企業應用來說，只要把本地知識庫梳理好，選擇合適的矢量化方案，應該都能獲得不比PTUNING/FINETUNE差的效果。第三，還是上回說的那個問題，LLM的能力至關重要。必須選擇一個能力較強的LLM作為基礎模型來使用。任何嵌入式模型都只能局部改善能力，不能起決定性的作用。第四，對于數據庫相關的知識，vicuna-13b的能力確實不錯。

今天一大早還要去客戶那邊做個交流，早上時間有限，就簡單寫幾句吧。大家對此有何心得，歡迎留言討論（討論僅你我可見），我也是在這條路上孤獨行走，希望有同路人指點一二。