前幾天微軟中國的創新技術總經理崔宏禹在上海的未來技術峰會上提出，GPT-4后不建議在模型上微調，而是采用把知識庫映射為低維向量嵌入到大模型里就可以了。我以前猜測NEWBING的較為精準的回答模式就是采用這種方式實現的，從崔總的觀點上看，還是很可能的。

  實際上崔總的觀點主要是依據于GPT-4的基礎能力已經比較強了。利用GPT-4的能力獲取到提問的關鍵要素，然后利用對低維向量的精準搜索找到確定的知識，然后再用GPT-4去推理，獲得更為完善的知識，反饋給用戶，一般情況下可以獲得很好的效果。從這段時間我使用NEWBING的體驗來說，這一點我是比較認可的，自從擁有了NEWBING以后，我已經沒有了再開一個OPENAI的賬號，替代那個被封掉的老賬號的想法了。不過NEWBING在一些十分專業領域的知識方面依然不盡如人意，回答專業知識的準確性也存在很大問題。有些時候我不得不從GOOGLE上獲得更專業的知識，有些專業性比較強的知識也需要到GOOGLE上進行確認。

  這些體驗都說明了GPT-4還不夠完美，針對領域專業知識的微調訓練似乎還是不可避免的。不知道是我對大語言模型的理解還比較膚淺，還是微軟在NEWBING的工具鏈上有我所不知道的技術，能夠解決基礎大語言模型在專業知識領域的能力不足的問題，亦或是崔總的觀點本身在某些專業領域并不準確，以我目前在這方面的能力而言，是無法判斷的，還需要多向這方面的專家學習。

  奇怪的是，最近這些天崔總的觀點被大量的國產大語言模型的擁有者反復的復述，這幾天關于這方面的話題，發文者大多數講述了和崔總類似的觀點，這又讓我感到我是不是遇到了某種知障，沒能理解專業知識自動化方面的一條正確的途徑。因為在我最近這方面的事件來看，基礎模型如果對某個專業知識領域的知識過于膚淺，哪怕利用LANGCHAIN整合低維向量化的本地知識庫，其性能也是不太理想的，因此我們目前還在努力提高預訓練模型在某專業領域知識上的性能。

  上周也和一家從事智能化解決方案的企業領導交流過關于大語言模型在運維智能化方面的應用，他說他們前幾年就已經開發了完善的應用平臺，可以直接通過專業書籍自動生成應答，從而簡化預訓練。我想如果他所說的事情真的做到了，那么將會是十分有價值的，他們在這個領域應該可以很快構建出大量有價值的應用。不過事后我在他們的官網上并沒有看到相關的應用案例，他也沒有和我探討如何在數據庫運維領域方面構建這方面能力的問題。

  最近和幾個在從事大語言模型輔助智能運維的團隊做了幾次不是很深的交流，感覺大家做的事情都差不多，選擇一款可離線私有化部署的模型，做微調訓練，整合工具鏈和向量化本地知識庫。不過大家做得都還比較淺，沒有看到特別激動人心的成果。

  而在與做智能化算法或者工程方面的朋友交流的時候，他們關注的往往是模型本身，對行業知識庫往往興趣不足。以我目前的認知而言，高性能的模型?專業知識庫才是解決問題的關鍵。但是我目前還沒找到專業知識庫與高性能模型之間完美結合的方法。也希望在做這方面工作或者對這方面工作有心得的朋友多交流交流。

  周末的時候做了一個測試性的微調訓練，跑了四十多個小時后我中斷了訓練，測試了效果，大體上還是滿意的，于是我用一個近三萬樣本的訓練集重新做了訓練，大約再過70個小時應該有結果了。裝備太差，做這方面工作真的很鬧心。等有了結果再和大家交流吧。