“ 框架是對底層能力的封裝，在學(xué)習(xí)和使用框架的同時(shí)，也不能完全丟掉底層的能力。”

在當(dāng)今系統(tǒng)開發(fā)中，框架是必不可少的一個(gè)東西，其對底層和一些通用功能進(jìn)行了封裝，然后作為使用者來說只需要會(huì)使用這些框架即可，這也就是現(xiàn)在所謂的面向API編程。

而且現(xiàn)在的開發(fā)框架也滿天飛，前端開發(fā)框架vue，react等；后端的java開發(fā)框架springboot，python框架fastapi等；而在大模型應(yīng)用開發(fā)領(lǐng)域也有很多開發(fā)框架，Langchain，LlamaIndex等。

所以現(xiàn)在很多開發(fā)者在學(xué)習(xí)和工作的過程中，都是直接基于框架做開發(fā)，反而很多人都忘記了底層的東西；這就導(dǎo)致雖然東西做出來了，但卻不知道其到底是怎么運(yùn)行的。

關(guān)于大模型的開發(fā)框架使用心得

基于框架做開發(fā)的好處就不用多說了；但任何事情都有兩面性，使用框架有好處就肯定有壞處，壞處就是我們很難弄明白底層原理，其次就是框架的封裝使得開發(fā)變得簡單，但同樣也會(huì)縛手縛腳。

以作者自身為例，目前使用Langchain框架做大模型應(yīng)用開發(fā)，雖然使用起來很簡單，但也帶來了很多問題；比如說忘記了大模型本身具備哪些能力。

舉例來說，從使用的角度來看，Langchain是對大模型應(yīng)用開發(fā)的上層抽象；如流式返回，思考模式，記憶功能，提示詞封裝等；當(dāng)然這些功能本身就是大模型自身的功能，只不過使用原生開發(fā)需要全部自己手動(dòng)處理，而框架只需要簡單的配置就可以了。

而Langchain框架其實(shí)是對openai SDK的封裝，原因在于目前openai的SDK已經(jīng)成為了業(yè)界大模型的開放標(biāo)準(zhǔn)，絕大部分模型廠商都支持openai的標(biāo)準(zhǔn)，這也是為什么我們在做開發(fā)時(shí)，只需要引入openai的SDK即可。

而openai SDK又干了什么，它其實(shí)是對模型本身能力的封裝，簡單來說就是模型接口的封裝，然后增加了一些通用的功能；畢竟，從技術(shù)的角度來看，即使我們拋開所有的框架和SDK，我們僅使用原生的開發(fā)語言，通過API調(diào)用的方式，依然可以實(shí)現(xiàn)我們所需要的東西，只不過過程中所有的問題都需要我們自己處理，這樣開發(fā)成本更高，但可控性更好。

而現(xiàn)在使用Langchain的問題在哪呢？

在之前作者在做開發(fā)的過程中，一直把心思放在框架本身上，需要做什么功能直接調(diào)用框架中的接口即可；雖然功能也勉強(qiáng)做出來了，但總覺得束手束腳，最重要的是很多時(shí)候出問題又不知道哪里出的問題。

直到最近公司來了一個(gè)實(shí)習(xí)生，問我一些比較基礎(chǔ)的問題，這時(shí)才突然發(fā)現(xiàn)自己好像搞反了，雖然說熟練使用開發(fā)框架是職場的基本技能；但太過于專注開發(fā)框架會(huì)讓自己的技術(shù)成為空中樓閣，也就是知其然不知其所以然。

以流式返回和思考模式為例，實(shí)習(xí)生遇到一個(gè)問題就是明明是按照框架文檔的方式寫的代碼，但就是無法流式返回；而且由于思考模式太耽誤時(shí)間就想把思考模式給關(guān)掉；但明明配置了關(guān)閉思考模式的參數(shù)，但卻沒什么用。

而這兩個(gè)問題也帶來了兩個(gè)問題點(diǎn)，一是調(diào)用框架的方法不對，雖然那個(gè)方法表面上是一個(gè)流式返回，但實(shí)際上使用的卻是非流式返回；而第二個(gè)問題更扯淡，原因是其出在了大模型的身上，因?yàn)槟莻€(gè)關(guān)閉思考模式的參數(shù)只有部分模型支持，而有些模型不支持這個(gè)參數(shù)，這也是為什么明明配置了卻沒什么用的原因。

所以說，我們在學(xué)習(xí)框架的同時(shí)，一定不能忘記大模型自身的能力；畢竟任何開發(fā)框架都是對底層能力的抽象與封裝；而不可能繞過底層能力來做一些大模型根本不存在的功能。

?

本文轉(zhuǎn)載自??AI探索時(shí)代????? 作者：DFires