关于大模型开发框架的使用心得——框架是上层结构，模型能力才是核心

在当今系统开发中，框架是必不可少的一个东西，其对底层和一些通用功能进行了封装，然后作为使用者来说只需要会使用这些框架即可，这也就是现在所谓的面向API编程。

而且现在的开发框架也满天飞，前端开发框架vue，react等；后端的java开发框架springboot，python框架fastapi等；而在大模型应用开发领域也有很多开发框架，Langchain，LlamaIndex等。

所以现在很多开发者在学习和工作的过程中，都是直接基于框架做开发，反而很多人都忘记了底层的东西；这就导致虽然东西做出来了，但却不知道其到底是怎么运行的。

基于框架做开发的好处就不用多说了；但任何事情都有两面性，使用框架有好处就肯定有坏处，坏处就是我们很难弄明白底层原理，其次就是框架的封装使得开发变得简单，但同样也会缚手缚脚。

以作者自身为例，目前使用Langchain框架做大模型应用开发，虽然使用起来很简单，但也带来了很多问题；比如说忘记了大模型本身具备哪些能力。

举例来说，从使用的角度来看，Langchain是对大模型应用开发的上层抽象；如流式返回，思考模式，记忆功能，提示词封装等；当然这些功能本身就是大模型自身的功能，只不过使用原生开发需要全部自己手动处理，而框架只需要简单的配置就可以了。

而Langchain框架其实是对openai SDK的封装，原因在于目前openai的SDK已经成为了业界大模型的开放标准，绝大部分模型厂商都支持openai的标准，这也是为什么我们在做开发时，只需要引入openai的SDK即可。

而openai SDK又干了什么，它其实是对模型本身能力的封装，简单来说就是模型接口的封装，然后增加了一些通用的功能；毕竟，从技术的角度来看，即使我们抛开所有的框架和SDK，我们仅使用原生的开发语言，通过API调用的方式，依然可以实现我们所需要的东西，只不过过程中所有的问题都需要我们自己处理，这样开发成本更高，但可控性更好。

而现在使用Langchain的问题在哪呢？

在之前作者在做开发的过程中，一直把心思放在框架本身上，需要做什么功能直接调用框架中的接口即可；虽然功能也勉强做出来了，但总觉得束手束脚，最重要的是很多时候出问题又不知道哪里出的问题。

直到最近公司来了一个实习生，问我一些比较基础的问题，这时才突然发现自己好像搞反了，虽然说熟练使用开发框架是职场的基本技能；但太过于专注开发框架会让自己的技术成为空中楼阁，也就是知其然不知其所以然。

以流式返回和思考模式为例，实习生遇到一个问题就是明明是按照框架文档的方式写的代码，但就是无法流式返回；而且由于思考模式太耽误时间就想把思考模式给关掉；但明明配置了关闭思考模式的参数，但却没什么用。

而这两个问题也带来了两个问题点，一是调用框架的方法不对，虽然那个方法表面上是一个流式返回，但实际上使用的却是非流式返回；而第二个问题更扯淡，原因是其出在了大模型的身上，因为那个关闭思考模式的参数只有部分模型支持，而有些模型不支持这个参数，这也是为什么明明配置了却没什么用的原因。

所以说，我们在学习框架的同时，一定不能忘记大模型自身的能力；毕竟任何开发框架都是对底层能力的抽象与封装；而不可能绕过底层能力来做一些大模型根本不存在的功能。