搞懂大模型中的提示工程、RAG和微调

我们都知道大模型非常火，很多人想必也都用过不少AI产品，比如百度的文心一言、字节的豆包、阿里巴巴的通义千问、腾讯的元宝、月之暗面的Kimi智能助手等等。

那么对于提示工程、RAG（检索增强）和微调，在工程当中，我们应该怎么去选择呢？

我们先要搞清楚，大模型是怎么训练出来的？

首先需要有海量的数据，然后通过训练，来构造一个大模型。

训练好的大模型，具备了很多的能力，因为在我们训练的过程中，使用到的数据是非常多样化的，包括各个行业、各个领域的数据。

从另外一个角度，我们可以把大模型比作是智能化的大脑，比如说是人的大脑。

假如这个大脑就是我，它具备了金融领域的能力、教育领域的能力、管理的能力等等。

下面通过一个具体的例子，来理解一下提示工程、RAG和微调之间的区别和联系。

假如你有一个问题想要问我，然后你问了我一个问题，但是我没有给出你想要的答案。

那么接下来，我们来分析一下，我没有给出你一个正确答案的原因。

1、提示工程

第一种情况，可能你没有问清楚，也就是你没有让我明白，你想要做什么。

这个时候呢，你就要换一种更准确的表述方式，让我听明白你想要做什么，这样我才有可能帮到你。

那这个过程，本质上就对应到了提示工程。

接下来我们通过提示工程，就能解决你没有问清楚的问题。

到这里就结束了。

2、RAG

如果用了上述提示工程，还是没有解决得不到想要的答案的问题。

那么，我们就要考虑第二种情况。

第二种情况，有可能是我欠缺相关领域的知识。

比如，你问了我一个关于光伏发电方面的问题，由于我对光伏发电这个行业不了解，欠缺该领域的知识，所以目前我是帮不到你的。

这个时候，该怎么办呢？

一个比较好的解决方案就是，你可以围绕问题，把光伏发电行业相关的一些背景知识给我讲清楚，让我至少能了解问题的背景、问题的场景以及要解决的问题的本身。

有了这些相关的知识，也可以理解为上下文之后，我就有可能可以帮到你。

那这个过程呢，本质上就对应到了RAG，检索增强。

接下来我们通过RAG，就能解决我欠缺相关领域知识的问题。

到这里就结束了。

3、微调

如果用了上述提示工程和RAG，还是没有解决得不到想要的答案的问题。

那么，我们就要考虑第三种情况。

第三种情况，有可能是我自身能力不足。

也就是说，我的提供解决方案的能力以及方法论有待提高。

所以这个时候，我可能需要反过来去提升自己。

因为基于现在的能力，即便你给我提供了很详细的相关知识，让我弄清楚了这个问题的本身，我可能也没有办法帮到你。

所以等我提高我自己之后，我再反过来帮你，有可能会给你一个满意的答复。

那这个过程呢，本质上就对应到了模型的微调。

就是不要去抱怨各种外部的环境，而是先重点提升自己。

微调本身，也是对大模型本身的一个改造。

但是提示工程和RAG，对大模型是没有做任何的改造的。

综上所述呢，在工程当中，我们应该从提示工程开始，然后到RAG，最后到模型的微调。

不要一开始就要做模型微调。

—END—