微信扫码
添加专属顾问
我要投稿
大模型犯错不是缺陷,而是创新的起点,探索如何巧妙利用这些错误提升应用效果。 核心内容: 1. 大模型犯错的本质原因与人类处理复杂问题的相似性 2. 主流大模型应用范式(CoT、ReAct等)的设计原理与价值 3. 错误处理机制(观察者模式、重试机制)在实践中的关键作用
“ 大模型犯错是常态,而在大模型应用中,我们需要做的是处理好这些错误,把模型的错误影响降到最低。”
做了一段时间的大模型应用之后发现一个非常有趣的问题,那就是为什么会有那么多大模型应用的范式,包括思维链(CoT),思考-行动(ReAct),反思(Reflection)等。
其实最本质的原因就是大模型经常犯错,特别是在复杂场景下的复杂问题;就类似于我们人类处理复杂问题一样,很少有人能够在不犯错的前提下,一次性解决一个复杂问题,特别是在个人能力参差不齐的情况下。
经常犯错的大模型
我们知道大模型是一个基于概率进行预测结果的系统,因此它有一个非常致命的问题,那就是幻觉问题;但其在某些情况下,能够很好的取代人类,提升效率。
因此,作为一个让人又爱又恨的技术和工具,在利用好大模型优势的前提下,又能把风险降到最低,这是作为使用者的我们需要解决的问题。
从使用者的角度来说,提示词(prompt)是使用大模型的唯一工具,我们可以通过提示词来约束或引导大模型的输出,而这可以让大模型帮我们解决问题。但是因为幻觉等原因的存在,就导致大模型并不能完全稳定地输出正确的答案。
所以,我们就需要一种方式来规避或者来降低这种风险;而这就是大模型应用中不同范式存在的意义。
在解决复杂问题的过程中,我们人类常用的方式就是去分析问题,然后对问题进行拆解规划;对大模型来说同样如此,我们需要一种方法让大模型能够独立完成任务的拆解和行动,由此形成的方法论就是我们现在常说的ReAct,reflection等。
但是呢,这些方式虽然能够提升大模型的准确率,以及对复杂问题的解决能力,但并不能完全杜绝大模型犯错;因此,我们就需要在大模型犯错时进行处理,比如说ReAct的观察者模式observation,就是让大模型先对自己的处理结果进行分析;然后还有就是重试机制,让大模型在犯错的情况下,能够根据当前的问题进行优化,并再次尝试。
像强化学习,反馈学习等都是基于这个理念。
因此,我们在做大模型应用开发时,我们首先要明白一个理念——大模型犯错是必然的,而不是偶然的结果。
这也是为什么很多时候我们做应用时,明明刚开始是好好的,怎么突然之间系统就不能用了,然后过一会可能又好了,就这么时灵时不灵;原因就在于此,由于我们对大模型的错误结果没有处理好;就间接导致大模型出现错误而不自知,最后导致系统崩溃。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-08-21
2025-05-29
2025-06-01
2025-06-21
2025-08-19
2025-06-07
2025-06-12
2025-05-28
2025-06-19
2025-06-13
2025-08-23
2025-08-22
2025-08-22
2025-08-22
2025-08-22
2025-08-21
2025-08-20
2025-08-19