微信扫码
添加专属顾问
我要投稿
大模型落地实战:从Agent工作原理到知识库建设的关键作用,揭示AI应用优化的核心路径。 核心内容: 1. Agent技术架构解析:LLM作为大脑与API数据源的协同机制 2. 大模型优化双轨制:微调与RAG技术的应用场景对比 3. 知识库建设的战略价值:高质量数据对检索增强生成的决定性影响
在学习大模型技术中有一些粗浅的理解,行文时只求尽可能简洁明快表达,并未严格使用学术性语言全面严谨表述,不当之处欢迎批评指正。全文浓缩成一句话,即通用大模型在特定场景业务落地时存在模型幻觉以及专用性不足等问题,实务中常通过微调和RAG的方式优化,而RAG又因相对成本低、易实现更受欢迎。好的RAG则高度依赖好的知识库,如是而已。
如果把智能体(Ai Agent)当做是执行系列复杂任务的机器人,大语言模型(LLM)堪称是大脑,各种应用程序编程接口(Application Programming Interface,API)提供信息来源。当用户输入需求时,Agent首先解析任务类型与复杂度,触发预置的API调用策略(如工商信息API、司法诉讼数据库及行业舆情接口或企业内部系统),将实时获取的信息进行融合,随后注入大语言模型进行上下文增强生成,并按照工作流依次输出最终成果。
以使用AI撰写客户尽职调查报告为例,报告助手就是Ai agent,就是一个代替人工的机器人,银行引进的DeepSeek、通义千问或其它大模型就是大脑,来接收要求、收集信息、思考整合、输出结果,采购的企业数据、行业数据通过API接入提供信息,报告助手按照工作流依次开展工作生成完整的调查报告。
大模型工作开始,首先是用户输入需求,大模型接收理解。为了便于大模型能够精准理解用户意图,提升输入信息的有效性,可辅助提示词(Prompt)工程精准表达需求和设定任务约束条件,实质上就是按照大模型能够更好理解的语言,去告诉它你想让它干什么。提示词工程通过设计提示模板(定义结构化提示模板)、示例(提供输入-输出对示例)、约束条件(添加格式要求,回答需包含哪些部分)、思维链提示(引导分步推理,列示解题步骤)等引导模型输出。提示词工程本身不改变模型原有知识,不修改模型参数,无需标注数据及进行训练,是大模型各项技术中成本最低、最易实现的工程,所以也几乎是大模型落地的必选标准动作之一。
对于大模型本身而言,企业直接引入的往往为通用大模型(General Large Models, GLMs),这些通用大模型在引入之前已经接受了大量数据的训练,也被称为预训练模型,其核心价值在于通过海量数据学习通用表征能力,为下游任务提供可迁移的知识基础。因为是通用的,所以在各行各业各种任务中都能有较好的基础表现,能够胜任回答问题、撰写材料等基础任务,但毕竟是通用大模型而不是专用模型,所以很可能不擅长执行特定专业领域内复杂度较高的任务。
所以企业在致力于使用大模型落地具体业务场景时需要进行优化改造,常用的方法包括微调(Fine-tuning)和检索增强生成(RAG)。大模型微调是让通用大模型“脱下通才外衣,穿上专业制服”的核心技术;通过向预训练模型注入特定领域数据,实现从“百科全书”到“行业专家”的蜕变。RAG是一种结合信息检索与生成模型的技术框架,其核心是通过动态引入知识库增强大语言模型的生成能力,相当于为机器人提供内部知识来源,通过限定信息来源,可减少大模型幻觉(一本正经的胡说八道、随意造出制度文件或参考文献等);通过提供更多专有知识,可使得原本通用于各行各业的大模型更好应用于企业专属业务领域。RAG落地相对容易,需要时间短、投入低,所以在中小企业中应用相对多。
大模型微调与RAG作为当前AI落地两大核心技术,其本质差异在于知识注入路径:微调通过标注数据调整模型参数,使模型适应特定任务或领域,本质上是基于专业领域的样本继续训练模型,如同将通用型人才定向培养为专业专家,需投入大量时间与大量资金进行数据标注与模型迭代,需要高质量标注数据(标注成本高);而RAG保持模型参数不变,通过构建动态知识库实现实时知识更新,类似为模型配备可随时查阅的专业百科全书,RAG的成本低、花费时间短,落地相对容易,但同样的,对于知识库的专业性和优质性有着很高的要求(分块策略、向量化精度)。简单来说,微调侧重知识固化,RAG强调知识扩展,两者在技术实现上也可以形成互补。
用更加通俗的比喻来讲,预训练模型相当于一个优秀的高中毕业生,语数外、理化生、史地政基础都很扎实,但是每科距离精湛专业都还有不少距离,现在要求这位同学参加大学物理的本科毕业考试,可以让这位同学选择物理专业,经过四年的培养努力,不仅可以顺利通过考试,也便于以后在物理领域持续进化成长,这就是微调,微调的成本高、花费时间长,但是从长期来看有必要,致力于长期主义;如果觉得四年时间太长了,或者没有条件去悉心培养,或者这位同学有志于主修化学专业,只是想通过这次物理考试就可以,可以给这位同学一个知识库开卷考试,把大学物理的基础知识、进阶知识、常见考题直至经典研究文献等都装入其中,相当于给开了一个外挂,那么也很可能顺利通过考试,这就是RAG。
所以AI建设使用RAG时,创建并维护专业领域高质量知识库就显得尤为重要。没有好的知识库,就没有好的信息基础,再聪明的通用大模型(算力再高、通用能力再强)可能也难以达到预期落地效果。
除此之外,提升知识库与提示词的协同性、一致性,也是提升检索效率的关键路径。简单来说,提示词表示“你想要的”,知识库表示“你提供的”,想要什么不仅依赖于提供素材的质量,也依赖于清晰的表达和传递信息。好的协同意味着,精准告诉大模型如何从浩如烟海的知识库中,从你期望的子库里找答案。接续前面大学物理考试的案例,相当于结合考试卷给这位同学划重点,效率就大大提升了。特别是针对制度检索、智慧问答之类的AI落地场景,在知识库中存储FAQ库(Frequently Asked Questions 常见问题解答)通常可以起到事半功倍的效果,甚至如果把知识库直接做成题库,类似驾考,考试题目(提示词)就从题库(知识库)中抽取,做到完全匹配,那么考个满分也不在话下了。
当然这其中又需要考虑到知识库建设和维护成本的问题,不考虑更多技巧和技术加持的情况下,一般来说,越简单的知识库建设维护成本就越低,但是对问题响应的准确率也会相应越低,而分类条目精细、与提示词形成协同、铺设大量人工检验复核的知识库建设维护成本高,但相应的问题解答准确率也会高。
所以知识库究竟要建设到什么程度,从根本上首先要以业务需求为导向,比如根据业务需要至少达到多高的精准度才是基本有用的(一定临界点之下的准确率,由此产生的人工复核校正成本可能使得AI的工作毫无意义),业务场景是简单合规性的标准化流程(市内差旅费报销需要提供哪些材料)还是需要融合多种复杂判断分析(授信客户是否符合银行准入标准),业务流程是否会随着时势变化较为频繁等等;在此基础上,再基于成本效益原则平衡考虑后做出选择,比如针对问答系统,是基本穷尽所有或大部分常见问题,还是按最小化原则实施,设置较多兜底性、保护性的答案(针对不清楚的问题,统一回复暂时超出认知,请按照相关法律法规和行内制度办理)等等。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-08-21
别再用老地图,寻找AI这片新大陆丨AI时刻
2025-08-21
GPT-5 提示工程指南
2025-08-21
Skywork技术论坛一手分享:Agent与多模态的落地真相|甲子光年
2025-08-21
AI发展进入能动性阶段:上下文工程与模型能力并重 | 奇绩大模型笔记 #7
2025-08-21
企业微信,「奔向」AI一体化
2025-08-21
DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么?下一代国产芯片设计?
2025-08-21
快手发布SeamlessFlow框架:完全解耦Trainer与Agent,时空复用实现无空泡的工业级RL训练!
2025-08-21
携程旅游的 AI 网关落地实践
2025-08-21
2025-05-29
2025-06-01
2025-06-21
2025-06-07
2025-06-12
2025-06-19
2025-06-13
2025-05-28
2025-07-29
2025-08-21
2025-08-20
2025-08-19
2025-08-19
2025-08-18
2025-08-18
2025-08-18
2025-08-15