"
AI 答不准， 不是玄学 ，是能一步步 调出来的工程活 。
一家公司花大价钱上了 AI 客服，老板挺得意。
结果第二天，客户问「这单能不能退款」，AI 张口答成了「退货」流程—— 一字之差 ，客户被坑，投诉找上门。
团队的第一反应是：「这 AI 不行吧？是不是得 换个更贵的模型 ？」
其实，不是的。
AI 答不准，不一定是「模型不行」，更可能是 「喂资料」这条路上有三关没调好 。而这三关，跟着做就能一关关修好， 大多还不用你懂技术 。
上一篇说过，AI 靠「开卷考试」少胡说。这篇讲实操：同样是开卷，怎么把它 从不及格调到高分 。
AI 答一题走三关：把资料找回来 → 挑到对的那一段 → 照着它写答案。哪一关掉链子，答案就歪。
动手之前，先给自己一把尺子
优化 AI 最忌凭感觉。开工前，先攒一份 评测集 ：30–50 条真实高频问题，每条标好标准答案、该引用哪份资料。以后每改一处，都拿这批题重跑，看答对率升没升。 没有这把尺子，你根本分不清是改好了还是改坏了 。
你把一份几百页的手册一股脑丢进去，系统得先切成小段才能用。要是图省事、 按字数硬切 ，一条完整的退款规则，可能从中间被劈成两半——AI 翻到的是半句话，怎么可能答全？
怎么治？记住四条：
1一段 = 一个完整意思：一条政策、一个 FAQ、一个步骤，独立成段。
2按结构切，不按字数切：顺着标题层级分段；中文控制在 300–800 字，段间留一点重叠，别让边界信息掉了。
4每段前面补一句「出身」：标上它属于哪个主题（如「【退款政策】……」），检索时更好认。
💡 一个偷懒但管用的办法：源头能整理成「一问一答 FAQ」的，就别堆长文档——FAQ 天生一段一个知识点，命中率最高。
🔍 怎么验证：挑 10 个常见问题，让 AI 把它参考的原文打印出来，看每段完不完整。
第一关稳了，为什么还可能不准？
还是那个退款。资料明明在库里，AI 却 翻出了「退货」的条款 。
为什么？因为 AI 找资料，默认是「按意思找」，而「退款」和「退货」在它眼里 意思太近 。你们业务里那些专有名词、近义词、产品型号，全是它最容易认错的地方。
怎么治？
1上「混合检索」：别只「按意思找」（向量检索），再叠一路「按原词找」（关键词检索），两路结果一起看。专有名词、编号，全靠原词这一路兜住。
2加一步「重排」：先粗召回 20–50 条，再精挑出最相关的 3–5 条喂给 AI。这一步对准确率提升最明显。
3建一张「术语 / 同义词表」：把「退款 = 退货 = 退单」这类关系写清楚。这张表，全公司你们业务方最懂，也最值钱。
不用你写代码。这段需求， 直接发给技术或供应商就行 ：
「检索改成向量 + 关键词混合召回，加一层 rerank 精排取 Top 5，支持同义词改写。」
🔍 怎么验证：用开头那份评测集，只盯「捞回来的资料对不对」。偏低就接着调。
最气人的是这一关：资料找对了，AI 却 不老实照抄，自己发挥 。
这一关，靠「规矩」管。规矩就写在提示词里—— 下面这段可以直接抄改 ：
你是 XX 客服助手。请严格遵守：
1. 只依据【检索到的资料】回答，不得使用资料之外的知识，不得推测或编造；
2. 资料不足以回答时，直接回复「这个问题我没有查到，帮您转人工」，不要硬答；
3. 每条结论后用（来源：文件名·第 X 条）标注依据；
4. 回答简洁，只说资料支持的内容。
再补两下：
1把「温度」调低（0–0.3）：温度是模型的「发挥系数」，越低越老实。
2备好兜底出口：查不到就转人工、留联系方式，别编个假答案糊弄人。
🔍 怎么验证：故意问一个知识库里根本没有的问题，看它是老实说「没查到」，还是一本正经开始编。 会认怂的 AI，才敢上线 。
1先搭评测集（30–50 题带标准答案）——这是你的尺子。
2再按三关逐个调：切分 → 检索 → 生成，一次只动一处。
3每动一次，用评测集回归一遍：升了留下，降了回退。
转上几轮，分数就 实打实往上走 。
所以下次 AI 又答错，先别急着怪它，更别急着掏钱换模型。AI 答不准从来不是玄学，是能一步步调出来的工程活。
你缺的，往往不是更贵的模型，而是这套方法。
粤ICP备14082021号
免费POC，
零成本试错
