我要投稿

OpenAI探索RAG模型优化之旅：从45%到98%的准确率飞跃

发布日期：2024-06-02 12:23:20 浏览次数： 3063

作者：DataCube

微信搜一搜，关注“DataCube”

引言：

在人工智能的世界里，优化模型以提高准确率是一项充满挑战的任务。本文将带您走进一个RAG（Retrieval-Augmented Generation）模型优化的实战案例，展示OpenAI是如何一步步将准确率从45%提升至98%的。

有一个客户，他们拥有一个RAG管道和两个不同的知识库，以及一个LLM。该系统的目的是获取用户问题，决定使用哪个知识库，触发查询并用它来回答问题。

一、迭代与优化

起初，只是实现了检索功能，基线准确率仅为45%。通过一系列迭代，将尝试的东西旁边标注了勾号和十字，勾号表示实际投入生产的，十字表示尝试后放弃的。通过尝试假设的文档嵌入，生成一个假答案然后进行搜索，尝试了分块和嵌入，调整信息块的大小并嵌入不同内容，在20次迭代后，逐步将准确率提升至65%。

二、关键时刻的坚持

然而65%，这还远远不够，几乎要放弃，但坚持让同学们找到了新的方向。通过重新排序结果，使用交叉编码器和基于规则的方法，交叉编码器显著提高了性能，基于规则的方法还有分类，让模型判断内容属于哪个领域，并根据分类提供额外的元数据，帮助模型决定最相关的内容，准确率提升至85%。

三、最后的冲刺

最终，通过进一步的提示工程和分析分类错误，引入了新的工具和方法，包括从文档中提取结构化数据，让系统访问SQL数据库，执行查询并返回结构化数据答案。还实现了查询扩展功能，将多个问题解析为查询列表，执行后并行返回结果，再合并这些结果。经过不懈努力，最终达到了98%的准确率。

结尾：

在人工智能的探索之路上，每一步都充满了未知和挑战。通过不断的迭代和优化，能够实现从45%到98%的准确率飞跃，这不仅是技术上的胜利，更是对创新精神的肯定。

参考：https://www.youtube.com/watch?v=ahnGLM-RC1Y