RAG-Fusion技术在产品咨询中的实践与分析

本文研究了Infineon技术人员和客户经理快速获取产品信息的需求，评估了新流行的RAG-Fusion方法。RAG-Fusion结合了检索增强生成（RAG）和互惠排名融合（RRF），通过生成多个查询并使用互惠分数重新排序文档，以提供更准确和全面的答案。然而，该方法面临的一个挑战是，当生成的查询与原始查询相关性不足时，答案可能会偏离主题。RAG已在多个知识密集型自然语言处理任务中取得显著成功，而RRF作为重新排序算法，通过为文档分配互惠排名并结合这些排名生成最终的重新排序列表，进一步提升了信息检索的准确性。

研究方法

论文提出了RAG-Fusion方法，用于解决快速获取产品信息的问题。具体来说，

1. RAG方法

传统的RAG聊天机器人首先收集产品文档并将其转换为文本，然后创建文本的向量嵌入并存存储在向量数据库中。当接收到用户查询时，机器人检索与原始查询最相关的n个文档，并将这些文档与查询一起发送给大型语言模型以生成响应。

2. RAG-Fusion方法

RAG-Fusion在RAG的基础上增加了一些步骤。

• 首先，接收原始查询后，模型将原始查询发送给大型语言模型以生成多个新的搜索查询。例如，如果用户的原始查询是“Tell me about MEMs microphones”，生成的查询可能包括“What are MEMs microphones and how do they work?”，“What are the advantages of using MEMs microphones?”，“What are some recommended MEMs microphones?”
• 然后，算法执行向量搜索以找到多个相关文档，而不是将这些文档与查询一起发送给大型语言模型生成输出，而是执行互惠排名融合。互惠排名融合算法为每个文档分配一个互惠排名分数，公式如下：

其中，rank是按距离排序的文档当前排名，k是一个常数平滑因子，用于确定给定排名的权重。每次计算分数时，rrf分数与同一文档的前一个分数累积，当所有分数累积完毕时，文档被融合在一起并按其分数重新排序。

• 最后，模型将重新排序的结果与生成的查询和原始查询一起发送给大型语言模型以生成输出。

实验结果与分析

1. 工程师问题的回答

RAG-Fusion聊天机器人在回答技术问题时表现出色，能够提供准确且全面的答案。例如，对于查询“IP rating of mounted IM72D128”，机器人提供了详细的IP57评级的解释及其耐用性的相关信息。

2. 销售策略问题的回答

RAG-Fusion聊天机器人在生成销售策略方面表现最佳，能够结合产品知识和逻辑生成有价值的策略。例如，对于查询“How do I sell a 100V OptiMOS Linear FET for power over ethernet to my customer?”，机器人提供了技术规格、市场趋势和客户偏好的信息，并建议突出产品的价值主张。

3. 客户问题的回答

RAG-Fusion聊天机器人在回答客户问题时也表现良好，能够提供全面且有帮助的信息。例如，对于查询“Is the IM72D128 microphone good to use in an outdoor surveillance camera?”，机器人提供了详细的IP57评级和音频捕获能力的信息，强调了其在户外监控摄像头中的适用性。

总结

本文提出的RAG-Fusion方法在提供准确且全面的答案方面优于传统的RAG模型，适用于工程师的技术问题、销售团队的销售策略问题和客户的客户相关问题。尽管RAG-Fusion增加了答案的质量，但也面临着运行时间较长、答案偏离主题和需要适当的提示工程等挑战。未来的研究方向包括扩展聊天机器人的语言支持、改进多模态PDF数据表的文本表示以及优化实时性能和提高自动化质量保证。

优点与创新

1. 提高了答案的准确性和全面性：通过生成多个查询并结合互惠排名融合（RRF）对文档进行重新排序，RAG-Fusion能够从多个角度回答问题，从而提供更准确和全面的答案。
2. 适用于多种场景：RAG-Fusion不仅适用于工程师的技术问题，还能很好地回答销售团队关于销售策略的问题以及客户的产品相关问题。
3. 利用大语言模型的优势：RAG-Fusion能够利用大语言模型的预训练知识，回答一些专家可能不知道的问题。
4. 多语言支持：尽管本文主要使用英语进行评估，但未来计划扩展到其他语言，如日语和普通话中文。
5. 改进的多模态PDF数据表表示：未来研究将致力于更好地将多模态PDF数据表表示为文本，以提高特定产品信息的准确性并减少幻觉频率。

不足与反思

1. 运行时间较长：由于对大语言模型的第二轮API调用较为复杂，RAG-Fusion的运行时间比传统RAG模型长1.7倍，平均为34.62秒。
2. 答案偏离主题：当生成查询的相关性不足时，答案可能会偏离原始问题的意图。需要用户提供更具体和易于理解的提示来生成适当的查询。
3. 无法提供明确的否定答案：RAG-Fusion在数据库中找不到相关文档时，无法提供明确的否定答案，而只是建议用户参考官方文档或直接联系制造商。
4. 多语言支持不足：目前仅支持英语，未来需要扩展到其他语言，特别是日语和普通话中文。
5. 多模态PDF数据表表示的改进：未来研究将致力于更好地将多模态PDF数据表表示为文本，以提高特定产品信息的准确性并减少幻觉频率。
6. 评估方法的改进：需要进一步调整和优化评估框架，如RAGElo和Ragas，以更好地反映RAG-Fusion的独特目标。

问答环节回顾RAG-Fusion

问题1：RAG-Fusion方法在生成多个查询时是如何确保这些查询与原始查询的相关性的？

RAG-Fusion方法通过将原始查询发送给大型语言模型来生成多个新的搜索查询。这些生成查询的目的是从不同角度探索原始查询的主题，从而提高答案的准确性和全面性。为了确保生成查询的相关性，RAG-Fusion模型会考虑原始查询的关键词和上下文，生成与这些关键词和上下文相关的查询。此外，模型还可以通过预定义的规则和启发式方法来引导查询的生成，以确保它们与原始查询的高度相关性。

问题2：RAG-Fusion方法中的互惠排名融合（RRF）算法是如何工作的？它如何提高答案的质量？

互惠排名融合（RRF）是一种重新排序算法，它为来自多个来源的文档分配互惠排名分数，然后将这些分数和文档结合起来生成最终的重新排序列表。具体来说，RRF算法的工作原理如下：

1. 初始排名：首先，根据文档与查询的相似度（如向量距离）对文档进行初步排序。
2. 计算互惠分数：然后，为每个文档分配一个互惠排名分数，公式为： [ \text{rrfscore}=\frac{1}{\text{rank}+k} ] 其中，rank是按距离排序的文档当前排名，k是一个常数平滑因子。
3. 累积分数：每次计算分数时，rrf分数与同一文档的前一个分数累积，这样可以为文档分配一个综合评分。
4. 最终排序：当所有分数累积完毕后，文档按照综合评分进行重新排序，生成最终的重新排序列表。

RRF算法通过综合考虑多个来源的文档排名，提高了答案的准确性和全面性。因为它不仅依赖于单一来源的文档排序，还结合了多个来源的排名信息，从而减少了因单一来源的局限性导致的偏差。