检索增强生成（Retrieval Augmented Generation，简称RAG）技术当下正成为提升大型语言模型（LLM）能力的关键。RAG通过将外部知识源整合到LLM中，显著提高了模型的准确性和上下文感知能力。然而，评估这些RAG系统的性能并非易事，这就催生了众多开源的RAG评估框架（RAG(Retrieval-Augmented Generation)评测：评估LLM中的幻觉现象）。今天我们一起了解一些开源的RAG评估框架。
一、Ragas（https://github.com/explodinggradients/ragas）
（一）框架概述
Ragas 是一个专门为评估检索增强生成（RAG）管道而设计的强大框架。它以其对 RAG 评估的综合方法，在开发者和数据科学家群体中迅速获得了认可。
（二）关键特性
定制化评估指标：提供了一套专为 RAG 系统量身定制的评估指标，能够准确地衡量 RAG 系统在不同方面的性能表现。
灵活的评估模式：支持本地和分布式评估，这使得它可以适应不同的计算环境和数据规模。无论是在单机上进行小规模的测试，还是在分布式集群上处理大规模数据的评估，Ragas 都能胜任。
与流行框架集成：能够无缝地与流行的大型语言模型（LLM）框架集成。这种集成能力使得开发者可以方便地将 Ragas 融入到现有的 RAG 系统开发流程中，减少了开发的复杂性和工作量。
（三）示例
from ragas import evaluatefrom datasets import Dataset
eval_dataset = Dataset.from_dict({"question": ["What is the capital of France?"],"contexts": [["Paris is the capital of France."]],"answer": ["The capital of France is Paris."],"ground_truths": [["Paris is the capital of France."]]})results = evaluate(eval_dataset)print(results)
二、Prometheus（https://github.com/prometheus/prometheus）
（一）框架概述
Prometheus 主要以其作为监控系统和时间序列数据库而闻名，但由于其强大的数据收集和警报功能，在大型语言模型（LLM）评估的背景下也值得一提。
（二）关键特性
强大的数据收集与存储：能够有效地收集和存储与 LLM 系统相关的数据，包括 RAG 管道的数据。这些数据对于分析系统的性能和行为至关重要。
强大的查询语言：拥有一种强大的查询语言，使得用户可以方便地对收集到的数据进行查询和分析。通过这种查询语言，用户可以深入了解系统在不同时间点的性能表现，以及各种参数之间的关系。
灵活的警报系统：具备灵活的警报系统，当系统出现异常情况时，能够及时发出警报。这有助于及时发现和解决问题，确保系统的稳定运行。
（三）应用场景
Prometheus 可用于监控基于 LLM 的系统（包括 RAG 管道）的性能和健康状况。虽然它不是一个专门针对 LLM 的工具，但它收集和分析时间序列数据的能力对于跟踪 LLM 性能和系统健康的长期趋势非常有价值。例如，通过定期收集 RAG 系统在不同查询下的响应时间、准确率等数据，并利用其查询语言进行分析，可以发现系统性能的变化趋势，以及是否存在潜在的问题。当响应时间突然增加或准确率下降时，警报系统可以及时通知相关人员进行处理。
三、 DeepEval（https://github.com/confident-ai/deepeval）
DeepEval是另一个在LLM评估领域脱颖而出的框架，专为LLM输出设计。它类似于Pytest，但专注于LLM，提供了广泛的评估指标，并支持LLM输出的单元测试。
特点：
1）融入了最新的LLM输出评估研究成果。
2）提供广泛的评估指标。
3）支持LLM输出的单元测试。
4）确保LLM生成内容的质量和一致性。
四、Phoenix（https://github.com/Arize-ai/phoenix）
（一）框架概述
Phoenix 是由 Arize AI 开发的一个开源工具，用于 AI 的可观察性和评估。虽然它并不专门专注于 RAG 工作流程，但它的能力使其成为 LLM 评估的一个强大选项。
（二）关键特性
实时监控：提供对 AI 模型的实时监控功能，能够及时获取模型在运行过程中的各种信息，如输入输出数据、性能指标等。
性能分析与问题检测：提供了用于分析模型性能和检测问题的工具。通过这些工具，可以深入了解模型的优缺点，及时发现可能存在的问题，如过拟合、欠拟合等。
广泛的应用支持：支持广泛的 AI 和 ML 用例，包括 LLMs。这使得它可以应用于多种不同类型的人工智能项目中，具有较高的通用性。
（三）应用场景
Phoenix 的优势在于它能够提供对模型性能的全面洞察。例如，在一个大型的语言翻译项目中，使用 Phoenix 可以实时监控翻译模型的性能。通过分析模型对不同语言文本的翻译效果，发现可能存在的翻译错误或不准确的地方。同时，它还可以检测模型是否存在过拟合现象，即对训练数据过度拟合，导致在实际应用中对新数据的翻译效果不佳。根据这些分析结果，可以对模型进行调整和优化，提高翻译的质量和效率。
五、ChainForge（https://github.com/ianarawjo/ChainForge）
（一）框架概述
ChainForge 是一个开源的可视化编程环境，用于分析和评估 LLM 响应。它的设计目的是使提示工程和响应评估的过程更加直观和易于访问。
（二）关键特性
可视化界面：具有可视化的界面，用于设计和测试提示。通过这个界面，开发者可以直观地看到提示的结构和内容，方便地进行调整和优化。
多提供商支持：支持多个 LLM 提供商，这使得用户可以在不同的 LLM 模型之间进行选择和比较。
输出比较与分析工具：提供了用于比较和分析 LLM 输出的工具。通过这些工具，可以对不同 LLM 模型的输出进行对比，找出它们的优缺点，以便选择最适合的模型。
（三）应用场景
ChainForge 的可视化方法在 LLM 评估中脱颖而出。例如，在一个内容生成项目中，需要选择一个最适合的 LLM 模型来生成高质量的文章。通过 ChainForge 的可视化界面，可以设计不同的提示，并观察不同 LLM 模型对这些提示的响应。通过比较这些响应，可以发现哪个模型能够生成更符合要求的文章，从而选择该模型进行实际应用。
随着 LLM 开发领域的不断发展，我们可以预期这些评估工具也会不断进化，并且会有新的工具出现（RAG(Retrieval-Augmented Generation)评测：评估LLM中的幻觉现象）。未来，评估工具可能会更加智能化，能够自动适应不同的项目需求和环境。同时，随着 RAG 技术（检索增强思考 RAT（RAG+COT）：提升 AI 推理能力的强大组合）的广泛应用，对评估工具的准确性和效率要求也会越来越高。因此，保持对 LLM 评估最新发展的了解对于任何从事这些强大 AI 系统工作的人来说都是至关重要的。
粤ICP备14082021号
免费POC，
零成本试错
