支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


知识图谱+向量数据库:打造更智能的RAG系统

发布日期:2025-05-14 03:38:45 浏览次数: 1542 作者:口袋大数据
推荐语

结合知识图谱和向量数据库,探索构建更智能RAG系统的方法和实践。

核心内容:
1. 图RAG与传统RAG的区别和优势
2. 实现图RAG的三种主要方法
3. 三种方法在电子商务推荐系统中的应用比较

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家

在当今AI时代,检索增强生成(RAG)已成为提升大语言模型回答质量的关键技术。本文将探讨如何结合知识图谱和向量数据库构建更智能的图RAG系统,让AI回答更准确、更可靠。


图RAG是什么?为什么需要它?


想象一下,传统RAG就像是一个勤奋但视野有限的图书管理员,只能根据关键词匹配找到相关书籍。而图RAG则像是一位博学多才的专家,不仅知道每本书的内容,还了解它们之间错综复杂的关联。


传统RAG虽然能从海量文档中检索相关片段,但它就像戴着眼罩看世界—看到了内容,却看不到内容间的联系。图RAG通过引入知识图谱这把"魔法钥匙",打开了数据关系的大门,让AI不仅理解"是什么",还能理解"为什么"和"怎么样",从而提供更全面、更深入的回答。


目前主要有三种实现图RAG的方式:


一是基于向量的检索,将知识图谱向量化存储在向量数据库中,通过相似度匹配检索。
二是相关实体提示查询检索使用LLM将自然语言转换为SPARQL或Cypher查询语句,直接查询知识图谱。
最后就是二者结合的混合方法,结合两者优势,先用向量搜索初步检索,再用知识图谱进行筛选优化。


实验比较:三种方法的优劣


我们以电子商务产品推荐系统为例,对比三种方法在语义搜索、相似度计算和RAG方面的表现。


方法一:向量数据库检索


首先,我们将产品描述和用户评论向量化存入Milvus向量数据库:

# 定义数据模式 collection_name = "products" dim = 1536  # OpenAI embedding维度  # 创建集合 collection = Collection(name=collection_name) collection.create_field(FieldSchema("id", DataType.INT64, is_primary=True)) collection.create_field(FieldSchema("title", DataType.VARCHAR, max_length=200)) collection.create_field(FieldSchema("description", DataType.VARCHAR, max_length=2000)) collection.create_field(FieldSchema("embedding", DataType.FLOAT_VECTOR, dim=dim))  # 写入数据 with collection:       for index, row in df.iterrows():           embedding = get_embedding(row.title + " " + row.description)         collection.insert([             [index], [row.title], [row.description], [embedding]         ])


语义搜索测试:搜索"轻便防水运动鞋"时,返回相关产品:

《超轻透气跑步鞋》
《防水户外徒步鞋》
《多功能运动训练鞋》


这里向量数据库展现了良好的语义理解能力,能找到功能相关的产品,即

使它们的描述用词不完全一致。

当用户询问"推荐适合雨天跑步的鞋子"时,系统检索出相关产品并生成建议:

以下是几款适合雨天跑步的鞋子推荐: - 防水透气跑步鞋XYZ采用特殊橡胶外底,提供优异抓地力 - 全天候运动鞋ABC配备防泼水面料,轻量设计适合长跑 - 专业越野跑鞋DEF具有排水设计,即使踩水也能快速干燥


然而,我们发现一个问题:向量数据库可能会返回视觉上相似但功能不匹配的产品(如时尚休闲鞋),这会导致"上下文污染",使LLM生成的推荐不够精准。


方法二:知识图谱检索


接下来,我们将同样的数据构建成知识图谱:

# 创建实体和关系 g.add((product_uri, RDF.type, Product)) g.add((product_uri, name, Literal(row['title']))) g.add((product_uri, description, Literal(row['description'])))  # 添加产品属性和分类关系 for feature in features:       feature_uri = create_valid_uri("http://example.org/feature", feature)       g.add((feature_uri, RDF.type, Feature))      g.add((product_uri, hasFeature, feature_uri))


语义搜索测试:我们不仅搜索"防水"标签,还利用产品本体的层级关系,同时搜索相关概念如"防泼水"和"快干":


# 获取防水的相关概念 related_concepts = get_all_related_concepts("WaterProof", depth=2# 将所有概念转为URI进行查询 feature_terms = [convert_to_feature_uri(term) for term in flat_list]


结果返回:

《全天候防水徒步鞋》(标签:防水、耐磨、户外)
《速干涉水溯溪鞋》(标签:快干、防滑、水上运动)
《Gore-Tex专业跑鞋》(标签:防泼水、透气、专业跑步)

知识图谱的优势在于结果可解释性强,我们知道每个产品为什么被选中。


方法三:混合方法


最后,我们结合两种方法的优势:

将产品描述、评论和特性标签一起向量化:# 创建包含产品特性的向量表示 collection = Collection(name="products_with_features"collection.create_field(FieldSchema("id", DataType.INT64, is_primary=True)) collection.create_field(FieldSchema("title", DataType.VARCHAR, max_length=200)) collection.create_field(FieldSchema("description", DataType.VARCHAR, max_length=2000)) collection.create_field(FieldSchema("features", DataType.VARCHAR, max_length=500)) collection.create_field(FieldSchema("product_uri", DataType.VARCHAR, max_length=200)) collection.create_field(FieldSchema("embedding", DataType.FLOAT_VECTOR, dim=dim))先用向量搜索获取初步结果:# 搜索适合雨天跑步的鞋子 search_params = {     "metric_type""COSINE",     "params": {"nprobe"10} } results = collection.search(     [get_embedding("适合雨天跑步的鞋子")],     "embedding",     search_params,     limit=20,     output_fields=["title""description""features""product_uri"] )再用知识图谱筛选和排序:# 筛选出真正具备防水和跑步功能的产品 query = """ SELECT ?product ?title ?description WHERE {   ?product hasFeature ?feature1.   ?product hasFeature ?feature2.   ?product name ?title.   ?product description ?description.   FILTER (?product IN (%s) && ?feature1 IN (%s) && ?feature2 IN (%s)) } """


这种混合方法解决了上下文污染问题,最终返回的都是真正适合雨天跑步的专业鞋款:

《GTX防水专业马拉松跑鞋》
《全天候防泼水竞速跑鞋》
《防滑防水越野跑步鞋》


结论与实践建议


从上面的对比,我们可以看到,向量数据库优势是部署简单快速,Milvus提供高性能向量检索,特别适合大规模产品库。缺点是结果不可解释,且存在上下文污染风险。

知识图谱优势,是结果高度可控和可解释,可以精确过滤无关内容。缺点是需要构建和维护知识图谱,查询编写复杂。

而对于混合方法,则利用Milvus的高效检索和知识图谱的精确性,既保证了检索速度,又提高了推荐质量。

在实际应用推荐上,比如做内容推荐,同时考虑主题相似性和内容关联性,避免推荐表面相似但实质不相关的内容,又或者对于客户服务,确保回答不仅相关,还能考虑到产品间的兼容性和搭配关系。

图RAG不仅是技术的组合,更是提升AI系统智能程度的飞跃。通过Milvus的高效向量检索和知识图谱的关系理解,我们的AI不再是简单的"关键词匹配机器",而是真正理解用户需求的"智能顾问"。


写在最后



2025年的今天,AI创新已经喷井,几乎每天都有新的技术出现。作为亲历三次AI浪潮的技术人,我坚信AI不是替代人类,而是让我们从重复工作中解放出来,专注于更有创造性的事情,关注我们公众号口袋大数据,一起探索大模型落地的无限可能



另外目前我正在做一个本地知识库的开源项目EasyRAG,用于提升本地文档RAG的效果,有兴趣的加入群聊了解。


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询