实验比较:三种方法的优劣
我们以电子商务产品推荐系统为例,对比三种方法在语义搜索、相似度计算和RAG方面的表现。
方法一:向量数据库检索
首先,我们将产品描述和用户评论向量化存入Milvus向量数据库:
collection_name = "products"
dim = 1536
collection = Collection(name=collection_name)
collection.create_field(FieldSchema("id", DataType.INT64, is_primary=True))
collection.create_field(FieldSchema("title", DataType.VARCHAR, max_length=200))
collection.create_field(FieldSchema("description", DataType.VARCHAR, max_length=2000))
collection.create_field(FieldSchema("embedding", DataType.FLOAT_VECTOR, dim=dim))
with collection:
for index, row in df.iterrows():
embedding = get_embedding(row.title + " " + row.description) collection.insert([ [index], [row.title], [row.description], [embedding] ])
语义搜索测试:搜索"轻便防水运动鞋"时,返回相关产品:
这里向量数据库展现了良好的语义理解能力,能找到功能相关的产品,即
使它们的描述用词不完全一致。
当用户询问"推荐适合雨天跑步的鞋子"时,系统检索出相关产品并生成建议:
以下是几款适合雨天跑步的鞋子推荐:
- 防水透气跑步鞋XYZ采用特殊橡胶外底,提供优异抓地力
- 全天候运动鞋ABC配备防泼水面料,轻量设计适合长跑
- 专业越野跑鞋DEF具有排水设计,即使踩水也能快速干燥
然而,我们发现一个问题:向量数据库可能会返回视觉上相似但功能不匹配的产品(如时尚休闲鞋),这会导致"上下文污染",使LLM生成的推荐不够精准。
方法二:知识图谱检索
接下来,我们将同样的数据构建成知识图谱:
# 创建实体和关系
g.add((product_uri, RDF.type, Product))
g.add((product_uri, name, Literal(row['title'])))
g.add((product_uri, description, Literal(row['description'])))
# 添加产品属性和分类关系
for feature in features:
feature_uri = create_valid_uri("http://example.org/feature", feature)
g.add((feature_uri, RDF.type, Feature))
g.add((product_uri, hasFeature, feature_uri))
语义搜索测试:我们不仅搜索"防水"标签,还利用产品本体的层级关系,同时搜索相关概念如"防泼水"和"快干":
related_concepts = get_all_related_concepts("WaterProof", depth=2)
feature_terms = [convert_to_feature_uri(term) for term in flat_list]
结果返回:
《Gore-Tex专业跑鞋》(标签:防泼水、透气、专业跑步)知识图谱的优势在于结果可解释性强,我们知道每个产品为什么被选中。
方法三:混合方法
最后,我们结合两种方法的优势:
将产品描述、评论和特性标签一起向量化:
collection = Collection(name="products_with_features")
collection.create_field(FieldSchema("id", DataType.INT64, is_primary=True))
collection.create_field(FieldSchema("title", DataType.VARCHAR, max_length=200))
collection.create_field(FieldSchema("description", DataType.VARCHAR, max_length=2000))
collection.create_field(FieldSchema("features", DataType.VARCHAR, max_length=500))
collection.create_field(FieldSchema("product_uri", DataType.VARCHAR, max_length=200))
collection.create_field(FieldSchema("embedding", DataType.FLOAT_VECTOR, dim=dim))
先用向量搜索获取初步结果:
search_params = { "metric_type": "COSINE", "params": {"nprobe": 10} }
results = collection.search( [get_embedding("适合雨天跑步的鞋子")], "embedding", search_params, limit=20,
output_fields=["title", "description", "features", "product_uri"] )
再用知识图谱筛选和排序:
query = """ SELECT ?product ?title ?description WHERE { ?product hasFeature ?feature1. ?product hasFeature ?feature2. ?product name ?title. ?product description ?description. FILTER (?product IN (%s) && ?feature1 IN (%s) && ?feature2 IN (%s)) } """
这种混合方法解决了上下文污染问题,最终返回的都是真正适合雨天跑步的专业鞋款:
结论与实践建议