知识图谱在大语言模型兴起之前，一度被作为最有可能实现AGI的技术之一，只是大语言模型火了之后，这项技术慢慢没那么受关注了，但这项技术本身毋庸置疑还是可以解决一些问题的。本文使用一份开源的豆瓣电影数据，使用当前最流行的图数据库Neo4j，构建一个电影知识图谱，并在上面做一些简单的分析，诸如“演员最多的电影”、“参演电影超过10部的演员及其参演的电影”、“黄渤和莱昂纳多·迪卡普里奥的最短距离”等。

本文清洗好的以便于导入Neo4j的数据已经在Github开源，地址为：https://github.com/Steven-Luo/neo4j-douban-movies

1 环境说明

• Neo4j数据库版本：5.20.0 Enterprise，企业版个人可以免费使用

2 数据

原始数据来源：http://data.openkg.cn/dataset/douban-movie-kg原始数据大家可以访问上面的链接，或者到Github仓库中，获取加工好的可以直接导入Neo4j的数据

3 数据预处理

原始数据每条记录只有一个电影记录，并没有抽象出节点和关系，通过数据预处理，对节点和关系进行抽象和重组，消除数据冗余，便于后续分析。具体而言，有以下节点类型：

• 电影——Movie

• 人——Person

• 语言——Language

• 发行地区——District

• 电影类型——Category

有以下关系类型：

• 参演——ACTED_IN

• 导演——DIRECTED_IN

• 编剧——COMPOSED

• 拥有类型——CATEGORIZED_TO

• 拥有主要语言——HAS_MAIN_LANGUAGE

• 发行于——RELEASED_IN

schema或者所谓的本体如下：

 
 
   

os.makedirs(, exist_ok=)

data = json.load(())



persons = []
categories = []
languages = []
movies = []
districts = []


acted_in = []
categorized_to = []
directed = []
composed = []
released_in = []
has_main_language = []

 item  data:
 key  (, , , , ):
 item[key]  :
            item[key] = []

    persons.extend(item[])
    persons.extend(item[])
    persons.extend(item[])

    languages.extend(item[])
    districts.extend(item[])
    categories.extend(item[])

    movies.append({
: item[],
: item[],
: item[],
: item[],
: item[],
: (item[])  item[]     ,
: (item[])  item[]     ,
: item[]
    })

 director  item[]:
        directed.append({
: item[],
: director
        })

 composer  item[]:
        composed.append({
: item[],
: composer
        })

 actor  item[]:
        acted_in.append({
: item[],
: actor
        })

 category  item[]:
        categorized_to.append({
: item[],
: category
        })

 region  item[]:
        released_in.append({
: item[],
: region
        })

 language  item[]:
        has_main_language.append({
: item[],
: language
        })



 item  [
    (, persons),
    (, categories),
    (, languages),
    (, movies),
    (, districts)
]:
 item[] == :
        pd.DataFrame(item[]).to_csv(os.path.join(, item[] + ), index=)
:
        pd.DataFrame((item[]), columns=[]).to_csv(os.path.join(, item[] + ), index=)


 rel  [
    (, acted_in),
    (, categorized_to),
    (, directed),
    (, composed),
    (, released_in),
    (, has_main_language),
]:
    pd.DataFrame(rel[]).to_csv(os.path.join(, rel[].upper() + ), index=)

4 导入数据

4.1 准备工作

4.1.1 修改配置

准备工作，首先要修改配置，在下图Settings...中，

注释掉如下的语句，这样可以允许导入数据时，从任意路径导入：

server.directories.import=import

4.1.2 安装插件

另外，需要安装APOC插件

4.1.3 创建数据库

这一步可选，在Neo4j界面上创建即可

4.2 开始导入

后续所有导入操作，在Neo4j Browser中进行

4.2.1 导入节点信息

4.2.1.1 导入Movie

旧版的Cypher语句

:auto

(:Movie{
id:line[id],
title:line[title],
cover:line[cover],
length:toInteger(line[length]),
rate:toFloat(line[rate]),
showtime:toInteger(line[showtime]),
url:line[url],
othername:line[othername]
})

Neo4j 4.0及以上版本不再支持 USING PERIODIC COMMIT，需要使用 CALL { ... } IN TRANSACTIONS 进行替换。上面只是旧版本的示例，后续不再包含旧版本Cypher语句。

注意：路径中不要包含中文，否则会报Bad escape (Transactions committed: 0)

{
line
(:Movie{
id:line[id],
title:line[title],
cover:line[cover],
length:toInteger(line[length]),
rate:toFloat(line[rate]),
showtime:toInteger(line[showtime]),
url:line[url],
othername:line[othername]
})
}TRANSACTIONS

4.2.1.2 导入Person

{
line
(:Person{
name:line[name]
})
}TRANSACTIONS

4.2.1.3 导入District

{
line
(:District{
name:line[name]
})
}TRANSACTIONS

4.2.1.4 导入Language

{
line
(:Language{
name:line[name]
})
}TRANSACTIONS

4.2.1.5 导入Cateogory

:auto LOAD CSV WITH HEADERS FROM  AS line
CALL {
  WITH line
  CREATE (:Category {
        name:line[]
})
} IN TRANSACTIONS

4.2.2 建立索引

4.2.2.1 对节点建立索引

这个地方Cypher语句也跟Neo4j版本有关，旧版本：

indexon:Movie(title);

新版本：

INDEXmovie_title_indexFOR(m:Movie)ON(m.title);
INDEXperson_name_indexFOR(p:Person)ON(p.name);
INDEXcategory_name_indexFOR(c:Category)ON(c.name);
INDEXlanguage_name_indexFOR(l:Language)ON(l.name);
INDEXdistrict_name_indexFOR(d:District)ON(d.name);

4.2.2.2 查看索引状态

:schema

4.2.3 导入关系

4.2.3.1 导入ACTED_IN关系

{
line
(s:Person{name:line[actor]}),(e:Movie{id:line[movie_id]})
(s)-[:ACTED_IN]->(e)
}TRANSACTIONS

4.2.3.2 导入CATEGORIZED_TO关系

{
line
(s:Movie{id:line[movie_id]}),(e:Category{name:line[category]})
(s)-[:CATEGORIZED_TO]->(e)
}TRANSACTIONS

4.2.3.3 导入DIRECTED关系

{
line
(s:Person{name:line[director]}),(e:Movie{id:line[movie_id]})
(s)-[:DIRECTED]->(e)
}TRANSACTIONS

4.2.3.4 导入COMPOSED关系

{
line
(s:Person{name:line[composer]}),(e:Movie{id:line[movie_id]})
(s)-[:COMPOSED]->(e)
}TRANSACTIONS

4.2.3.5 导入RELEASED_IN关系

{
line
(s:Movie{id:line[movie_id]}),(e:District{name:line[region]})
(s)-[:RELEASED_IN]->(e)
}TRANSACTIONS

4.2.3.6 导入HAS_MAIN_LANGUAGE关系

{
line
(s:Movie{id:line[movie_id]}),(e:Language{name:line[language]})
(s)-[:HAS_MAIN_LANGUAGE]->(e)
}TRANSACTIONS

4.2.4 查看schema

db.schema.visualization

或者

CALL apoc.meta.graph

4.3 分析

4.3.1 演员数量最多的10部电影

p=(:Person)-[r:ACTED_IN]->(m:Movie)
m,count(p)cnt
m.title,cntcnt

4.3.2 参演电影最多的10个演员

path=(p:Person)-[:ACTED_IN]-()
p,count(path)cnt
p.name,cntcnt

4.3.3 参演电影超过10部的演员，获取演员、电影

(p:Person)-[:ACTED_IN]->(m:Movie)
p,count(m)rels,collect(m)movies
rels>
p,movies,rels
rels

4.3.4 导演电影最多的导演

path=(p:Person)-[:DIRECTED]-()
p,count(path)cnt
p.name,cntcnt

4.3.5 “莱昂纳多·迪卡普里奥”和“黄渤”的最短路径，限定只能是ACTED_IN关系，同时限定必须是1至8度关系

p=shortestPath((:Person{name:})-[:ACTED_IN*..]-(:Person{name:}))
p

4.3.6 “莱昂纳多·迪卡普里奥”和“黄渤”的最短路径，限定只能是ACTED_IN或DIRECTED关系，同时限定必须是1至8度关系，获取他们的最短距离长度

p=shortestPath((:Person{name:})-[r:ACTED_IN|DIRECTED*..]-(:Person{name:}))
size(r)