大模型时代的图机器学习

01

图机器学习发展历程

图是用于描述和建模复杂系统的一种通用语言。由“点”和“边”构成的交互系统都可以通过图来建模，如社交网络、金融网络等等。

图被定义为有序二元组(V, E)，其中 V 是顶集，E 是边集，图机器学习则是将机器学习用于图数据。关于图的研究经历了漫长的发展历程，1736 年欧拉对哥尼斯堡七桥问题的研究，奠定了图论基础；1956 年 Dijkstra 提出最短路径算法，促进了图算法的发展；2002 年 Barabasi 对复杂网络长尾分布的研究推动了网络科学进步；2013 年图信号处理概念提出；2014 年 DeepWalk 算法开启了图嵌入研究；2017 年图神经网络兴起，让图数据有了强大的学习能力。

图数据是非欧数据，与语言、图像数据有本质区别。图数据由节点和边组成，节点数量和连接方式多样，不像欧氏空间数据那样有固定的维度和顺序。

不同领域数据所构成的图结构会有很大差别，按不同的构图方式又可分为同质图、异质图、超图等。

下游任务包括节点级别任务（如节点分类、回归、聚类）、边级别任务（如链接预测、最短路径预测）和图级别任务（如图分类、生成、压缩）。

图表示学习是近年来的一个热点研究方向，其通过将网络中的每个节点嵌入到低维向量空间，用低维向量表示节点的结构特性。

图表示学习的方法可分为浅层模型和深度模型两大类。其中浅层模型主要采用基于随机游走的方法，将拓扑结构转换为序列结构，典型算法包括 DeepWalk、node2vec 等；深度模型采用基于图神经网络的方法，如 GCN、GraphSAGE等。

图神经网络的学习流程一般为：输入图拓扑和节点特征，进行初始化，将节点特征进行 embedding 得到初始特征，继而迭代优化，聚合当前节点及其邻居的表示，再经过非线性化，最后进行预测。

GNN 的发展虽短，但已衍生出多种研究方向，包括谱图学习、图结构学习、自监督学习、可信学习、异配图学习、自动统计学习、表达能力研究、图技术模型等。在异质图神经网络领域，本团队提出了该领域的经典模型——HAN 模型。

02

当图模型遇到大语言模型

了解了图技术的发展脉络后，接下来探讨大语言模型。

基础模型是在广泛数据上训练并可以应用于各种下游任务的模型。基础模型已在语言、视觉、语音等领域得到了实际应用。

基础模型具有两大特点：涌现和同质化。涌现，即随着模型规模扩大，会自发展现出新的能力。同质化，即模型具有多功能性，能够在各种应用场景中进行部署。

大语言模型是指参数量巨大的预训练语言模型，是基础模型的典型代表。

大语言模型主要处理语言数据，而语言数据是一种序列数据、欧式数据。大语言模型主要基于 Transformer 架构，主要任务是对下个单词进行预测。下游任务有成百上千种，如机器翻译、情感分析等。

大语言模型无法解决图的问题，从数据角度看，图数据结构与语言序列结构有本质不同，大模型难以建模图结构语义；从任务角度看，大模型难以处理多样的图任务。

另一方面，图模型不具备大模型的能力。图模型的表达能力有限，存在过平滑、过压缩的问题，没有涌现能力，也难以支持多任务。

鉴于此，团队提出了图基础模型，其是一个在广泛的图数据上预训练的模型，适用于不同的下游图任务。

图基础模型与语言基础模型的相似之处在于二者具有相同的愿景目标和相似的学习范式。而差异在于数据和任务的独特性，以及技术的差异性。

03

图基础模型前沿突破

当前图基础模型尚未形成明确的解决方案，但已成为图学习领域的研究热点。基于对图神经网络（GNN）和大语言模型（LLM）的依赖，现有探索可分为三大方向：基于 GNN 的模型、基于 LLM 的模型，以及基于 GNN+LLM 的模型。

基于 GNN 的模型，通过对 GNN 模型架构、预训练和适配方面的创新来增强现有的图学习能力。

基于 LLM 的模型，将图转化为文本或标记，探索将 LLM 用作图基础模型的可行性。

结合 GNN 和 LLM 的模型，旨在探索二者之间协同作用的方式，以增强图学习能力。

石川教授团队针对面向图数据的大模型关键问题，围绕图转换器、图对齐大语言模型、基于图工具的大语言模型预测器，进行了深入探索。接下来将介绍三个相关工作。

1. 图转换器 CoBFormer

图转换器的基本思想是利用 Transformer 架构的全连接层来处理图数据，其中的关键之一是如何将节点的位置信息编码进 Transformer 架构中。然而，这里存在一个问题：图转换器的全局化性质是否总是有益？

通过理论分析和实验验证发现图转换器中的存在过全局化问题，即并非总是有益的。为解决此问题，团队提出通过聚类方式将节点信息分成不同的簇，通过解耦簇内局部信息和簇间全局信息缓解过全局化问题，通过协同训练融合结构信息和特征信息。

通过在七个同配图、异配图以及大规模网络数据集进行实验，证明相比其他基线模型在节点分类任务上有显著的性能提升，可大幅减少显存需求，并有效缓解过全局化问题。

2. 图对齐大语言模型 GraphTranslator

第二个工作是图对齐大语言模型，旨在研究如何对齐图模型到大语言模型空间，同时处理图上传统预定义任务与开放式任务。

通过设计一个 Translator 层，将图模型的表示向量翻译到大语言模型的 token 空间，利用图模型处理预定义任务，大模型处理开放式任务。

通过在淘宝业务数据集和公开文献数据集 ArXiv 上进行实验，零样本分类任务取得最佳性能。多轮对话形式下的开放式问答显示了更好的交互结构信息处理能力，显著提升了回答的深度和细致程度。

3. 基于图工具的大模型预测器：LLM4Graph

第三个工作是希望大模型能够像专家一样使用工具解决图问题。因此设计了一个大模型 Agent，使其能够像专家一样，针对不同任务，自动调用相应工具进行处理。

研究思路如下：

（1）首先提出 ProGraph 图任务基准，涵盖图理论、统计和表示等复杂问题，用于评估现有模型和方法的图任务处理能力；

（2）构造训练数据集，通过 RAG 的方式提升闭源模型能力，并通过指令微调提升开源模型能力。

实验表明，LLM 在 ProGraph 基准表现不佳，但是可以通过 LLM4Graph 显著增强性能。

04

从模型突破到生态重构

团队在图机器学习模型领域开展了大量工作，希望利用大模型，更好地处理图数据。

团队开源了首个异质图神经网络平台 OpenHGNN 和首个支持多深度学习框架的图神经网络平台 GammaGL，可以帮助快速解决图机器学习应用相关问题。

团队联合国内顶尖高校和企业共同制定了国际上首部图神经网络标准（20230718-T-469），该标准已通过团标、国标及 HVE 标准的审查。

05

未来挑战

图基础模型作为当前图学习领域的研究热点，虽已取得显著进展，但仍面临多重挑战：

• 在同质性方面，跨领域结构知识迁移机制尚未明确，现有研究主要聚焦数据和任务的统一处理，而图结构常识与本质特性表达仍属理论空白；

  
  

  
  

• 在知识涌现层面，相关探索尚处初级阶段，模型是否具备参数与算力层面的"大模型"特性（与传统大语言模型相比）及其优劣仍存争议；

  
  

  
  

• 在模态融合方向，图数据能否成为多模态大模型的必要组成尚未形成共识，但在代码逻辑解析、药物分子设计等特定场景中，图结构已显现出不可替代性；长远来看，图模型凭借对序列与网格结构的兼容优势，或将成为多模态数据处理的基础架构。