综述导读 | Graph4LLM：

图增强大语言模型的全景图

当序列建模遇见结构建模，图正成为突破大语言模型能力边界的“关键拼图”。

引言

大语言模型（LLMs）凭借Transformer架构和海量预训练数据，在自然语言理解、生成与推理任务中展现出强大能力，但受限于序列建模本质，其在结构化信息捕捉、事实可靠性验证等方面存在固有短板。而图（一种通过节点和边捕捉复杂依赖关系的非欧几里得结构）与图神经网络（GNNs，通过消息传递学习局部和全局表示的模型），恰好能为LLM补上这一短板。

近日，北京邮电大学GAMMA Lab团队重磅推出Graph4LLM系统性综述，从LLM全流水线视角出发，梳理了图增强LLM的研究成果，为该领域提供了统一的分类框架与研究脉络。

LLM流水线的图式重构

LLM运行遵循输入→模型→输出的特定流水线，该流水线构建了从输入到输出的信息流：

图1：LLM流水线

1. 在输入阶段，需引入任务说明与外部知识，常用方式包括少样本提示、检索增强生成（RAG）或向模型输入精心整理的训练数据，这些方法能规范原始信息向LLM的呈现形式。
2. 进入模型阶段，LLM将聚焦于输入信息的处理。基于 Transformer 的架构通过注意力机制和前馈网络对信息进行序列式处理，还可通过多智能体系统进一步扩展，实现多个模型间的协作。
3. 最后在输出阶段，LLM生成特定任务的响应，包括问答结果、可执行代码或决策支持产物等，成为模型预测与下游应用之间的接口。

尽管表现出色，但LLM存在固有的局限性，这主要源于其对线性token序列的依赖。这类序列模型难以捕捉复杂的关系结构、长距离依赖和多跳交互，而这些对于许多知识密集型任务至关重要。此外，推理与规划过程通常隐式编码在潜在表示中，导致中间状态难以被系统地解释、控制或验证。LLM还容易出现事实不一致和幻觉问题，尤其是在任务需要精确的关系推理或可靠的知识锚定时。这些挑战凸显了以序列为中心的模型在需要显式结构、透明度和鲁棒性的任务中存在不足。

为解决LLM建模过程中的这些问题，图与图神经网络提供了互补性的解决方案。它们通过显式编码关系和依赖关系，支持多跳推理并捕捉非线性结构。此外，图还能提供透明、结构化的中间状态，提升模型的可解释性与可验证性。通过整合外部知识图谱（KGs），图还能增强模型的事实锚定能力，减少幻觉现象，提升整体可靠性。

借助图在解决LLM局限性方面的潜力，图增强LLM（本文称之为 Graph4LLM）利用关系结构更高效地处理复杂的互联数据。因此，越来越多的研究开始探索各Graph4LLM方法。尽管发展迅速，但Graph4LLM的研究在不同领域和应用中仍较为分散。现有综述往往聚焦于狭窄的子主题（如基于图的RAG或多智能体系统），缺乏对图如何贯穿LLM全流水线交互的统一视角。

图2：Graph4LLM分类

相比之下，本文首次提供了针对Graph4LLM的系统性、流水线导向的综述。具体而言，我们根据LLM流水线的三个阶段（图2）对现有研究进行分类，各个阶段代表性的研究内容如下所述。

输入阶段

图3：Graph4LLM在输入阶段的不同框架

在输入阶段（Input Phase），图将复杂分散的信息转化为结构化提示，使关键实体和关系能清晰地呈现给LLM，主要分为三大类：

• 来自知识图谱的提示（Prompt from Knowledge Graph）：借助已有知识图谱，通过指令微调或图检索增强生成，为LLM提供可靠结构化知识支持；
• 来自语料级图的提示（Prompt from Corpus-Level Graph）：从文本语料中构建全局图索引，帮助LLM高效定位关联文本，整合全局上下文；
• 来自实例级图的提示（Prompt from Instance-Level Graph）：针对特定输入实例动态构建图结构，将单个复杂任务转化为结构化表示，适配具体推理需求。

模型阶段

图4：Graph4LLM在模型阶段的不同框架

在模型阶段，图可塑造单个模型的内部处理过程，或组织多个模型间的交互，实现可控的信息流与任务协同，主要分为两大范式：

• 单模型融合（Single Model）：通过外部图适配器（给LLM外接一个图处理模块）或内部模型融合（将图嵌入LLM内部），让模型原生支持结构信息处理；
• 多模型协同（Multiple Models）：以静态拓扑（预定义固定协作图）或动态拓扑（自适应调整协作图），规范多智能体间的通信与任务依赖。

输出阶段

图5：Graph4LLM在输出阶段的不同框架

在输出阶段，图将LLM的响应重组为结构化表示，使中间步骤和依赖关系易于检查和验证，分为三类方向：

• 推理（Reasoning）：用图组织中间推理状态，通过节点总结（聚合信息到核心节点）或路径探索（沿候选路径遍历信息），提升输出的清晰度与可解释性；
• 规划（Planning）：用图拆解多步任务、管理目标依赖，支持复杂任务的分解、执行与反馈修正；
• 评估（Evaluation）：将LLM输出构建成图，采用特定的指标进行事实性评估或逻辑性评估，量化输出质量。

基于这一分类框架，我们进一步对每个阶段进行细分，介绍具体方法及关键设计选择与权衡。

本文的其余部分结构如下：

• 第2节回顾输入阶段的多粒度提示构建与知识整合技术；
• 第3节探讨模型阶段的单模型与多模型图增强系统；
• 第4节聚焦输出阶段的图结构推理、规划与评估技术；
• 第5节介绍Graph4LLM的代表性应用场景；
• 第6节讨论当前面临的开放挑战与未来研究方向。

总体而言，这一结构遵循LLM的流水线逻辑，有助于对Graph4LLM方法进行系统性梳理