图与大型语言模型相遇：进展与未来方向

1. 引言

图，或者说图论，在当今世界的众多领域中扮演着至关重要的角色，尤其是在科技、科学和物流领域 [Ji et al., 2021]。图数据表示节点之间结构特征，从而阐明图的组成部分之间的关系。许多现实世界的数据集，例如引文网络 [Sen et al., 2008]、社交网络 [Hamilton et al., 2017] 和分子结构 [Wu et al., 2018]，本质上都是以图的形式存在的。为了处理与图相关的任务，图神经网络 (GNN) [Kipf and Welling, 2016; Velickovic et al., 2018] 已成为处理和分析图数据的最受欢迎的选择之一。GNN 的主要目标是通过节点之间的递归消息传递和聚合机制，在节点、边或图级别获取用于不同下游任务的表达性表示。

近年来，大型语言模型 (LLM)，如 Transformers [Vaswani et al., 2017]、BERT [Kenton and Toutanova, 2019]、GPT [Brown et al., 2020] 及其变体，取得了重大进展。这些 LLM 可以很容易地应用于各种下游任务，只需很少的调整，就在各种自然语言处理任务中表现出卓越的性能，例如情感分析、机器翻译和文本分类 [Zhao et al., 2023d]。虽然它们的主要关注点是文本序列，但人们越来越关注增强 LLM 的多模态能力，使其能够处理不同的数据类型，包括图 [Chai et al., 20