图灵汇官网

近年来，图机器学习作为机器学习领域的新热点，吸引了越来越多的关注。过去一年里，图机器学习在多个方面取得了突破，未来的一年中，哪些分支和方向将成为新的研究趋势呢？本文将带您了解该领域众多专家的最新思考。

2020年，图机器学习成为机器学习领域备受瞩目的焦点。无论是初学者还是资深专家，都能感受到这一领域的快速发展。本文汇集了多位知名专家的观点，他们中有GraphSAGE、GCN和Graph Attention Network的作者，分享了他们对2020年的总结和对2021年的展望。

接下来，让我们一起看看这些专家的观点将为我们带来怎样的启发。

音讯传递（Message Passing）

威尔·汉密尔顿（Will Hamilton），麦吉尔大学（McGill University）助理教授和Mila CIFAR主席，指出2020年图机器学习开始接受音讯传递范式的限制，如“瓶颈”问题、过度平滑问题以及表征能力的实际限制。展望未来，他认为2021年将寻求图机器学习的新范式。他相信，为了进步，需要摆脱2020年前主导的音讯传递机制。此外，他还期望2021年能有更多的图机器学习应用出现，尤其是在需要复杂算法推理的任务上，如涉及知识图谱、强化学习和组合优化的任务。

算法推理（Algorithmic Reasoning）

Petar Veličković，DeepMind高级研究员和图注意力网络的作者，认为2020年已经将图表示学习提升为机器学习的“一等公民”。这一年取得了许多进展，特别是神经算法推理方面。传统上，神经网络在插值任务中表现出色，但在推理方面仍存在不足。Veličković认为，神经算法推理在未来的发展中将占据重要位置，因为GNN非常适合这些任务。他特别提到，通过预训练的算法执行者，可以将经典算法应用于复杂的输入情况。例如，他的XLVIN代理展示了即使在底层MDP的具体情况不明确的情况下，GNN也能在强化学习中执行值迭代风格的算法。他预计，到2021年，GNN在强化学习中的应用将更加成熟。

关系结构发现（Relational Structure Discovery）

Thomas Kipf，谷歌大脑的研究科学家，也是图卷积网络（GCN）的作者，认为自最近基于GNN的模型广泛应用以来，图机器学习的一个显著趋势是计算结构与数据结构的融合。这种趋势被称为关系结构发现。2020年，人们越来越关注可以适应计算结构的模型，而不仅仅是基于注意力的模型。Kipf提到了一些例子，如使用神经关系推理推断因果图的摊销因果发现、具有可学习指针和关系机制的GNN、以及在学习到的推理抽象节点上进行计算的模型。他认为，这些发展将有助于更好地利用GNN架构在其他领域（如文本或视频处理）中的对称性和归纳偏置。

表达力（Expressive Power）

Haggai Maron，NVIDIA的研究科学家，是可证明表达的高维图神经网络的作者，强调图神经网络的表达能力是2020年图机器学习的核心主题之一。许多论文探讨了不同GNN架构的表达能力，并展示了当GNN的深度和宽度受限时的基本表达极限。Maron认为，固定数量的GNN对许多图形任务没有意义，因此提出了迭代GNN的概念，以适应性地终止消息传递过程。他期待在2021年看到图生成模型、图匹配与GNN的联系、GNN的表达能力等方面的发展，并在GNN领域和计算机视觉领域的研究图之间建立更紧密的联系。

可扩展性（Scalability）

Matthias Fey，多特蒙德工业大学的博士生，也是PyTorch Geometric和Open Graph Benchmark的开发者，指出2020年图机器学习研究中最热门的主题之一是如何解决GNN的可扩展性问题。许多论文将不可训练的传播方案与图形不可知的模块结合在一起，从而大大提高了同构图的性能。

动态图（Dynamic Graphs）

Emanuele Rossi，Twitter的机器学习研究员和帝国理工学院的博士生，也是Temporal Graph Networks的作者，认为许多有趣的图机器学习应用本质上都是动态的，其中图的拓扑和属性会随着时间变化。尽管大多数研究集中在静态图上，但2020年出现了更多关于连续时间动态图的研究，这些研究可以被视为异步流的定时情境。Rossi还提到，动态图模型的第一个有趣的应用已经开始出现，如虚假账户检测、欺诈检测和控制流行病传播等实际应用。他认为，许多有趣的问题仍未得到解答，包括可扩展性、对动态模型的更好理论理解和在单一框架中结合时间和空间的信息扩散。

新硬件（New Hardware）

Mark Saroufim，Graphcore的机器学习工程师，指出在所有与他合作过的客户中，几乎没有人没有在生产中部署图神经网络或没有计划这样做。他认为，不使用GNN的原因之一是忽略了自然图结构在实际应用中的价值，如NLP、蛋白质设计和分子特性预测等。然而，他强调，图神经网络在特定硬件上运行得更好。Graphcore开发了一种新MIMD架构，具有1472个内核，可以并行运行8832个程序，称为智能处理单元（IPU）。这种架构非常适合加速GNN。Saroufim期望在2021年看到更多研究人员利用先进的机器学习硬件进行研究。