图灵汇官网

图机器学习在2020年的进展及其未来展望

2020年，图机器学习领域取得了显著进展，各种创新应用层出不穷。近期，伦敦帝国理工学院教授、推特图学习研究负责人Michael Bronstein与多位图机器学习领域的资深研究人员进行了深入交流，总结了过去一年的成就，并对未来的发展方向进行了预测。

1. 信息传递机制

Will Hamilton，麦吉尔大学助理教授，Mila的CIFAR主席，GraphSage作者。

2020年，图机器学习领域开始受到信息传递范式固有缺陷的限制。“瓶颈”、“过度平滑”等问题，以及表征能力的理论限制，都是该领域面临的主要挑战。展望2021年，我们期望研究人员开始寻找图机器学习的下一个核心范式。目前，我们还不清楚下一代图机器学习算法应该是什么样子，但我们相信，摆脱过去主导的信息传递机制是提高图机器学习的关键。

在2021年，我们希望图机器学习技术能够应用于更具影响力和挑战性的领域。近年来，许多研究都集中在简单的、同质化的节点分类任务上。此外，我们还期待看到该领域能够在需要更复杂算法推理的任务上取得进展（例如，涉及知识图谱、强化学习和组合优化的任务）。

2. 算法推理

Petar Veličković，DeepMind高级研究员，图注意力网络（GAT）作者。

显然，图表征学习在2020年已经无可逆转地成为机器学习领域最受瞩目的课题之一。在这一年里，图机器学习领域取得了诸多进展，神经算法推理是最令人振奋的课题之一。传统上，神经网络在插值方面表现出色，但众所周知，它们在外推方面表现不佳。

由于推理的一个主要特征是在训练数据分布之外发挥作用，因此神经网络的推理能力不足。推理任务可能是进一步发展图神经网络的理想场景，这不仅是因为我们认为GNN非常适合推理任务，还因为许多现实世界中的图任务具有同质性，这意味着更简单的GNN往往是有效的且可扩展的。

基于历史上成功的神经图灵机、可微神经计算机等神经执行器，受益于现在广泛应用的各种图机器学习工具包，2020年发表的一些研究从理论上探讨了神经执行器的缺陷，提出了一些基于GNN的强大新推理架构，并在神经推理任务上展示了良好的泛化能力。在2021年，这样的架构有望促进组合优化研究领域的发展，我们还期待看到预训练的算法执行器可以帮助我们将经典算法应用于未处理的、甚至不适合这些算法的输入上。

3. 关系结构发现

Thomas Kipf，谷歌大脑研究员，图卷积网络（GCN）作者。

自从基于GNN的模型被广泛采用以来，图机器学习社区的一个值得注意的趋势是将计算结构与数据结构分开。在ICML 2020的研讨会演讲“关系结构发现”中，我介绍了这一趋势。通常，我们设计的图神经网络在一个由数据集给出的固定（或按时间顺序演变）的结构上进行信息传递，即数据集的节点和边作为计算结构或我们模型的信息传递结构的标准。在2020年，我们看到了越来越多的模型对计算结构的兴趣，而不仅仅是基于注意力的模型。

2020年发表的“Amortised Causal Discovery”是一个有影响力的例子，它使用神经关系推理技术根据时间序列数据推断因果图。该领域其他重要的工作包括：具有可学习指针的GNN、具有关系机制的GNN、通过自适应计算图学习基于网格的物理模拟器、学习推理执行计算的抽象节点模型。

这些研究进展具有广泛的意义，使我们可以有效地将GNN架构提供的对称性（如节点排列等变性）和归纳偏差（如成对交互函数建模）应用于其他领域（如文本或视频处理）。

展望未来，我们希望看到在给定数据和任务的情况下，如何通过不依赖显式监督学习最优的计算图结构（同时考虑节点和关系）。通过仔细分析这些学习到的结构，我们可能获得更好的对模型执行计算的理解，并进一步类比因果推理。

4. 表达能力

Haggai Maron，英伟达研究员，“证明性表达高维图神经网络”作者。

图神经网络的表达能力是2020年图机器学习领域的一个核心问题。2020年，有多篇论文讨论了各种GNN架构的表达能力，指出由于深度和宽度的限制，GNN存在基本的表达能力局限性。此外，一些工作描述了GNN可以检测并计数的结构，表明使用固定数量的GNN对许多图任务没有意义。在论文《通过迭代同构图神经网络解决尺度不变的图相关问题》中，作者提出了一种迭代的GNN，可以学会自适应地终止信息传递过程。

在2021年，我们希望看到研究社区在“层次化的图生成模型方法”、“基于GNN的图匹配与GNN的表达能力之间的联系”、“学习图像、音频等结构化数据的图”等方面取得进展。此外，我们还期待GNN研究社区与计算机视觉研究社区在场景图领域有更深入的合作。

5. 可扩展性

Matthias Fey，多特蒙德工业大学博士生，PyTorch Geometric和Open Graph Benchmark的作者。

2020年，解决GNN的可扩展性问题是图机器学习研究领域最热门的话题之一。近年来，一些方法依赖于通过将预测与传播过程解耦来简化底层计算。大量论文直接将不可训练的传播方案作为预处理或后处理步骤与“图相关”的模块结合。这大大优化了运行时间，尤其是在同质图上的性能并未下降。

随着数据集越来越大，我们希望看到图学习的可扩展性有更大的进步，以及如何以可扩展的方式使用可训练、表达能力强的信息传递方法。

6. 动态图

Emanuele Rossi，Twitter机器学习研究员、帝国理工博士生，Temporal Graph Networks作者。

许多有趣的图机器学习应用本质上是动态的，其中图的拓扑结构和属性随时间变化。在社交网络、金融交易网络或“用户-物料”交互网络中，我们经常面对动态图场景。直到最近，大多数图机器学习研究仍然集中在静态图上。现有的一些尝试主要集中在“离散时间动态图”，即在规则的时间间隔上对图进行快照。在2020年，我们看到了更多关于更普遍的“连续时间动态图”的工作，我们可以将这种动态图视为时间的异步流。此外，第一批动态图模型的成功应用也开始出现：虚假账户检测、欺诈检测、流行病传播控制等。

目前，我们只是触及了这个令人兴奋的研究方向的皮毛，许多有趣的问题有待解决。其中，重要的开放性问题包括可扩展性、对动态模型更好的理论解释、在同一框架中结合时间和空间上的信息传播。我们需要更可靠和更具挑战性的基准，以确保研究进展能够更好地评估和跟踪。最后，我们希望看到动态图神经网络更成功的应用，尤其是在工业领域。

7. 新硬件

Mark Sarougim，Graphcore机器学习工程师。

在我共事过的所有人中，我想不出还有谁没有在生产中部署过图神经网络，或者正考虑这样做。以往，自然语言处理、蛋白质设计、分子特性预测等应用中的自然图结构往往被忽视，这些数据被作为适用于现有机器学习模型（例如Transformer）的序列输入。然而，Transformer只是将注意力作为邻居节点之间聚合函数的GNN。在计算过程中，有些算法之所以表现良好，并不是因为它们适用于某种任务，而是因为它们在现有硬件上运行良好，我们将这种现象称为“硬件彩票”。而Transformer在GPU上的表现属于这种情况。

在Graphcore，研究人员已经构建了一种新的多指令流多数据流（MIMD）架构，拥有1,216个可以并行运行7,296个程序的核心，我们称之为智能处理单元（IPU）。这种架构非常适合加速GNN。Graphcore的Polar软件栈利用稀疏性将计算图的不同节点分配到不同的核。对于可以加载到IPU上的900MB片上内存的模型，这种新架构大大提高了GPU的吞吐量，只需几行代码即可将模型分布到数千个IPU上。

目前，Graphcore的用户利用这些优势构建了大量的研究工作，例如：SLAM的光束法平差、使用部分更新训练深度网络、加速一系列粒子物理学中的问题。

8. 工业界的应用

Sergey Ivanov，Criteo研究员，《Graph Machine Learning Newsletter》编辑。

对于图机器学习研究领域来说，2020年是令人震惊的一年。所有机器学习会议都包含10%-20%有关该领域的投稿。因此，每个人都可以找到自己感兴趣的有关图的课题。

谷歌的Graph Mining团队在NeurIPS上的表现非常出色。从这份312页的演示文稿中，我们可以看出谷歌在生产环节中对图的运用已经超越了竞争对手们。谷歌对图机器学习技术的应用包括：使用时空GNN对COVID-19进行建模、欺诈检测、隐私保护等。此外，DeepMind还在谷歌地图上推出了用于全球旅行时间预测的GNN。该方法的一个有趣的技术细节是：他们将强化学习模型融合到单个批次中，用于选择相似的采样得到的子图，从而训练GNN的参数。该方法和先进的超参数调优策略使实时到达时间的估计准确率提升了50%以上。

Magic Leap是另一个值得关注的GNN应用，它专门用于3D计算机生成图形。它们的SuperGlue架构将GNN用于图像中的特征匹配，这是三维重建、位置识别、定位和制图领域的重要课题。这种端到端的特征表征与最优传输优化相结合，在实时的室内和室外姿态估计任务中取得了优异成绩。这些成果只是2020年研究者们取得成果的一部分。

在2021年，我们相信可以看到图机器学习在工业环境下的进一步应用。相关的进展包括生产流程和框架、新型开源图数据集、GNN在电子商务、工程设计以及制药工业方面的大规模部署。

9. 在物理学中的应用

Kyle Cranmer，纽约大学物理教授，希格斯玻色子的发现者之一。

我们惊讶地发现，图机器学习在过去两年中已经在物理学研究领域流行起来。早期在粒子物理学中使用深度学习的工作常常迫使将数据表示成图像的形式以用CNN处理。由于粒子物理学领域的数据不是网格状的，并且图像表征非常稀疏，这种工作机制并不自然，而图可以更自然地表征粒子物理学数据。

大型强子对撞机的科研人员如今正努力将图机器学习集成到每秒处理数十亿次碰撞的实时数据处理系统中。通过部署推理服务器将图机器学习与实时数据采集系统集成，并在可编程门阵列（FPGA）和其他特殊硬件上实现这些算法，可以实现这一目标。

在2020年，图机器学习的一大亮点是其归纳偏差可以与符号方法结合使用。例如，我们可以使用GNN学习如何预测各种动力系统，然后对沿边传输的信息进行符号回归。我们不仅可以恢复真实的力学定律，还可以在没有真实标注的情况下提取方程。令人惊讶的是，提取到的符号方程可以被重新引入到GNN中，替换原来学习到的部分，因此我们可以更好地泛化到训练数据分布之外的情况。

10. 医学领域的应用

Anees Kazi，慕尼黑工业大学博士生，发表了多篇将图机器学习应用于医学影像的论文。

在医学领域，图机器学习改变了我们分析多模态数据的方式，这种分析方式与医学专家在临床中根据所有已知维度观察患者情况的方式非常相似。近年来，医学影像和医疗保健应用领域中与图机器学习相关的研究纷纷涌现出来，包括脑图像分割、使用MRI/fMRI数据预测疾病的脑结构分析以及药物作用分析。

2020年，图机器学习领域在医学领域中突出的课题包括：

1. 潜在图学习，由于根据经验为给定的数据定义一个图一直是获得最优输入的瓶颈，研究人员通过自动学习潜在的图结构解决了这个问题。
2. 数据填充，由于缺失数据是许多医学数据集长期存在的问题，基于图的方法可以利用图邻域的关系帮助我们填充数据。
3. 图机器学习模型的可解释性，由于对于临床医生和技术专家来说，为了将图机器学习模型可靠地整合到计算机辅助系统中，他们非常关注对图机器学习模型的输入进行推理。

新冠病毒的大流行是2020年医学领域的研究热点，而图机器学习方法也被用于COVID-19的检测。在2021年，图机器学习模型可以被进一步用于提升机器学习模型的可解释性，从而做出更好的决策。此外，我们发现图机器学习方法对图结构非常敏感，因此对于图扰动和对抗攻击的鲁棒性也是一个重要的课题。最后，将自监督学习引入被用于医学领域的图机器学习也非常有趣的研究课题。

11. 生物信息学中的应用

Bruno Correia，洛桑联邦理工学院助理教授，蛋白质设计与免疫工程实验室主任，MaSIF的开发者之一。

2020年，作为生物信息学领域中的一个关键问题，蛋白质结构预测取得了令人激动的进展。分子表面的化学和几何形式对蛋白质功能至关重要。基于表面的分子表征已经被研究人员使用了几十年，但它们对机器学习方法提出了挑战。几何深度学习领域的方法为蛋白质建模范畴带来了令人印象深刻的能力，因为它们可以处理不规则数据，特别适合于蛋白质表示。在MaSIF中，作者将几何深度学习用于基于网格的分子表面表征，从而学习我们可以预测蛋白质与其他分子相互作用（蛋白质与代谢物）的形式，并将对接计算的速度提高了几个数量级。反过来，这可以促进更大规模的蛋白质-蛋白质相互作用网络预测。

在对MaSIF框架的后续开发中，作者成功地生成了表面和化学特征，避免了所有的预先计算。作者认为这些进展将会对蛋白质和小分子设计产生革命性的影响，从长远来看，这些成果能够有助于加快生物药物的研发。

12. 生命科学中的应用

Marinka Zitnik，哈佛大学医学院生物医学信息学助理教授，Decagon的作者。

看到图机器学习在2020年进军生命科学领域令人非常兴奋。我们已经看到，图神经网络不仅在精心设计的对比基准数据集上功能优于之前的方法，还为研发新药开辟了新的途径，这对人们有很大的帮助。图神经网络还可以帮助人们从根本上了解自然。相关的重要研究工作包括：单细胞生物学、蛋白质和结构生物学、重新定位等方面的进展。

几个世纪以来，科学方法（科学家们用来系统地、逻辑化地解释自然世界的科学的基本方法）在很大程度上保持不变，我们希望在2021年，科学家们可以运用图机器学习为其带来实质性的进步。为了实现这一目标，我们需要设计一些方法来优化并操纵网络化的系统并预测它们的行为。例如，从疾病的角度来看，基因组学如何影响人类的特征。这些方法需要能够应对受干扰和人为干涉的数据（而不仅仅是处理理想世界中观测到的数据）。

同时，我们还希望研究人员能够开发更多的方法来学习可操作的表征，这些表征可以很容易地成为科学上可执行的假设。这些方法使我们能够在高风险的环境中做出决策（例如，化学测试、粒子物理学、人类临床实验），在这种情况下我们需要准确、鲁棒、可解释的预测结果。