乐趣区

关于深度学习:看完你就明白什么是图神经网络

摘要:图神经网络是一种基于图构造的深度学习办法。

1. 什么是图神经网络

图神经网络(Graph Neu 做 ral Networks, GNNs)是一种基于图构造的深度学习办法 ,从其定义中能够看出图神经网络次要由两局部组成,即“图”和“神经网络”。这里的“图”是图论中的图数据结构,“神经网络”是咱们相熟的深度学习 NN 构造,如 MLP,CNN,RNN 等。要理解图神经网络咱们须要先回顾一下“图”和“神经网络”的基本概念。

1.1 图的定义

1.2 典型神经网络

典型的神经网络构造有两条主线,一条主线是卷积神经网络,简称 CNN,次要用于图像类数据的解决。另一条主线是循环神经网络,简称 RNN,次要用于时序类数据的解决。因为神经网络构造的介绍不是本篇的重点,因而在这里不做重点介绍。只展现如下两图典型的 CNN 和 RNN 的构造:

下图展现了以后的支流神经网络构造以及实用的场景:

1.3 图神经网络

根据上述对图和神经网络的回顾,咱们能够看出,图神经网络就是借助神经网络的“能力”如深度特色抽取等来解决图构造的数据,因而对于图神经网络,其直观的构造应该如下图:

其中图构造的数据有许多,如社交网络图、交通路线图、人物关系图、分子结构图、计算结网络拓扑图等等。这些数据都能够作为图神经网络的输出。之后通过特定的神经网络构造,如 MLP,CNN,RNN 等的基于图构造的运算,能够实现对于图示意的分类,图的节点或边的预测等性能。

2. 为什么须要图神经网络

近年来,深度学习曾经彻底改变了许多机器学习工作,从图像分类和视频解决,到语音辨认和自然语言了解,这些工作中的数据通常示意在欧几里得空间中。然而,在越来越多的应用程序中,数据是从非欧几里得域生成的,并示意为具备简单关系和对象之间相互依赖的图形。 图数据的复杂性给现有的机器学习算法带来了微小的挑战。 下图左为图像(欧几里得空间),右为图(非欧几里得空间)。

传统的神经网络构造如 CNN、RNN 等都是承受欧几里得空间的数据作为输出,他们无奈解决非欧几里得空间的数据结构,比方图和风行构造。因而对于此类数据,图神经网络就更加适宜解决。近年来图神经网络的钻研热度也一直晋升,如下图所示:

3. 图神经网络典型的利用场景

本章节基于图神经网络近年来的一些研究进展,展现一下图神经网络以后典型的利用场景以及一些典型的工作。

将图构造和节点内容信息作为模型的输出,GNNs 的输入能够通过以下机制之一专一于不同的图剖析工作:

  • Node-level 输入用于点回归和分类工作。
  • Edge-level 输入与边分类和链路预测工作相干。
  • Graph-level 输入和图分类工作相干,比方图示意。

上面以典型论文为例介绍几个 GNNs 的典型工作:

3.1 图分类

咱们晓得很多有机物或者化合物的分子结构都是能够用图构造来示意的,比方下图的 4 -nitroindole,该 GNN 的作用是训练一个图神经网络,接管一个分子结构来判断该分子结构会不会导致产生渐变。在训练的过程中如果有现存的已标注的可导致产生渐变的分子结构,咱们就能够训练该图神经网络,而后用他来预测一个新的未知的分子会不会导致渐变。

3.2 图生成

咱们晓得在图像和语言的畛域里别离有 embedding 和 generation 技术,比方常见的图像和语言生成技术,比方动静动态的预训练和词嵌入技术。相应的在图畛域,咱们也有图的嵌入示意比方 graph embedding representation 和图的 generation 技术。比方下图的 graphvae,变分图自编码器就是一个图生成模型,其次要是为图中节点找寻适合的 Embedding 向量,并通过 Embedding 向量实现图重构。其中获取到的节点 Embedding 能够用于撑持上游工作。比方在新的分子结构生成发现中能够应用该技术来放慢分子发现速度。

3.3 社交网络分析

在社交网络分析中,实体之间的关系往往会是十分重要的特色,图构造就能很好的示意这种关系特色。如下图的社交网络图中,每个实体的关系能够用边来形容,这样在进行实体分类或者关系分类时,利用图数据结构,实现特定工作的标注,就能够训练出一个图神经网络来实现此类工作。

3.4 网络拓扑剖析

网络的拓扑人造就是图构造的示意,计算机网络中的路由技术就是以图轮为根底的算路技术。同时网络中每两个节点之间也会有时延,丢包,抖动等网络 KPI 信息。这些点对之间的 KPI 往往是动态变化的,这就影响到了实时路由决策和优化的问题。比方以后链路的时延或者丢包过大,路由算法就须要抉择新的门路进行数据包传递。图神经网络在这个问题中就能够接管底层的网络拓扑、网络配置信息和流量矩阵信息来实时预测每一个点对,每一条流的试验丢包抖动,这样就能够更好的配合路由和优化算法,使能网络的主动驾驶。

4. 图神经网络典型训练框架

4.1 Semi-supervised learning for node-level classification:

给定一个网络,其中局部节点被标记,其余节点未标记,ConvGNNs 能够学习一个鲁棒模型,无效地辨认未标记节点的类标签。为此,能够通过叠加一对图卷积层,而后是用于多类分类的 softmax 层来构建端到端框架。见图 (a)

4.2 Supervised learning for graph-level classification:

图级分类的目标是预测整个图的类标签。该工作的端到端学习能够联合图卷积层、图池层和 / 或 readout 层来实现。图卷积层负责准确的高级节点示意,图池层则表演下采样的角色,每次都将每个图粗化成一个子结构。readout 层将每个图的节点示意折叠成一个图示意。通过在图示意中利用一个多层感知器和一个 softmax 层,咱们能够建设一个端到端图分类框架。见图 (b)

4.3 Unsupervised learning for graph embedding:

当图中没有可用的类标签时,咱们能够学习在端到端框架中以齐全无监督的形式嵌入图。这些算法以两种形式利用边缘级信息。一种简略的办法是采纳自编码器框架,编码器应用图卷积层将图嵌入到潜在示意中,在潜在示意上应用解码器重构图构造。另一种罕用的办法是利用负采样办法 (negative sampling),即对图中有链接的局部节点对进行负采样,而对图中有链接的节点对进行正采样。而后应用逻辑回归层对的正负配对进行辨别。见图 (c)

参考文献

[1]. https://mp.weixin.qq.com/s/PSrgm7frsXIobSrlcoCWxw

[2]. http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/GNN.pdf

[3]. https://persagen.com/files/misc/scarselli2009graph.pdf

[4]. https://arxiv.org/pdf/1802.03480.pdf

[5]. https://arxiv.org/abs/1901.00596

[6]. https://arxiv.org/abs/1910.01508

本文分享自华为云社区《2021 年必火的图神经网络到底是什么?》,原文作者:就挺忽然。

点击关注,第一工夫理解华为云陈腐技术~

退出移动版