乐趣区

关于深度学习:2019年Philip-S-Yu团队的图神经网络综述

应用 graph 来示意对象之间的简单关系和依赖关系,然而 graph 数据的简单已有的机器学习算法很难解决,所以应用深度学习办法来解决。A Comprehensive Survey on Graph Neural Networks 论文回顾图神经网络(GNN)在文本开掘和机器学习畛域的倒退,将 GNN 划分为 递归图神经网络、卷积图神经网络、图自编码和时空图神经网络 四类。此外还探讨图神经网络跨各种畛域的 利用 、总结 开源代码 数据集 和图神经网络 评估指标 。最初给出可能的 钻研方向

作者提到基于欧氏间隔计算的数据能捕捉隐含模式,然而随着利用数量的减少,开始应用 graph 示意数据,例如,它能够利用用户和商品之间的交互来进步举荐准确率;将化学分子建成 graph,生物活性在药物发现中失去鉴定;在引言网络中,通过援用关系建设文章之间的分割,将他们分成不同的类别。然而 graph 与图像不同,节点无序、尺寸不一、街坊节点数量变动,这减少了 graph 的计算难度。此外 ML 算法是基于样本独立性假如的,与 graph 的构建机理矛盾。

图左:2D 卷积。将图像看作 graph,就是每个红色点与周围点建设关联,且权重雷同

图右:图卷积。街坊节点数量不固定

♕倒退历史

1、递归图神经网络(RecGNNs)1997 年起,以迭代的形式并通过传递街坊节点信息来学习指标节点示意,直到稳固点。此类办法计算复杂度高,一些研究者钻研如何升高复杂度。如,“Gated graphsequence neural networks,ICLR2015”,“Learning steadystates of iterative algorithms over graphs,ICML2018”.

2、卷积图神经网络(ConvGNNs)分为基于谱办法(最早 2013)和基于空间办法(最早 2009)

3、图自编码(GAEs)

4、时空图神经网络(STGNNs)

♕图嵌入 vs. 网络嵌入

次要区别GNN 是一组神经网络模型来解决不同工作,网络嵌入涵盖了针对同一工作的各种办法。通过图自编码器框架 GNNs 可能解决网络嵌入问题。

graph embedding : 以端到端的形式解决图关系工作,抽取高阶示意

network embedding: 低维向量 示意网络节点,同时放弃网络拓扑构造和节点内容信息。因而,任何后续的图形剖析工作,如分类、聚类和举荐,都能够应用简略的现成的机器学习算法轻松地执行。网络嵌入还蕴含非深度学习办法,如矩阵合成和随机游走。

♕图神经网络 vs. 图内核办法

图内核:是解决图分类问题次要技术。应用 核函数 度量图对之间的类似度,如 svm。通过映射函数将图和节点映射到向量空间。采纳两两对类似度计算,计算复杂度高

图神经网路:间接依据抽取的图表征执行图分类,比图核办法更无效。通过映射函数将图和节点映射到向量空间。

♕办法定义

图:G=(V,E),V 是节点,E 是边

有向图:邻接矩阵是有符号时

时空图:G(t)=(V,E,X(t))

♕办法分类

  1. recurrent graph neural networks (RecGNNs):假如节点和其街坊节点继续变动,直到达到稳态

Graph Neural Network (GNN*2)

Graph Echo State Network(GraphESN)

Gated Graph Neural Network (GGNN)

Stochastic Steady-state Embedding (SSE)

  1. convolutional graph neural networks (ConvGNNs): 堆多个图卷积层来提取高阶节点示意

(1)Spectral-based ConvGNN

Chebyshev Spectral CNN (ChebNet)

Graph Convolutional Network (GCN)

Adaptive Graph Convolutional Network (AGCN)

Dual Graph Convolutional Network(DGCN)

(2)Spatial-based ConvGNN

Neural Network for Graphs (NN4G)

Contextual Graph Markov Model (CGMM)

Diffusion Convolutional Neural Network (DCNN)

Diffusion Graph Convolution(DGC)

Partition Graph Convolution (PGC)

Message Passing Neural Network (MPNN)

Graph Isomorphism Network (GIN)

Graph Attention Network (GAT)

Gated Attention Network (GAAN)

Mixture Model Network (MoNet)

Large scale Graph Convolutional Network (LGCN)

Improvement in terms of training effificiency:

Fast Learning with Graph Convolutional Network (Fast GCN)

Stochastic Training of Graph Convolutional Networks (StoGCN)

  1. graph autoencoders (GAEs)

  1. spatial-temporalgraph neural networks (STGNNs)

♕次要数据集

次要包含援用网络(Cora、Citeseer、Pubmed、DBLP(v11))、生物医学网络(PPI、NCI-1、MUTAG、D&D、PROTEIN、PTC、QM9、Alchemy)、社交网络(Reddit、BlogCatalog)和其余(MNIST、METR-LA、Nell)

图神经网络的利用**

B. Evaluation & Open-source Implementations

Node Classifification

Graph Classifification

Open-source implementations

C. Practical Applications

Computer vision

Natural language processing

Traffific

Recommender systems

Chemistry

将来钻研方向

Model depth

Scalability trade-off

Heterogenity

Dynamicity

退出移动版