摘要：本文介绍了图神经网络在学界和业界的倒退状况，并给出了图神经网络的基本概念与示意模式，总结了图神经网络的变体，最初介绍了华为云图神经网络框架。
本文分享自华为云社区《干饭人，干饭魂，搞懂图神经网络稳饭盆》，原文作者：麻利的小智。
干饭人！2021 年大厂都在用的图神经网络（GNN）还不懂吗？一文带你 GNN 从入门到腾飞，做一个饭盆最稳 GNN 饭人！
图神经网络到底图个啥？
搞懂图神经网络，首先你要先明确到底图个啥啥是图！图这种构造普遍存在于人类社会生存中，如人与人之间的社交网络会形成图、地铁线路及高铁线路会形成图、网民购买商品会形成“网民 - 商品”图、互联网中网页间的相互链接会形成图、论文的相互援用也会形成图。依据这些图的信息能够实现很多工作，例如依据用户和商品的历史交互，预测一个用户是否会购买一个商品或对它感兴趣；又如依据用户间的好友关系或交换记录，预测用户和用户之间是否形成好友关系。
既然图无处不在，那咱们怎么去对图做剖析呢？目前，图剖析工作通常采纳图嵌入技术进行解决。通过图嵌入技术，能够将图中的构造及内容等信息用一个低维向量进行表征，该向量能够作为输出用于上游的学习工作中。另外，图嵌入还能够与深度学习技术相结合。例如，基于部分连贯与平移不变的假如，能够将图嵌入与卷积神经网络（Convolutional Neural Network，CNN）相结合，从而失去图神经网络（Graph neural network，GNN）。
图上的学习工作包含：
- 图节点分类工作：图中每个节点都有对应的特色，当咱们已知一部分节点的类别时，能够对未知类型的节点进行分类。
- 图边构造预测工作：图中节点与节点之间的边关系也存在多种类型，该工作是对节点和节点之间关系的预测。
- 图的分类：该工作是对整个图进行分类，基本思路是将图中节点的特色聚合起来作为图的特色，再进行分类。
学界业界倒退成啥样了？
学界倒退状况
近年来，图神经网络迎来了疾速暴发期。在实践钻研方面，相干工作对图神经网络的原理解释、变体模型以及对各种图数据的拓展适配等进行了钻研。统计近一年各大顶级会议上的相干论文，能够发现图神经网络成为最大的钻研热点。
图 2.1 学界倒退状况
业界倒退状况
在利用实际方面，图神经网络展现出前所未有的渗透性，从视觉推理到开放性的浏览了解问题，从药物分子的研发到 5G 芯片的设计，从交通流量预测到 3D 点云数据学习，能够看到图神经网络极其广大的利用前景。
蚂蚁金服利用图神经网络模型，开掘设施共用图中“失常用户”和“骗保团伙”的关系模式，从而实现了对歹意账户的辨认。图中每个节点都有本人的特色信息，通过这些特色信息，能够开掘某一用户节点所关联的设施节点信息，当某一个用户关联泛滥设施时，能够认为该用户存在高危危险。同时，基于图中的关联关系，与该歹意用户及关联设施相互连接的节点也可能存在高危危险。
图 2.2 蚂蚁金服：高危账户辨认
滴滴出行钻研了一种基于时空多图卷积神经网络的网约车需求量预测模型。通过剖析区域之间简单的时空依赖关系，对网约车需求量进行精确预测，领导车辆的调度，进步车辆的利用率，缩小等待时间，并在肯定水平上缓解了交通的拥挤。
图 2.3 滴滴出行：车辆调控治理
阿里妈妈利用图神经网络，从用户行为日志、内容属性等不同维度开掘 Query（查问词）、Item（商品）和 Ad（广告）的多种关系。对于在线申请场景，通过计算用户查问词向量、前置行为中节点向量和广告节点向量之间的间隔进行高效的向量化最近邻检索，从而疾速匹配到合乎用户用意的广告并举荐给用户。
图 2.4 阿里妈妈：搜寻广告 匹配
网易音乐通过图神经网络，开掘用户的特色、歌曲的特色、用户对歌曲的行为特色，实现精准的音乐举荐。图中每个节点都具备构造信息，如果用户频繁订阅某种类别音乐或对某种类别音乐评分较高，那么零碎就能够认定该用户对该类音乐比拟感兴趣，就能够向该用户举荐更多该类别的音乐。
图 2.5 网易：音乐举荐
图神经网络
图论基本概念
针对非欧几里得结构化数据表示问题，研究者们引入了图论中形象意义上的图（Graph）来示意非欧几里得结构化数据。
图（Graph）G 由顶点汇合以及连边汇合形成，通常能够定义为如下模式：
顶点汇合（Vertex）V 能够示意为
边汇合（Edge）E 能够示意为
图的示意模式
常采纳顶点的度矩阵、邻接矩阵以及拉普拉斯矩阵等对图进行刻画。
顶点的度矩阵（Degree）D：与该顶点相关联的边的条数
邻接矩阵（Adjacency matrix）A：图构造的罕用示意办法
拉普拉斯矩阵（Laplacian matrix）L：图构造的一种示意办法
下图给出了 连通图及对应 的 度矩阵、邻接矩阵、拉普拉斯矩阵 的示例。
图 3.1 图论基本概念
图神经网络模型
图嵌入模型
图嵌入（Graph Embedding）是指，将图中的节点、边或子图由低维间断向量进行表征。为了失去图嵌入表征，能够利用图中的音讯流传机制。图中的音讯流传机制包含两个步骤：音讯汇聚（aggregation/combine），节点更新（update）。音讯汇聚是指依据四周街坊节点特色，节点更新是指学习核心节点的嵌入示意。图中的音讯流传机制能够由下式进行表征。
式中，□示意可导且与输出程序无关的函数，例如求和、均值或最大值函数等；γ 和 φ 示意可导函数，例如多层感知器。
图 3.2 图嵌入模型
图卷积神经网络
在图卷积神经网络中，层与层之间的传播方式为：
下图为图卷积神经网络的示意图，图卷积神经网络的输出为一张图，通过若干层后节点特色从 X 变为 Z，共享两头多个隐层中 A 参数。
图 3.3 图卷积神经网络
结构一个两层的图卷积神经网络，激活函数别离采纳 ReLU 和 Softmax，则整体的正向流传的公式为：
最初，依据特色 Z，能够做上游工作，如节点分类工作、图分类工作、节点连贯预测工作等。
图注意力网络
注意力机制能够了解成一个加权求和的过程：对于一个给定的 query，有一系列的 value 和与之一一对应的 key，那么如何计算 query 的后果呢？很简略，计算 query 与所有 key 的类似度，而后依据类似度对所有的 value 加权求和。这个类似度就是 attention coefficients，计算公式如下：
式中，a 为前馈神经网络的权重系数，|| 代表拼接操作。
图 3.4 图注意力网络
利用注意力机制，能够对图中各节点特色进行更新：
利用多头注意力机制，能够用 K 个权重系数别离对节点特色进行更新：
图 3.5 图注意力网络中的多头机制
图注意力网络的长处包含：能够在不同的节点上进行并行计算、能够同时对领有不同度的节点进行解决、能够对从未见过的图构造进行解决并用于解决演绎学习问题。
异质图注意力网络
GCN 间接在同质图上操作，并依据其邻域的属性诱导交融失去以后节点的嵌入示意。在同质图中，每层的流传规定如下式所示
在异质网络中，节点有多种类型 T ={τ1, τ2, τ3, …}，GCN 不能间接利用于异质网络。为了解决这个问题，能够采纳异质图卷积，思考各种类型信息的异质性，并利用类型相干的变换矩阵将它们投射到公共的隐式空间中。
当给定某特定节点时，不同类型的相邻节点可能对其具备不同的影响，例如，雷同类型的相邻节点可能会携带更有用的信息，而雷同类型的不同相邻节点也会具备不同的重要性。因而，能够设计一种异质网络的双层注意力机制。
图神经网络平台
以后图神经网络平台研发的难点在于短少对立的算法框架，同时须要晋升数据处理的效率。图数据的遍历及其与深度学习的交互会导致图的运算效率大大降低，这也是图深度学习始终无奈落地的瓶颈之一。如果想要在性能上有所突破，就须要从新设计一个新的图深度学习框架，以下介绍华为云图神经网络框架。
图 4.1 图注意力网络中的多头机制
（1）基于图引擎的 GNN 新框架：在 ModelArts 中高效神经网络训练算子的根底上，联合图引擎服务（Graph Engine Service，简称 GES）既有的高性能图计算框架平台能力，利用图引擎高并发、低延时的特点，将 GNN 的训练过程高度并行化，如将边上的跳转概率预计、顶点邻域采样、负样本构建等，都化解为每个顶点的部分操作；零碎提供了动静调度器，让这些部分操作可高度并行化执行，就能极大晋升零碎的总体吞吐量。
（2）多种 GNN 算法框架统一化：应用对立架构实现了非监督的大规模图嵌入（例如 DeepWalk、Node2Vec）和半监督的图卷积（例如 GCN、GraphSAGE）等多类 GNN 算法，升高了零碎的保护老本。
（3）GNN 与图数据管理一体化：企业级 GNN 利用通常都不会是一次性计算，而且数据规模也很大，因而这些数据必须要被保护和治理起来。而现有的 GNN 通常不具备这种能力，用户只能另建数据库保护，计算的时候再把数据整体导出。不仅资源耗费大，也引入数据一致性等诸多问题。而 GES 采纳属性图数据模型 (Property Graph) 和生态兼容的事实标准 Gremlin 图查询语言进行分布式图数据管理和保护，须要训练的时候则在图引擎内本地调用各类算子，并发执行，升高了端到端的性能损耗。
华为云图神经网络借助 ModelArts 的高效神经网络训练劣势，以及 GES 的高性能图计算劣势，大幅度晋升了 GNN 的总体计算效率，以 node2vec 算法为例，在 PPI 数据集上，华为云图神经网络从采样到训练可在 2min 内实现，较传统开源实现晋升 20 倍。
图神经网络有前途！
随着图神经网络钻研的热度一直回升，图神经网络的不同变种也一直地涌现进去。此外，因为图神经网络对于非欧空间数据具备良好的表达能力，在电商、金融、交通、社会科学等有大量数据积淀的穿插畛域有着广大的利用前景。本文介绍了图神经网络在学界和业界的倒退状况，并给出了图神经网络的基本概念与示意模式，总结了图神经网络的变体，最初介绍了华为云图神经网络框架。心愿本文能为 GNN 路线上的你提供一些参考！
点击关注，第一工夫理解华为云陈腐技术~