关于风险控制:图算法图数据库在风控场景的应用

本文首发于 DataFunTalk 公众号，受权 NebulaGraph 社区转发。

导读：本文将分享图算法在风控中的利用。

明天的介绍会围绕上面四点开展：

• 图算法和风控简介
• 图算法在风控的演变
• 相应平台的心得
• 展望未来

分享嘉宾|汪浩然，互联网行业资深风控和图计算专家。

图算法和风控简介

什么是图算法——图论算法

图算法最早来源于图论和组合优化相干算法，在 风控外面利用比拟多的基本上都是传统的图算法或比拟偏数学实践的算法，如最短门路发现，不同的账号和交易之间存在异样的最短门路，某些账号或设施存在异样的关联。另外，还有图的辨认，比方洗钱，会波及到异样的环路。

晚期图在风控的利用都是基于明确的数学构造定义，如果大家认真钻研这些算法，会发现有的算法是多项式工夫能够解决的，有些是多项式工夫无奈解决的，比方 NP-hard 问题。在团或圈的发现算法中，其实会用到一些近似算法。而且风控中有意思的一点是数学上定义得越严格，黑产绕过就越容易。比方黑产晓得你的目标是发现团，他会成心某几个设施少一两条边，那数学严格的定义就很容易被绕过。

什么是图算法——图机器学习

晚期业内是间接利用这套传统图算法到风控中，随着技术的倒退，图机器学习也开始利用在风控中。比方晚期自己在交易场景中落地了一个标签流传算法，它是一个 Transudative 推演式的算法（非演绎式）。

在事实利用中，很多时候咱们没有方法对黑白灰样本去做齐全准确的定位。那该 如何利用相似社交网络的同质性（坏蛋和坏蛋关系近，好人和好人关系近）做团伙辨认？在风控场景，很容易通过强规定产出高准确率的样本，但覆盖率很低（低召回），那么如何裁减这些样本呢？

此时标签流传算法和半监督技术就开始在风控中应用。图神经网络的半监督学习，其学习能力和鲁棒性高于传统图算法。有别于传统的图算法的自定义 Aggregate 和 Message Passing，随着图神经网络的倒退，也越来越多的利用到风控场景。

什么是图算法——图开掘算法

风控场景中应用到很多图开掘算法，如：

• 高密度子图，一些异样账号和异样行为对象之间会存在高密度子图。
• 街坊域异样，异样节点、边、网络存在异样的形态（如星形散射状），即该账户的街坊域异样。
• 简单网络，比方异样网络的度散布和失常网络的度散布是不同的。如有时开掘了一些团伙，能够基于 Degree Sequence 构建特色和模型。不同 Degree Sequence 散布的网络存在不同的个性，这能够领导咱们进一步构建拓扑相干特色。

什么是风控

上图中的台词很好地概括了风控的工作，“人活一世，有的人成了体面，有的人成了里子，都是时势使然”。从事金融风控、交易风控，风控规定和算法是公司的外围竞争力，都须要窃密。有很多精彩的算法及落地不不便进去交换，可能很少有人晓得，但这都成了里子。风控同学也是甘于寂寞，一直地去进行各种反抗，同时也在钻研技术和业务。

互联网风控干什么

家喻户晓的羊毛党薅羊毛、账户被盗、盗卡、现金贷、“以贷养贷”、猫池、歹意退货、物流空包、各种各样的欺骗、杀猪盘等等，这些场景都属于互联网风控领域。

图算法和风控的相遇

为什么图算法和风控会相遇？黑产作案存在团伙性，一个人不可能靠一个账户就去作案，更多的时候须要多人多账户的协同。

团伙个性就会使黑产之间产生关联，这就引入了图算法。作案有相似性，但案件和作案人之间可能没有物理和空间关联，但在某些角度他们存在相似性（如行为）。风控也能够通过除了间接的关系外的点和点之间的相似性结构边。因为作案有相似性，这也是网络能够存在的一个条件。

还有一个起因是作案须要大量的账号和设施资源的配合，利益的驱动就会让黑产做更多的事件。作案须要老本，如手机、账号等。物以类聚，人以群分（同质性）。

以上这些就是图算法和风控相遇的起因。

图算法在风控的演变

几个外围趋势

早年间风控尤其是风控策略，更多的是一个 Rule Writer。通过业务了解写规定，缓缓演化成算法模型。还有从经典一阶的 Velocity 变量变成了 Neutral Net Aggregator（前面会细讲）。传统的风控算法或规定只能看到相邻点的特色，当初能够通过神经网络计算 Aggregator。这也是从数学严格定义的网络结构到图神经网络、Strict Definition 到概率化的推断的演进过程。

自己曾求教过图灵奖得主 John Hopcroft，他在图的匹配还有自动机方面做了很多工作。过后问他，传统的图算法的钻研对当初的人工智能有没有什么帮忙？首先他感觉是没有的（可能是虚心），他谈到一个十分大的趋势，过来大部分都是严格数学的定义，当前会更偏差概率推断。这个趋势也很符合风控，数学上定义得越严格，越容易被黑产攻克。应用机器学习、图神经网络去进行学习，最终就是变成了一个概率的推断。

经典一阶的 Velocity 变量

传统的一阶 Velocity 能看到一个 IP 四周有很多的 Device。要评估该 IP 的危险，能够察看其相邻的 Device 的危险特色，如最近几天的交易登录统计，最近 7 天的交易笔数，一小时内同 IP 的交易用户数等，这些都属于一阶 Velocity。

以前风控从业者相当于人工构建了图神经网络的 Aggregate 函数（Min、Max、Mean）。

• Min 函数，比方该 IP 四周 Device 注册的最小工夫，如设施注册最小工夫都是最近的，即新设施，那么该 IP 存在很大的危险。
• Max 函数，如设施上的最大的账户数，多人共用单个设施也是异样。
• Mean 函数，如四周的设施均匀的交易数。之前风控从业者通过手工去设计这个一阶的 Aggregate，通过图算法能从一阶到两阶。

神经网络的聚合

引入了神经网络当前，把一阶或者二阶的 Velocity 通过神经网络学习。让算法去学好人的 Pattern 而不是手工地去演绎，减少了绕过老本和模型的鲁棒性。单纯的一阶的阈值很容易被黑产试出来，通过鲁棒性的 MLP 去预测，有显著的成果晋升。

Aggregator 算子的冲破

Aggregator 算子最外围的算法上的冲破就是 Deepmind 实现的。它用了代数拓扑的概念，如一个节点的街坊有 N 个点，每个都只有一个特色，即 Size 是 N 的 Multi-Size，这时至多要 N 个 Aggregate 才可能防止入射的产生。从算法上来讲，GNN 如 GrapSAGE，Gat 等价于一阶的 WL-test，实质上转换成了同构图的问题。同构就是让不同的子图的确可能通过 Aggregate 函数不产生入射。

为解决这个问题，Deepmind 设计了一种新型的 Aggregator 算子，N 个 Moments 对应着 N 个 Aggregator 算子。前面加了一个 Scalers, 上面的 Sigma 相当于是整合度的总和。d 就是这个点的度，Alpha 是一个系数，Alpha 有 1 又有 -1。

在社交电商畛域，基于人和人的举荐，有些商品实际上是适宜刘耕宏这种度很大的人来举荐的，这时 Alpha=1。有些私密的商品适宜你的闺蜜来向你举荐，此时 Alpha=-1。你们两个度都很小，但你们两个是有分割的，这样举荐商品转化率是很高的。

这些在社交电商的场景上来解释是很正当的。最终通过从一阶 Velocity 的规定到不同 Aggregate 聚合函数，再有 MLP，Scalers 对不同度的归一化，再去应用 MLP，造成了整体框架。

相应平台的心得

晚期一些 Velocity 很简略，然而工程压力大。要保障不同的特色能对齐，还有工夫窗口的计算也很简单。比方风控的过程中，想实现工夫衰减，昨天的累计和与明天的累计和加上不同的权重或者系数，都须要做很大的零碎革新。咱们须要站在更高的角度下来做风控的聚合算法和底层存储索引零碎，否则就是打补丁模式。

其实，实现难度也不大，用 DGL 都能够很轻松地去实现这样的算子。

从算法角度来看，制约 GNN 学习能力的就是算子。不能变成另一种极其，简单的框架和链路，用简略的算子。如果算子非常简单，就像四则混合运算，再怎么组合，再怎么搭积木，最初也就是四则混合运算，做不了微积分，又何谈更高阶的运算。

罕用离线图算法框架——GraphX

晚期尝试去做图的时候，次要是做图的最短门路，单机版很简略。在大厂数据量很大，会应用分布式的图学习。首先是思维的转变，传统的图算法，都是 Sequency 的构造，很少有迭代式或者分布式。在 Message Passing 的框架下，代表有阿里的 ODPS Graph、Spark GraphX，背地的框架都用的是谷歌的思维，第一次把图算法的思路转化成以点为核心，和四周的点去做通信。

数学家说这是一种 local 算法，怎么通过 Local 的算法来产生一个全局的观测？当所有的点都在做 Local 的时候，就变成分布式了。

相对来说，阿里 ODPS Graph 实际上没有很简单的设计，然而它保障了只有 Work 足够，总能算出后果。而且它是用 Java 开发，绝对于 GraphX Scala 没有做太多的封装，能够本人去写一些底层的函数。在理论的应用中，它并没有很耗内存，GraphX 是十分耗内存的。如果要实现 Pre-K 框架这种 Message Passing 的传统图算法甚至图标签算法，ODPS Graph 是一个不错的抉择。

腾讯高性能分布式图计算框架——Plato

柏拉图是对于图论的算法以及 Degree 的散布做了优化。目前大部分框架并没有很强耦合，没有要求图的算法或散布要满足肯定条件，更像是一种通用的分布式的产品。

首先 Message Passing 有凝聚点的过程（push）和 Pull 过程（Push & Pull）。在这个过程中，大部分的算法有 Sparse 和 Dense 的演化过程。比方有些图只有很少的点，如微信好友圈有些点只有很少的度，少部分点有很多的度，Push 阶段这些点都是很稠密的，接管的时候是很浓密的。

Sparse 和 Dense 双引擎相似 CSR 和 CSC 偏向于列和行不同的压缩模式。大部分 Message Passing 算法，只有小局部的点会通过很多轮的迭代才会收敛，大部分的点几轮就会收敛。它是基于这种假如去设计的零碎。

有时可能感觉它并没有达到那么好的成果，这其实与算法有关系。比方经典的 PageRank，晚期谷歌在优化 PageRank 的时候，请了矩阵计算的大牛去实现优化。外围的优化点就是察看到大部分的点经验了几步当前就曾经收敛了，只有少部分的点要很多轮。基于这个洞察，让一些点进行，不再跟四周的点进行更新。这只有利用到 Sparse 和 Dense 个性才能够实现。应用该零碎的时候，如果不去深入研究零碎原理，最终成果可能都不太现实，这个还和图构造有关系。QQ 的图与微信的图是不一样的。不同的算法在不同的图上，不同的目标，它的 Sparse 和 Dense 的体现也是不一样的。这须要算法去理解底层框架。

这个零碎还有一个亮点，实现了非凡偏概率权重下的回绝采样。

回绝采样是动静的，如 Node2Vec 的算法，P 和 Q 的参数是来调整节点更偏向于深搜还是广搜。它应用了一种抽样办法去实现，比拟适宜 Node2Vec 算法。Node2Vec 每个边概率的权重是有下限的，P 和 Q 的权重决定了面积的大小，那么它就适宜。此时做蒙特卡洛随机采样的时候，的确是可能看到成果的晋升。但如果应用动静权重的话，就会呈现一些凝聚点和顶峰。比方走到一个热点（明星点），会有一些顶峰诞生，四周的点就很塌。此时会发现回绝采样要多走好多轮才可能会落到 R 中，成果反而不好。针对 Node2Vec 这种每个偏概率权重有下限的状况，的确是可能很好地优化，对于通用的状况可能就会呈现很差的成果。这时候须要算法同学抉择适合的框架去做，也须要算法同学十分理解利用算法和零碎算法的原理，做到高低贯通。

腾讯 Angel 图计算框架

腾讯 Angle 图计算平台在有些中央很好用，但也存在一些瓶颈。

首先，图很难实现分布式及分布式治理。为了解决这个问题，Angel 用了 Parameter Server 框架去实现。对于不同的算法，比方 PageRank 要把每个点的向量作为参数存起来，而后再进行分布式计算。在分布式计算的时候，采纳了 Spark 计算的原理，一个 Spark 程序有很多的 Executor 来实现分布式计算。也从某种程度上解决了算法同学编程难的问题。

Angel 针对 GraphSAGE 改一下是可能实现的。比方通过把连贯节点放在 Parameter Survey 中实现分布式，再通过 C++& PyTorch 的 Model JVM 技术，应用 Spark Execute 形式实现分布式。这是一个更通用的计算平台，不同的图算法，不论是图神经网络还是特定图模式的发现都能够实现。

开源图数据库——NebulaGraph

近几年，开源图数据库生态正在日益完善，NebulaGraph 的开源图数据库在社区中曾经有很多的文章。晚期算法同学须要本人切实 Flink 框架实现数据同步，NebulaGraph 提供了 Connector 组件能够去实现。风控要做大量的案件和观点的剖析，有这种可视化的平台很不便。然而，从工程的角度，还有很多运维的事件。不论是在数据链路，跟流数据 Flink 还是离线数据 Spark 的买通上，跟图算法的买通，以及可视化剖析，在运维上都曾经有比拟成熟的解决方案。

线上实时模型查问推理零碎

金融领取防备实时危险能够用大厂的开源工具去实现。比方应用 DGL 实现模型实时推理；离线模型应用社区、交易数据训练，产生模型文件。

线上实时推理时，NebulaGraph 拿到实时文件去取得子图。Amazon SageMaker 这样的 Online 的 Inference 还是很好用的。本人去写一些脚本，query 图、解析图、导入图，再买通变成风控上的 UDF。随着 DGL 的提高和 NebulaGraph 的提高，个别独角兽公司 SageMaker 必定是够用的。

从算法登程，反而能给到工程和设计更多帮忙。比方要问 SageMaker 留一个脚本的口子的益处是什么，是要写死还是留给算法同学，可能须要不同类型的人去参加到图平台和框架的建设中去。如果不能成为风控、举荐中的一个特色或者因子，平台再好也没有多少价值，不会有更多的资源投入，也不会真正在工业界发挥作用。

DGL-Message Passing 角度优化

DGL 的 Message Passing 的封装做得比拟好。比方用 DGL 去开发标签流传，比用 ODPS Graph 去开发，速度快了很多，效率很高，因为它把 Message Passing 函数、聚合函数都做了封装，可能疾速实现各种各样的标签流传算法。

DGL 的底层也做了一些优化。因为基于 Spark，有一个问题就是 Aggregate 到 Send 过程会有很多额定的通信和存储的开销。优化的形式是把该过程变成了矩阵的计算，而后再用到 GPU 优化的个性去实现，所以编程难度有所升高，效率上有很大的进步。

另外，有时图自身并不简单，GPU 很长时间在期待。当初的做法是，把更多的计算放到 GPU 中。去年黄仁勋在英伟达大会中也谈了 GPU 对 DGL 的推动。当然在工业界，与麻利有一些差异。麻利是更往下走，心愿能封装成更底层的一些神经网络的算子，而咱们是心愿往上封装，进步对一线算法同学的易用性。

咱们本人做了一个 DGL-Adapter，以冲破内存限度，用大量的通信老本的就义，换取更大的图数据规模的训练能力。这是一个分布式的框架，有 Client 和 Server 去获取图数据，再把不同的 Batch 分发给不同的 Worker，不同的 Worker 有了反馈后果，采样的后果再返回过去进行计算。

展望未来

最初瞻望一下将来。长期的趋势是要从算法层面、平台层面、零碎层面去改良。

图算法和图神经网络算法的交融

当初很多团队在谈 GNN，但有时并不能说清 GNN 到底学到了什么货色，解释能力有多强。图的传统算法也不能放，因为不同的互联网公司、社区等等，都有不同的网络结构。咱们要基于这些网络结构有一些洞察。比方是否须要和图神经网络，和 Data Mining 联合。在风控的特定场景下，还要对图的特定 Pattern 去进行开掘。比方 Angel 反对在 Parameter Server 框架的根底上加 Spark，DGL 又开了一个 Message Parsing 的口子，只有是可能变成 Message Parsing 框架的图算法，就都是能够实现的。首先，算法同学在一线要晓得如何交融，能力跟中台团队框架团队去单干。

图神经网络算法学习能力的攻克

学习能力的攻克，包含根本算子的一直冲破十分重要，否则光是四则混合运算，再怎么组合其自身学习能力就不够。

图神经网络算法鲁棒性

风控很多时候是反抗，并不知道会有什么样的攻击方式，因而要进步算法鲁棒性。

图神经网络算法可解释性

无论是举荐还是风控，事实中制约落地的很多时候是一个可解释性的问题。

平台易用性和整合性

平台易用，用起来流程快，能力更快地实现各种算法的迭代。

利用算法和零碎算法高低交融贯通和兼顾

在建设图计算平台的时候，要真的懂业务和利用算法，理论用户也要懂零碎算法层面，整体上须要高低买通和兼顾。

一线算法、平台算法和中台等各个团队须要增强单干，也须要学术界和工业界一起致力。

问答环节

Q1：风控场景中，它有这种事先事中和预先这种图模型。在这些三种不同的场景的话，它的图模型别离是如何来利用的？

A1：可能以前咱们对算法和零碎的倒退没有那么好的时候，会分得比较清楚，事先事中预先，然而当初倒退得更快，尤其我后面说的那个框架，就图数据库的欠缺，DGL 以及相似 SageMaker 欠缺了当前，实时模型也不像以前那么难了，所以它在利用的时候更多的还是从数据和特色角度一方面要去思考。在事先事中预先拿到的数据不一样是能够容忍的，计算量是不一样的。可能在事先算法不会那么简单。比方一个新用户的数据自身是无限的，那这时候去做事后就能够上一些更加简单的算法。一个人比如说明天来了就要判断他是好人还是他在这里体现了 30 天是好人？两者难度是不一样的，在算法的复杂度特色上是会不一样的。

Q2：在风控场景中有遇到图模型的可解释性问题吗？怎么解决？

A2：这个其实是很有意思的问题。图模型的解释性，其实说句实话比其余模型要容易的。为什么？因为图算法在风控为什么用得那么好？它有个弱小的图的可视化能力。把不同的团伙可视化进去，高深莫测。通过可视化来展现你的算法，次要就发现几种模式，一看就晓得是批量注册。也能够通过动态图的演变，有一伙人在迁徙。这方面大家能够多用一些图可视化的技术去形象化地把你发现货色总结进去。这是最快的。你也能够尝试着去实现一个 GNN Explain。这里可能有些坑，因为 GNN 自身是一个优化问题，个别的机器学习都是无约束的，优化之后怎么去解决？能够弄一个近似 GNN Explainer 就大略晓得到底学到了什么。不晓得你学到了什么货色，其实也很难去进一步调整图神经网络，而后可能还要用一些察看。集体倡议大家能够找一些学术合作伙伴，对于今天的办法，先天的办法也能够让学术界的敌人来看一看，就是说如何可能定量地去对 GNN Explainer 做一些冲破，这些都能够。

Q3：图算法的鲁棒性，有哪些办法去度量？

A3：这个分一种学术上或者技术上严格意义的。这个度量是指扭转了点和边的一些个性当前，其后果的变动，那就是一些体面上的或者是最根本的。在风控场景下的所谓鲁棒性的攻打，我总结下来就可能，点是真的，边是假的或者点是假的，边是真的。比如说明天他人伪造 IP 轻易输了个 IP 来脚本攻打，那 IP 可能是真的，但边是假的？那有可能明天伪造了一个货色，这个点就是假的，所以有几种可能性。作为风控来说，能够尝试这几种不同的可能性去对你的模型进行攻打。因为当初对于风控来说比拟缺的就是畛域内的 Cost 和 Attacks。Attacks 有时候是未知的，黑产有时候用你不晓得的办法，然而 Cost 可能是晓得。在 Cost 和 Attacks 局部晓得的状况下怎么去定义模型的鲁棒性，我感觉这个可能是对风控来说比拟有价值的一个钻研方向。

明天的分享就到这里，谢谢大家。

分享嘉宾

汪浩然，互联网行业资深风控和图计算专家。英国硕士，曾在蚂蚁金服，阿里巴巴，腾讯等公司次要从事风控算法，社交计算和图计算等工作，横跨金融，领取，电商，供应链，社区，社交等场景。率先工业界落地过诸多图上开掘和机器学习算法，有算法百晓生和扫地僧之称。

谢谢你读完本文 (///▽///)

一起用 NebulaGraph Cloud 来搭建本人的图数据系统，节俭大量的部署安装时间来搞定业务吧~ NebulaGraph 阿里云计算巢现 30 天收费应用中，点击链接来用用图数据库吧~

想看源码的小伙伴能够返回 GitHub 浏览、应用、(^з^)-☆ star 它 -> GitHub；和其余的 NebulaGraph 用户一起交换图数据库技术和利用技能，留下「你的名片」一起游玩呢~