关于大数据:一种基于实时大数据的图指标解决方案

作者:京东科技 尚建平

1. 现有技术

在电商、金融风控畛域,应用图来建模,将大量的人员和事件编织成一张宏大的图关系网络,构建图指标来辨认异样人员和群体危险行为,目前图指标现有实现形式是基于离线数据或t+1数据构建图关系网络,图指标由业务人员或需要人员依据业务须要提出具体需要由开发人员长期开发、测试、部署、上线。

2. 现有技术的毛病

第一,图指标时效性差,无奈实时更新图关系数据,在某些时效性强的场景下图指标不可用。

第二,创立、批改图指标流程繁琐,业务及需要人员无奈独自实现,需开发人员长期开发。

第三,图指标相干元数据没有对立治理及分类,无奈查看、批改、复用、追溯。

3. 本发明技术计划

3.1 本发明所要解决的技术问题(即创造目标)

第一,接管实时大数据流,实时构建图关系网络,图指标可基于实时图关系数据查问。

第二,业务及需要人员对图指标可视化创立、测试、上线,无需开发人员参加。

第三,图指标相干元数据进行对立治理及分类,可灵便查看、批改、复用、追溯。

3.2 本发明的残缺技术计划

3.2.1 零碎原理图、构造阐明图或流程图

图1-零碎原理图

3.2.2 技术计划详细描述

如图2-零碎流程图所示,计划详细描述如下:

步骤1:实时图指标平台获取用户设计图指标相干的元数据信息,包含数据源、图模型、图指标等元数据。数据源信息形容了接入数据源类型和数据源字段信息,图模型信息形容图关系网络的构建模型及构建数据的字段映射信息,图指标信息形容图指标计算逻辑信息。

步骤2:实时图指标平台依据数据源信息接管内部实时流数据。数据源次要是可构建图关系网络的人员及事件信息,包含用户登入、注册、订单交易、危险决策等数据源。

步骤3:实时图指标平台将接管的实时流数据进行荡涤、转换、分流。将接管的数据源中有效的数据及非法数据革除,并依据不同图模型数据要求对数据进行转换、分流。

步骤4:实时图指标平台依据图模型信息及数据字段映射信息,将实时数据流转换生成可插入图关系数据的类SQL。将人员及事件信息转换成用类SQL示意的用户、设施等节点及用户与设施节点之间关联的登入、注册等边数据。

步骤5:实时图指标平台通过对nebula图数据库各图空间执行类SQL将图关系数据插入更新至nebula图数据库。通过实时插入更新类SQL示意的节点及关联边数据,将大量的人员和事件编织成一张宏大的图关系网络,并实时更新。

步骤6:实时图指标平台接管内部零碎查问图指标后果申请及入参,查问用户可视化配置的图指标相干元数据信息。如查问用户x近30天内应用过的所有设施关联的注册金白条用户数量。

步骤7:实时图指标平台将可视化配置的图指标元数据信息转换成用类SQL示意的图指标计算逻辑。如从用户x节点查找近30天登入、注册等边关联出的所有设施,再反向查找这些设施被多少注册过金白条的用户应用过。

步骤8:实时图指标平台通过对nebula图数据库执行查问类SQL,获取图指标查问后果,依据业务状况调整图指标阈值,辨认异样人员和群体危险行为。如用户x近30天内应用过的所有设施关联的注册金白条用户数量大于5时,那么辨认出用户x是危险用户。

图2-零碎流程图

3.3 本发明心愿爱护的技术创新点

本发明通过接管实时大数据流,实时构建图关系网络,实现图指标数据实时查问。

本发明通过可视化配置保护图指标相干信息,实现图指标及相干元数据对立治理、疾速部署上线。

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据