关于大数据处理:获奖案例巡展信创先锋之星中信证券基于国产图数据库构建企业图谱的应用实践

51次阅读

共计 2220 个字符,预计需要花费 6 分钟才能阅读完成。

为表彰应用大数据、人工智能等根底软件为企业、行业或世界做出杰出贡献和微小翻新的标杆我的项目,星环科技自 2021 年推出了“新科技 星力量”星环科技科技实际案例评选活动,旨在为各行业提供更多的优良产品案例,彰显技术扭转世界的力量,目前已胜利举办两届,收到了来自各界的积极参与。

第二届星环科技科技实际案例评选活动新增了“年度信创先锋之星”,通过产业界、学术界专家联结评审,最终评比出了“年度信创先锋之星”、“年度科技向善之星”、年度价值奉献之星”、“年度科技前沿之星”、“年度技术革新之星”五大奖项,并特此进行案例巡展。

本期巡展案例为取得第二届“新科技 星力量”星环科技科技实际案例评选活动“年度信创先锋之星”的中信证券股份有限公司”基于国产图数据库构建企业图谱的利用实际”。

案例背景

中信证券股份有限公司于 2021 年启动国产图数据库我的项目。我的项目发展之前,中信证券已基于支流的 Neo4j 开源产品构建了企业图谱及相干利用,然而随着利用的宽泛深刻,Neo4j 开源产品也遇到了不少难题,包含只能部署成单实例,不能做集群;社区开源版本最多用到 4 个内核,计算能力无限;没有对立资源管理和权限治理等。随着国产图数据库越来越成熟,大型银行已宽泛布局国产图数据库。中信证券基于星环科技分布式图数据库 StellarDB 和常识图谱平台 Sophon KG 常识图谱重构了企业图谱及相干利用,满足了企业级的零碎建设须要,实现了分布式集群治理,对立的资源隔离与权限治理,计算性能的优化晋升,以及丰盛的可视化成果等。

解决方案

基于星环科技 StellarDB 和 Sophon KG 重构了企业图谱及相干利用,该零碎架构取代了依赖 py2neo 第三方插件的数据处理框架,应用星环科技大数据开发工具 TDS 产品,实现数据处理和调度的对立治理,将数据存储到大数据组件 hive 中,实现了历史数据的数据迁徙,也安顿了全量和增量的抽取调度工作。首日迁徙时应用全量调度工作,平时依照增量调度。

依靠弱小的组件技术,图谱管理系统领有对立的集群运维治理, 以及对立的资源隔离与权限治理。零碎的底层为一个多模的数据处理平台,该平台能够提供对立的数据操作、查询语言 SQL、对立的数据计算引擎、对立的分布式存储管理零碎及对立的资源管理框架,满足利用一个多模异构平台解决多种数据的需要。StellarDB 图数据库构建在这个数据处理平台之上。其图存储技术为自研 KV 存储,存储设计依照属性图模型设计。StellarDB 满足 TB 级存储需要。存储依照点边主键进行哈希分区,使图平衡的分到集群的各个节点上。图计算技术为自主研发的分布式计算引擎 Nucleon,计算引擎能依据不同的存储引擎主动匹配高性能算法,无需用户手工干涉,从而便捷地实现跨库关联,防止数据导入导出。在图数据库服务的顶层,还提供了丰盛的接口,如 Java、Python、RESTful API 等,不便自定义开发。

在 StellarDB 下层,基于 Sophon KG 构建企业图谱及相干利用。Sophon KG 具备图谱公布、图谱查问,以及图谱分享等基本功能,同时还能不便地反对各类业务利用,提供丰盛的交互剖析性能。开发了图计算服务,以及关联企业数据查问等多种应用服务,并公布了对应的 API 接口,供给用方进行调用。基于利用平安思考,采纳 post 形式提供接口,并赋予每个业务部门一个拜访 ID。

最上层的利用方包含团体客户画像、危险事件报告、科创板关联发现以及联机剖析等。团体客户画像在公司内有宽泛的利用,包含团体客户对公司的奉献价值,各业务收入和笼罩状况,满足人民银行对金融控股公司报送需要,以及同一客户授信等;危险事件报告联合危险舆情事件,主动触发相干剖析报告,提供关联公司和关联标的持仓等影响剖析;科创板关联发现旨在查找融券客户与策略投资者之间是否有利益关系,属于一种多层模式匹配剖析。此外,零碎还反对多用户的联机查问剖析,业务用户能够在线进行案例剖析及分享等。

案例施行功效

通过星环科技 StellarDB 和 Sophon KG,中信证券打造了全新的企业图谱管理系统,实现了一站式的运维治理、调度治理和权限治理等,在局部利用成果中相比 neo4j 社区版性能有了较大晋升,并在业务易用性方面也有了长足进步,具体如下:

  • 架构晋升方面:实现了软硬件国产化代替 Linux 服务器;依靠 StellarDB 实现了分布式集群,一站式图谱治理,代替了单机分利用部署;依附星环科技弱小的组件技术,实现了便捷的管理工具(监控 + 权限),代替了无对立监控运维管理工具;该零碎架构取代了依赖 py2neo 第三方插件的数据处理框架,应用星环科技 TDS 实现数据处理和调度的对立治理;实现了对立的 api 接口治理,代替了接口未封装的状况。
  • 性能优化方面:在团体派别算法利用上,该算法从单机运行模式到分布式运行模式,由原来的 2 小时左右,晋升到 30 分钟左右;科创板关联发现利用方面,由原来的 1.5 s 晋升到 0.8 s。
  • 业务易用方面:提供了丰盛的可视化成果,实现了多种前端布局;实现了 iframe 嵌入其余业务零碎成果;扭转了 neo4j 社区办上繁多弹力求展现,须要独立开发展示的场面;星环科技也提供了全天候暖心服务 + 定制开发,扭转了高度依赖社区的场面。

案例翻新点

国产代替方面,作为国内券商首批引入国产图谱厂商构建常识图谱中台的案例,在与国产服务器、国产操作系统适配等方面获得了较多的实践经验,对券商行业构建具备自主可控能力的图谱中台具备示范效应。

正文完
 0