关于大数据:星环科技StellarDB40正式发布性能数倍提升万亿级图数据库挖掘海量数据互联价值

32次阅读

共计 3828 个字符,预计需要花费 10 分钟才能阅读完成。

Transwarp StellarDB 是星环科技自主研发的分布式图数据库,兼容 openCypher 查询语言,提供海量图数据的存储和剖析能力,反对原生图存储构造,反对万亿边 PB 级数据存储。同时,StellarDB 具备毫秒级点边查问能力,10+ 层的深度链路剖析能力,提供近 30 种的图剖析算法,具备数据 2D 和 3D 展现能力。星环科技 StellarDB 在金融、政府和社交网络等畛域利用,并且在某地电信关系图谱场景实现了 9700 亿边规模的存储和稳固运行,真正意义上将万亿级图数据库能力利用落地。

近日,星环科技分布式图数据库正式公布 StellarDB 4.0,在数据导入、多跳查问和图算法性能方面实现了数倍降级,同时在易用性、安全性、运维治理、和开放性等方面全面降级,帮忙企业用户更快、更高效地开掘海量数据互联价值。

全新的分布式架构,数据加载、查问和算法性能数倍晋升

随着互联网时代的疾速倒退,企业数据出现爆发式的增长,数据之间的关联愈发简单,这些给图数据库的性能带来很大的挑战,数据存储、查问和计算能力成为掂量数据库性能的要害能力。StellarDB 4.0 对分布式存储和计算架构进行降级,数据加载、查问和算法性能晋升数倍,达到行业领先水平。

在雷同的测试环境中,在十亿级边规模数据集 Twitter-2010 下,StellarDB 数据加载速度是开源图数据库 Neo4j 的 2 倍。


StellarDB4.0 在多跳查问方面具备优异的性能体现,当门路长度设为 6 跳时,StellarDB 查问响应速度是 Tigergraph 的 2 - 4 倍,在 Twitter-2010 数据集上,其余两款图数据库产品在半小时内未返回后果。

在图算法性能方面,StellarDB4.0 具备很大性能晋升,在罕用的四种图算法 PageRank、弱连通子图、强连通子图和 LPA 算法方面,StellarDB 具备显著的性能劣势。

在 PageRank 方面,StellarDB 性能是 TigerGraph 的 2 - 3 倍,是 Neo4j 的 3 - 6 倍,能够帮忙用户更加疾速高效的实现计算网络中点的相关性。例如在网页排名场景中,StellarDB 能够帮忙用户更加疾速高效的实现网页排名。

在强连通子图方面,StellarDB 性能是 TigerGraph 的 6 - 7 倍,是 Neo4j 的 3 - 6 倍,能够帮忙用户更加疾速高效的遍历有向图中每个点和每条边。例如在社交网络中的社区发现,洗钱环节的账户闭环查问跟踪等场景,StellarDB 通过全局遍历,疾速倒退某社区人员或有洗钱嫌疑账户的关联关系剖析。

在 LPA 方面,StellarDB 体现出更加优异的性能,在千万级边 Graph500 数据集下,靠近 TigerGraph 的 4 倍,是 Neo4j 的 8 倍以上,而在十亿级边 Twitter-2010 数据集下,只有 StellarDB 在秒级响应,其余图数据库产品在 30min 内均无响应后果。该算法能够帮忙用户实现从已标记的节点标签信息来预测未标记的节点标签信息。


StellarDB 优异的性能将满足用户 PB 级数据量存储,K 跳街坊查问和算法疾速响应需要,带给用户极致的应用体验,帮忙用户更快、更高效地开掘数据价值。

更多算法、更多数据类型,易用性多重晋升

易用性是企业图数据库选型的重要指标,关系到用户用图数据库解决业务问题的效率和老本。星环科技 StellarDB 反对 openCypher 查询语言,简洁易懂,即可实现简单场景的查问工作,并且在 openCypher 根底上进行了扩大,引入数据导入,图算法,建模等语法,以更好地进步用户应用效率。

StellarDB4.0 反对更多的数据类型,反对 Array、Decimal 高精度数据类型。同时反对类 SQL 语言定义图 schema,让图建模和图导入更加便捷。在图算法方面,StellarDB4.0 实现更多的算法反对涵盖核心调度类、社区发现类、类似度类等近 30 种常见的图算法以满足不同的业务场景需要。

此外,StellarDB 反对 2D 和 3D 的图可视化展现,利用可视化技术帮忙用户疾速获取数据基于关联性的深度洞察,并且提供可视化的数据导入、集群监控、图查问工作和图计算工作监控等性能。

数据加密和脱敏反对,保障数据安全

随着《网络安全法》《数据安全法》《个人信息保护法》相继颁布并施行,数据安全成为企业越来越关注的问题。星环科技 StellarDB 反对面向图的权限治理以及反对治理平台角色认证,以保障图数据的平安。StellarDB4.0 面向图的权限治理进一步精细化,不仅反对图 (Graph) 级别的权限设置(增、删、改、查及图治理),还反对标签 (Label) 和属性 (Property) 级别的权限设置,以实现更加精细化的权限管制。同时,在数据加密方面,StellarDB4.0 反对数据动态加密,其反对 SM4 分组加密算法,具备加密效率高,加密速度快等个性,让数据管理更平安。

StellarDB4.0 新增数据脱敏能力对某些敏感信息进行数据的脱敏解决,避免隐衷数据在未经脱敏的状况下从企业流出,满足肯定场景下的监管合规要求。丰盛的内置脱敏算法能够无效的升高脱敏的复杂度和危险,实现敏感隐衷数据的牢靠爱护。

StellarDB4.0 可视化页面反对 HTTPS 平安传输,保障页面传输数据的平安。此外,还反对平安认证,反对对接已有身份认证零碎,能够实现用户及权限的迁徙。

企业级数据库性能,进步运维管理效率

数据库系统作为 IT 业务零碎的外围,对整个业务零碎的连续性和数据完整性起着至关重要的作用。StellarDB 反对权限认证、备份复原、集群监控、日志审计、资源管控等企业级数据库性能。例如,StellarDB 提供零碎级别的高可用性,元信息服务采纳多节点 HA 形式提供高可用服务。StellarDB 数据服务应用 Raft 协定,能够提供秒级正本切换服务。

StellarDB 4.0 在原有反对数据全量备份复原的根底上,新增增量数据的备份和复原,帮忙企业进步数据备份效率,满足企业提供不同场景的备份需要。同时 StellarDB 4.0 新增正本迁徙性能,在磁盘异构等问题导致局部节点数据磁盘负载不平衡的状况下,实现分区正本的跨节点迁徙,以保证系统稳定性。

此外,为了进步正本故障问题解决效率,StellarDB 4.0 新增故障正本修复性能,通过简略的 openCypher 语句即可删除受损分区正本并重建分区的新正本,使所有分区复原到衰弱状态,保障系统可靠性。

更弱小的兼容能力,撑持更多理论业务场景

图数据库的兼容性是企业理论零碎建设中必须思考的重要因素。星环科技 StellarDB 兼容星环大数据一体机 Txdata、申威等国产服务器,并可运行于 TCOS 星环云操作系统、中标麒麟、河汉麒麟等国产操作系统环境中。

同时,星环科技 StellarDB 提供丰盛的接口,反对 Python SDK、JDBC SDK 与 RESTful API 与第三方零碎进行对接,openCypher 能够帮忙用户实现大部分的图查问操作和根本图算法。

在数据接入方面,StellarDB 反对事务型数据库、与 HDFS、Hive 等大数据平台导入数据,并且反对 Text、ORC、CSV、Parquet 等文件格式。在 4.0 版本中 StellarDB 新增通过 Kafka、Flink、Spark Streaming 等形式接入流式数据源,从而加强图的实时更新和实时查问能力,联合全量和增量数据导入能力,满足更多简单的业务场景。

目前,星环科技分布式图数据库 Transwarp StellarDB 在人员社交网络摸索、金融风险流传剖析等场景施展着重大的作用,广泛应用于金融、政府和社交网络等畛域。将来,星环科技将持续在图技术畛域深耕,为企业提供查问速度更快、剖析能力更强、稳定性更高的图数据库产品。同时,作为国内当先的企业级大数据根底软件公司,星环科技是国内同时具备图数据库、常识图谱平台、图开掘利用开发能力的企业,其全栈自研的图技术能力能够助力企业疾速开掘图数据价值,推动业务高效高质量倒退。

典型案例

国内某 Top 证券公司应用开源图数据库 Neo4j 构建了企业图谱平台,但随着数据量的一直减少以及治理要求的一直进步,原先批数据处理依赖手工导入的形式操作繁琐,给企业带来很大的治理和老本压力。该过程还须要中断数据库服务,影响数据库业务的失常运行。此外,原零碎的数据更新速度,深度关系查问性能以及保护治理等方面也无奈满足该证券公司要求。

星环科技 StellarDB 与 Neo4j 的 Cypher 语法高度兼容,疾速实现了多个业务的平滑迁徙和上线。内置的 ETL 工具间接从事务数据库中抽取数据,防止数据手工导入导出的麻烦,相应的 ETL 组件实现对加工工作的协调调度,整个过程不中断服务,无效保障业务连续性。

同时,StellarDB 反对标签级数据秒级删除,极大晋升企业每天数据更新效率。StellarDB 可视化数据建模性能帮忙数据分析师疾速、便捷地进行企业关联关系、股权浸透剖析,在 3 亿数据量下的 12 度以内的最上层实控公司和母公司的控股企业查问工夫缩短为原先的 1 /3。

与原先用户治理保护依赖手工的形式相比,星环科技 StellarDB 数据库治理反对多种认证形式,数据库层反对 Kerberos 和 LDAP,web 层反对 CAS 和 OAuth2, 疾速实现了与团体零碎的对立对接认证,企业能够依据用户部门工号对立配置权限和认证。目前该证券公司已和星环科技单干实现对公企业图谱平台建设,后续将进一步拓展反洗钱图谱,反欺诈图谱等多图利用。

正文完
 0