01 Apache ShardingSphere 论文被 ICDE 收录
近日,由 Apache ShardingSphere 社区、SphereEx 以及重庆大学计算机系团队独特撰写的“Apache ShardingSphere:A Holistic and Pluggable Platform for Data Sharding”论文,被数据管理与数据库国内顶级会议 ICDE 全文录用,成为业界首篇对于数据分片的顶级会议论文。
ICDE(The International Conference on Data Engineering)是中国计算机协会(CCF)举荐的 A 类国内学术会议,是数据库和数据挖掘畛域顶级学术会议之一,电气与电子工程师协会(IEEE)的旗舰会议,和 SIGMOD、VLDB 并称数据管理与数据库畛域的三大国内顶尖学术会议。
此次被收录,代表 Apache ShardingSphere 所提倡 Database Plus 理念的工程化实际,通过 5 年多的研发及生产验证外,曾经失去实践层面的验证。其提出的基于数据库之上的加强计算引擎,及内置的多层可插拔架构失去很好的印证。其研究成果获寰球顶会认可,也代表着 Apache ShardingSphere 在数据库底层外围基础性技术钻研方面继续取得了创新性冲破。该论文印证了 关系型数据库依然是在线事务处理的主力,但不足可扩展性以及无奈高效解决高并发问题,以及 NewSQL 数据库会带来额定学习老本的背景下,Apache ShardingSphere 作为一款数据库中间件来连贯和治理泛滥已有的数据库,曾经成为一种非常敌对且高效的形式。
02 验证 Apache ShardingSphere 的迷信倒退门路
Apache ShardingSphere 从诞生至今,曾经走过了 6 年多工夫。在旁观者的视角看来,不论是我的项目自身或是开源社区,Apache ShardingSphere 都曾经相当胜利。
咱们为什么要欠缺现有的数据库生态,而并非新建一款数据库?
Apache ShardingSphere 旨在充沛正当地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。
时至今日,关系型数据库作为反对残缺事务的最优抉择,其依然是在线事务处理的主力。但因为关系型数据库在设计初期是针对单台机器的,并没有思考到流量、数据过大时的场景,因而可扩展性欠佳并且无奈高效解决高并发问题。在此背景下 NewSQL 应运而生,New 就意味着是从零开始开发的数据库。尽管适宜当初的利用场景,但其还没有大量承受过实在生产环境的测验,并且还会为企业的保护人员带来额定学习老本。
在此背景下,Apache ShardingSphere 也一步步从工具倒退到生态,立足点越来越高,影响范畴越来越广,这样的零碎突破了关系型数据库架构的限度。目前,Apache ShardingSphere 已更新至 5.1.0 正式版。随同着此次更新,Apache ShardingSphere 也正式将产品定位转向以 Database Plus 为外围的全新畛域,旨在构建多模数据库下层的规范和生态。除在数据库下层提供弱小的增量能力之外,Database Plus 架构也为开发者和用户凋谢了高度可扩大的数据库生态,帮忙用户站在数据库的下层视角,更多关注数据库之间的合作。
Apache ShardingSphere 的多重个性
- 可插拔
Apache ShardingSphere 我的项目采纳微内核 + 三层可插拔模型,使内核、性能组件以及生态对接齐全可能灵便的形式进行插拔式扩大,开发者可能像应用积木一样定制属于本人的独特零碎。在 Apache ShardingSphere 的框架下,所有性能均可通过积木化的模式组装到 ShardingSphere 体系中,且能够叠加应用。而在开发者面向规范的 SPI 编程中,内核对增量性能是无感知的,所以 ShardingSphere 在理论的利用场景中能够灵便组合多个功能模块,为用户提供有限的设想空间。
此外,Apache ShardingSphere 是基于 SPI(Service Provider Interface,一种 Java 语言中的服务发现机制)和多种设计模式设计的。因而,更多类型的数据库、性能、分片算法都可能十分不便地退出、移除以及自由组合。
其中,作为研发 ShardingSphere 的起源诉求,数据分片始终以来都是 ShardingSphere 的重要个性之一。对于许多用户来说,分片性能也是其应用 ShardingSphere 的初期起因之一。综合来看,对关系型数据库进行数据分片操作,以程度数据分片的形式冲破单台机器存储量的限度,是基于现有状况下更适宜于企业的解决方案。
- 高性能
论文中提到,重庆大学与 SphereEx 在 Sysbench 和 TPCC 这两个测试环境下进行了多轮试验,验证了在雷同的配置下 Apache ShardingSphere 的性能都优于大多数分片零碎和新架构数据库。具体数据可参照下图:
(Sysbench 测试后果)
(应用 TPCC 对不同分布式系统的比拟)
03 结语
Apache ShardingSphere 目前曾经在数百家海内外企业的生产环境中失去利用,波及互联网、游戏、银行、保险、证券、制造业、电信、新批发、政府等多个行业,已失去多个实在生产场景的验证。
随着本篇论文被 ICDE 收录,也标记着学术界对 Apache ShardingSphere 理念的认可,将会为数据库行业倒退、晋升数据处理效力等方面提供新的解决思路,也为关系型数据库利用分布式能力、可插拔架构的遍及、数据库下层生态的建设奠定了松软的实践根底。
通过本篇论文,心愿 Apache ShardingSphere 在该畛域下的摸索能够启发到其余数据库畛域的开发者与学者,独特凋敝数据库生态,将数据库打造为更加贴合业务场景的数据服务平台而致力。
⏰ 论文原文后续将在公众号及 ICDE 官网收回,欢送大家关注。