关于shardingsphere:做数据时代的加油站ShardingSphere-为易车数据库架构演进提供新动力

25次阅读

共计 1976 个字符,预计需要花费 5 分钟才能阅读完成。

Apache ShardingSphere 前段时间应邀来到易车北京总部,PMC Chair 张亮与易车的技术同学在数据加解密、扩容、迁徙、上云等话题开展了深度交换与探讨。

作为中国当先的汽车互联网企业,易车深耕汽车行业二十余载,为中国汽车用户提供业余、丰盛的互联网资讯和导购服务,并为汽车厂商和汽车经销商提供行之有效的互联网营销解决方案。在公司“1234”的策略推动下,易车技术团队考查并抉择了 ShardingSphere,为优化数据服务提供更多抉择。在探讨最初,张亮也示意,ShardingSphere 外围团队将与易车 DBA 团队放弃严密沟通,单方将建设起长期的技术单干关系,独特为凋敝 ShardingSphere 社区生态而致力。

在数据加解密计划中,能够通过 Proxy 来对立实现吗?

这个是能够的,无论是通过 Proxy 或是 JDBC 都能实现,只用 Proxy 也是没问题的。如果须要将数据迁徙至 Proxy 端,Apache ShardingSphere 提供了弹性迁徙模块,用户齐全不须要放心迁徙、上线的解决问题。其次,随着业务的增长和变动,兴许企业前期会须要对曾经分片解决过的数据库进行二次分片。Apache ShardingSphere 联合 Scaling 能够实现数据分片的弹性伸缩,保证系统能够随着业务变动而一直调整,从而满足业务快速增长的需要。

另一方面,ShardingSphere 的加密与个别数据库的内容加密不同,是基于行列级别进行加密。如常见身份证、明码等等因素,只须要通过 ShardingSphere 将这些因素进行加密即可。此外,ShardingSphere 通过对这部分能力进行标准化并集成在中间件生态上,自动化用户对新、旧业务的数据脱敏以及加解密的过程,整个过程实现了用户层面的无感知。同时反对多种内置的数据加解密 / 脱敏算法,用户也可依据本身状况来自定义扩大相应的数据算法。

在数据扩容或迁徙时,如何在不停服的状况下实现数据扩容?对于新增数据如何解决?

在数据迁徙形成中,分为存量数据迁徙以及增量数据迁徙,数据体量越大耗时越长。同时增量数据往往是动态变化的,为了最终确认两端数据统一,肯定是须要一段停写工夫,让日志可能追上来并实现校验。Apache ShardingSphere 能够将数据迁徙工作分为多个局部并行执行,合并同一记录的批改操作,在配置上之后再执行一条命令进行主库的写入,使主库只具备只读的权限,同时在只读期间暂停 SQL 执行并在停写的霎时确保数据是全局统一的,进而再操作切库,缩小对于零碎可用性的影响。

当下大部分企业为了保障高牢靠以及高吞吐量,往往会对数据库进行主从配置。如何确保主从库之间的数据一致性,尤其是在数据迁徙过程中,须要可能在简直不影响业务的状况下实现数据校验。Apache ShardingSphere 提供了多种内置的比对策略和数据一致性校验算法,用以比拟源端数据和指标端数据是否统一,默认应用 CRC32 以便在速度与一致性上获得均衡,且校验算法反对 SPI 自定义。

ShardingSphere 上云后,与利用和云之间的兼容性问题

不论是在云上还是本地,次要是利用连贯 ShardingSphere,如果该利用有部署负载平衡,间接更改拜访 URL 即可。

另外一种形式,能够依据 Database Mesh 设计理念,在每一个利用端部署一台 Sidecar,利用 Sidecar 来收集和探测 ShardingSphere 自身,从基本状态层面保障高可用。Database Mesh 为用户提供了齐全隔离不同环境的能力。

对于 Database Mesh,面向运维工程师时,用户只需变更数据面板到分布式数据库的网络配置,以规范界面配置数据库拜访规定、资源配额、数据变更、可观测性等;面向研发工程师,Database Mesh 对其齐全屏蔽了数据库所在的具体网络地址,研发工程师只需面向本地数据库进行开发,无需感知分布式数据库的存在。

通过 Database Mesh 提供的云原生服务,将来用户可通过接管控制面板发送的指令,来执行限流、熔断、基于标签的路由等操作。将来,所有云上数据库流量的治理和管制都能够交由 Database Mesh 体系来进行治理,既能够治理一般的数据库,也能够搭配 ShardingSphere-Proxy 管控端。

欢送点击链接,理解更多内容:

Apache ShardingSphere 官网:https://shardingsphere.apache.org/

Apache ShardingSphere GitHub 地址:https://github.com/apache/shardingsphere

SphereEx 官网:https://www.sphere-ex.com

欢送增加社区经理微信(ss_assistant_1)退出交换群,与泛滥 ShardingSphere 爱好者一起交换。

正文完
 0