ShardingSphere 开源我的项目发展史
Apache ShardingSphere，作为寰球出名的根底软件开源我的项目，最早可追溯到 2015 年。其最后版本是由国内出名互联网公司外部我的项目孵化而成，其目标是为了解决数据库程度拆分而产生的分布式问题。在 2016 年正式开源，逐步失去了更多公司的关注和奉献，我的项目规模和影响力逐渐扩充。在 2018 年，Apache 基金会孵化器；并于 2020 年成为顶级我的项目胜利孵化。到目前，Apache ShardingSphere 在寰球领有宽泛影响力，并保持高速增长中。其领有了良好的生态圈，大量来自社区贡献者和用户独特促成我的项目的继续沉闷倒退。应用畛域已不再局限于数据分片，而是宽泛扩大到数据安全、数据治理、流量管制等多畛域，成为企业构建数据基础设施的利器。
SphereEx 商业版本 DBPlusEngine 发展史
作为一款景象级开源产品，Apache ShardingSphere 在开源畛域获得了微小的胜利，但受限于开源模式局限，企业级用户在应用上仍存在诸多难点和痛点。为了更好地促成软件技术本身的倒退与创立，同时为企业带来更大的商业价值。Apache ShardingSphere 外围团队于 2021 年成立了开源商业化公司—— SphereEx，心愿通过开源商业化这一模式一方面反哺开源社区，继续推动开源我的项目的稳固、高速倒退；另一方面通过基于开源构建的商业产品(命名为 SphereEx-DBPlusEngine)，服务宽广数字化转型中的企业，为企业带来更大商业价值。通过两年多的商业倒退，SphereEx 公司已实现基于开源版本的加强企业版并取得行业多畛域 KOL 认可，实现初步的商业化落地。目前公司产品已笼罩分布式数据库、数据安全、信创替换革新等多场景，用户包含金融、生产、领取、物流、媒体、游戏、政企等多行业用户，帮忙宽广用户解决了底层数据基础设施的诸多痛点。
商业产品亮点技术能力
- 数据库兼容性
在开源版本中，已反对常见的开源数据库，包含 MySQL、PostgreSQL 及 openGauss 及局部海内商业数据库。在 SphereEx-DBPlusEngine 中，针对用户自主翻新类需要，更多减少了对国产商业数据库及云数据库的反对。用户可基于这些商业数据库产品，实现如分布式、数据安全等能力。此外，针对剖析类场景，SphereEx-DBPlusEngine 还反对包含支流剖析型数据库和大数据平台 (如 Hive、Presto) 的反对。 - 数据分片
开源产品中已内置了包含范畴、哈希等惯例分片算法。在 SphereEx-DBPlusEngine 中，重点在加强分片的易用性，减低分片难度及更为贴近业务侧。一方面在 SphereEx-DBPlusEngine 中提供如主动分片性能，即用户无需指定分片策略，零碎主动实现分片，这样可大大降低分片设计保护量；另一方面通过一键分片性能，解决从非分片到分片及不同分片形式间的迁徙难点，实现业务在线无感切换。此外，针对来自业务方的非凡分片需要，商业版本也提供定制加强能力，可实现更为贴近业务的“最优分片策略”。 - 分布式事务
当面临海量数据规模下，数据分片是必要的抉择，那么分布式事务就不可避免。开源产品，仅实现对根本分布式事务的反对能力，但要想在正式生产环境中应用还需利用侧做不少工作，如复原日志长久化，复原自动化等。在 SphereEx 的 SphereEx-DBPlusEngine 中，针对分布式事务局部做了特有加强，达到生产可用级别，解决了包含事务异样回滚、强一致性事务保障等痛点，解决用户在线实用问题。 - 数据加密
开源产品仅反对根本的加密能力，提供了 MD5、AES 等根本加密算法。在 SphereEx-DBPlusEngine 中，突出在商业加密算法、密钥治理、数据加密切换、更强的密态计算等环节能力。在加密算法方面，除了反对根本算法外，还反对了包含国密算法在内的更多加密算法。在密钥治理方面，可实现对接多种密钥治理形式，满足在私有化、云及有软硬联合方面的诉求。针对用户最为关怀的加密革新方面，除了实现利用免革新加密外，可提供数据的一键洗数能力，实现在线平滑过渡。为解决用户针对危险的担心，还提供如反洗数、同步双写、明文生产等能力。针对传统企业用户依赖的存储过程，还反对了存储过程的主动改写能力，实现库内计算的主动加解密。此外，SphereEx-DBPlusEngine 还能够与敏感数据辨认工具联动，提供一站式的辨认、革新、迁徙。 - 读写拆散
开源产品中反对无限读写拆散能力，在 SphereEx-DBPlusEngine 中，不仅反对依据 SQL 语义的读写拆散能力及判断是否处于事务中，处于事务中的语句会路由到主库执行。还加强了诸如延时探测和高可用感知能力。针对普遍存在的主从提早问题，可设置阈值，依据提早状况抉择路由到主库还是从库。通过这样的解决形式，可更好地满足实时性要求较高的查问场景。此外，配合高可用感知能力，如果数据库产生异样，可灵便切换到其余可用数据库，利用齐全无感知。 - 数据库网关
SphereEx-DBPlusEngine 可提供基于数据库之上的多种网关能力，包含数据库防火墙、数据双写、数据归档能力。数据库防火墙，通过用户定义的规定，可实现对语句的精准管制，防止低效、高危语句的执行。如可实现在数据分片状况下，查问语句必须带有分片键等策略，保障执行效率。数据双写，则是提供针对异构数据源的反对，可实现不同数据库的强统一同步写入，保证数据的冗余保留，进步数据可用性。数据归档，则是提供冷热数据拆散能力，可依照工夫策略将冷的数据归档在独立存储中，以实现更好的经济性；同时还提供全局拜访能力，即在数据分层状况下依然可提供残缺数据的查问能力。 - 混合计算
SphereEx-DBPlusEngine 实现基于异构数据库之上的混合计算能力，可提供包含 HTAP、联邦查问、缓存一体化、冷热数据归档与计算能力。在 HTAP 方面，可实现针对 TP 与 AP 数据库的混合计算，可依据负载、数据规模、老本等抉择不同的执行引擎，并实现语句主动改写。在联邦查问方面，可实现跨多种不同数据库引擎的计算能力，在算子尽量下推的前提下也提供了下层算子汇聚计算能力。在缓存一体化方面，实现缓存与数据库的对立拜访接口，实现从 SQL 接口拜访缓存的能力，并实现数据从数据库到缓存的同步。在冷热数据归档与计算方面，可实现按归档策略主动数据分层，不同层数据保留在不同存储引擎中，并通过 SphereEx-DBPlusEngine 实现对立查问。 - 权限角色
开源产品提供了基于用户的受权能力。在 SphereEx-DBPlusEngine 中，提供与数据库“等效”的受权能力，包含基于用户角色的受权、对库表列细粒度权限管制，为用户打造跨数据库平台之上的数据权限治理提供保障。用户可齐全基于此能力打造公司级数据对立权限管控。此外，为进一步升高用户应用老本，SphereEx-DBPlusEngine 还提供对接第三方认证受权零碎的能力，可疾速接入如 LDAP、SSO 等零碎。 - 弹性伸缩
在散布架构下，资源伸缩能力很要害。因开源产品提供的是一组无状态的计算节点，可实现最根本的计算节点扩容。在 SphereEx-DBPlusEngine 中，其采纳规范的存算拆散架构，反对对计算节点、存储节点的扩缩容能力，可依据用户须要扩大或膨胀节点资源。其中对应存储节点上的数据，可同步采纳数据重散布策略，实现资源开释。在重散布过程中，从全量数据迁徙、增量数据迁徙、数据品质比对、元数据切换的全过程全副自动化。如果是采纳 Kubernetes 环境，则可更充分利用这一资源供应形式，实现包含负载与语句管制，实现资源的主动伸缩。 - 高可用
高可用能力，是可能将软件应用在要害业务零碎的次要考查要求。之前的开源版本，基于无状态的计算节点，是局部实现计算节点的高可用。在 SphereEx-DBPlusEngine 中，更进一步欠缺了上述能力并有所补充。基于计算节点，提供了计算节点自愈能力；针对存储节点，则实现对接多种存储端的感知与自愈能力，实现在数据库异样时，通过高可用能力实现利用无感知切换，这也是与开源版本的区别之一。 - 元数据去中心化存储
在 Kubernetes 环境下，SphereEx-DBPlusEngine 提供去中心化存储的能力，用户不须要自行部署注册核心。通过商业版本的无状态 Mate 组件，可齐全代替如 ZooKeeper、Etcd 等组件，防止了繁琐的运维工作。 - 监控诊断
监控诊断能力，是用户疾速发现问题、解决问题的根据。开源产品中，通过与第三方工具集成，提供肯定的链路跟踪能力。在 SphereEx-DBPlusEngine 中，则实现了监控、诊断的性能闭环，提供从多维度监控到全链路跟踪能力。包含从主机、利用、语句多种维度，从计算、存储、治理核心等多对象的残缺监控及图形化展现能力。对更进一步的剖析，则通过内置的链路剖析能力来实现。 - 数据集成
数据集成，对使用者疾速上手应用，疾速融入到现有数据环境很重要。在 SphereEx-DBPlusEngine 中，则提供多种集成形式。一方面可通过数据的导入导出，实现数据的离线流转；一方面通过如 insert … select 的语句能力，实现外部数据集成。此外，通过全局 CDC (change data capture) 能力，实现更为广大的、跨零碎的数据集成能力，可与包含 Kafka 等平台集成，实现数据集成流转。 -
控制台 & DistSQL
软件的易用性十分重要。在开源版本中，用户次要是通过配置文件和 DistSQL（这是一品种 SQL 的扩大）的形式进行治理，存在肯定的应用门槛。在 SphereEx-DBPlusEngine 中，提供了图形化治理控制台，可在其上实现从装置部署、日常治理、备份复原、监控诊断等诸多能力，进一步升高用户应用门槛。此外，针对 Kubernetes 环境，还提供了操作资源的 operator，不便用户疾速构建。SphereEx-DBPlusEngine 主打场景
作为一款开源商业化的企业版软件，SphereEx-DBPlusEngine 在设计之初，就将企业级性能、安全性、稳定性、高性能、可维护性等方面作为产品倒退重点。通过两年多的研发并在多客户场景实际打磨，SphereEx-DBPlusEngine 已成熟稳固并服务于客户的外围场景。较之前的开源我的项目，SphereEx-DBPlusEngine 具备诸多显明的特点，实用于多种业务场景。
- “低成本、一键化、高弹性”的分布式数据库
随着数字化转型深入，企业内数据库所承载的拜访压力和容量压力将会越来越大，分布式数据库成为用户的首选。但数据库作为企业根底平台之一，替换现有平台须要较大的老本投入并需承担肯定危险。如何平滑的、低成本、低危险的实现分布式革新，成为企业关注焦点。SphereEx-DBPlusEngine，定位于在数据库之上提供分布式计算能力，可基于用户已有的如 Oracle、MySQL、PostgreSQL 等数据库环境，疾速构建分布式能力。其性能上除了开源版本所提供的丰盛分片能力外，着重提供平滑的迁徙和弹性伸缩能力。用户在非分片状况下，通过一键实现数据的在线分片，其外部包含存储节点的扩容、存量数据迁徙、增量数据同步、数据比照及流量切换等阶段阶段。针对已实现数据分片状况，可实现弹性的扩缩容，包含针对计算资源、存储资源的在线重定义，实现灵便的资源配置，进而达到老本节约。 - “全流程、一站式、免革新”的数据安全合规
随着国家一系列政策的出台，越来越多的企业开始关注数据安全。作为数据的次要载体，数据库成为数据安全的治理重点。SphereEx-DBPlusEngine，基于数据库之上的构建理念，打造了笼罩全数据生命周期的平安产品。在开源所提供的根底平安能力外，SphereEx-DBPlusEngine 提供了更为全面、更为平滑的的平安解决方案，包含提供从敏感数据辨认，到数据加密、脱敏，再到细粒度权限、数据防火墙等。特地是提供的数据加密性能，可实现在利用免革新、业务零停机状况下的平安革新。针对很多传统企业客户依赖 Oracle 存储过程实现业务解决，SphereEx-DBPlusEngine 还实现了自动化存储过程平安革新，可一键实现库内计算的加解密。 - “低危险、高增效、精准灵便”的数据库替换
针对数据库替换场景，用户普遍存在对数据一致性、业务可服务能力及研发的老本投入的放心。特地是针对很多要害业务，无奈接受因替换过程所带来的风险性。SphereEx-DBPlusEngine 可从多方面升高上述危险及研发投入。其通过对数据库拜访流量的截获，做到对数据流量的精准管制，实现替换过程中逐渐上量过程。其可依据拜访的读写类型、业务标记等做到管制，通过这样可保障切换过程的平滑性。针对数据不统一的放心，其实现对异构数据库的同步双写能力，保证数据在两边都落地后才返回利用正确，通过这一形式可保证数据强统一。如果呈现单侧数据库问题，还可主动进化不影响整体业务拜访。为进一步升高研发投入，SphereEx-DBPlusEngine 还提供的异构数据库语法的转化性能，实现简略业务逻辑无需更改，就能够间接上线，大幅升高了用户的开发成本投入。 - “智能化、跨平台、创新性”的数据库网关
在以后数据库碎片化的现状下，如何实现对立治理、拜访成为很多企业所关注的。SphereEx-DBPlusEngine 打造了碎片化的异构数据库下层生态，从新构建了利用和数据库之间的交互规范，提供的能力可帮忙企业实现“OneDB”能力。从根底的数据库拜访的负载平衡、读写拆散能力，可充分利用企业内现有数据库的算力资源。针对数据库主从架构可能呈现的提早问题，提供了主从提早感知能力，在最大化利用从库能力根底上，保证数据拜访的实时性、数据的鲜活性。针对用户更为精准的流量管制需要，还提供了流量标签化解决，可实现诸如影子库压测等场景需要。为了保障线上业务的稳定性，还通过策略配置的形式实现数据库防火墙能力，将低效的、高风险、高资源耗费类的语句，拒之门外保证系统安稳运行。SphereEx-DBPlusEngine 原生提供两种交互方式：代理端与驱动端，网关还实现了智能路由模式，可将高频、低成本、延时敏感的申请通过驱动端接入形式执行；反之则通过资源成为短缺的代理端形式执行，而上述调配过程用户无需感知。 - “异构源、多引擎、分档次”的混合计算
企业内的数据计算往往比较复杂的，须要通过多种数据计算引擎来实现。但从使用者角度来看，如何调度、应用多种算力资源成为难点。SphereEx-DBPlusEngine 提供了基于底层算力之上的混合计算能力，可充分利用现有算力资源，并提供对立计算入口。如反对跨不同数据源的联邦查问能力，可实现数据同步下的对立计算；如反对跨在线交易与在线剖析的混合计算模式，实现灵便调度，用户无感知；如充分利用缓存的高性能，实现关系数据库与缓存的一体化计算，在保证数据拜访效率的同时，屏蔽之前的数据同步等诸多技术细节，实现对立拜访接口；再如针对企业内数据冷热不均的现状，反对主动的数据冷热分层和主动汇聚计算能力，大幅升高用户应用老本。
企业用户如何抉择
开源软件的商业化版本，充沛地利用的开源的成熟生态，不仅利于企业疾速相熟把握软件、配合自有人才，也为企业升高技术危险、构建自有技术能力提供一种新的抉择。作为用户，是抉择开源产品还是商业版本，成为一个问题。这里可从如下角度进行掂量：
- 功能丰富和定制性：商业版本软件通常会提供更多的性能和定制性，以满足不同用户的需要。而开源版本则更重视性能的通用性和标准化，可能没有企业版软件那么多的定制性。
- 反对和可维护性：商业版本软件通常有业余的技术支持和保护团队，能够提供及时的技术支持和保护服务，而开源版本则通常由开源社区或组织提供反对和保护，可能没有企业版软件那么及时和业余的反对。
- 安全性：商业版本软件通常会提供更高的安全性，包含数据加密、访问控制、审计等，以爱护用户的数据安全。而开源版本则更重视源代码的公开通明和社区保护，安全性可能不如企业版软件。
- 业务重要性与连续性：商业版本通常是面对企业重要业务，强调可继续服务能力。其通过业余的技术支持和保护达到上述要求。而开源版本则更重视个人用户和小型组织的业务摸索，其对业务连续性要求绝对不高，且重要性也较低。
总结起来，软件开源版本有其显明的优缺点，而商业版本的能力则更为全面与平安，用户能够依据本人的需要和估算抉择适宜本人的软件版本。