乐趣区

关于阿里云:微服务治理热门技术揭秘动态读写分离

jiezi

作者：十眠

咱们从利用的视角登程整顿形象了咱们在拜访、应用数据库时场景的一些稳定性治理、性能优化、提效等方面的实战经验，对于每一个后端利用来说，数据库无疑是重中之重，咱们心愿通过咱们的数据库治理能力，能够帮忙到大家更好地应用数据库服务。

MSE 数据库治理残缺解决方案

本文将具体介绍 MSE 数据库治理的热点性能，动静读写拆散的设计与实现。

读写拆散的概述

数据库动静读写拆散的常见场景：

  • 一个大客户的申请过去，查询数据库返回上万条几百 M 的数据，数据库的 CPU 间接打满。
  • 微服务利用的某些业务并不是那么重要，却存在大量查询数据库的逻辑，影响数据库实例稳定性，从而导致整体服务质量的降落。
  • 在业务处理过程中，如果对数据库的读操作远多于写操作，那么在做零碎性能优化时就能够思考引入读写拆散的计划，一方面只读库能够承当主库的压力，另一方面可能无效的防止由数据更新导致的锁期待，晋升微服务利用的性能。
  • 随着业务的增长，咱们在肯定机会下须要对数据库实例进行扩容。依据教训大多数利用的读写比都在 5:1 以上，有些场景甚至大量的高于 10:1，在对数据库有大量写申请，但有大量读申请的利用场景下，单个实例可能无奈接受读取压力，甚至对业务产生影响。

能够理解到的是数据库读写拆散计划能够满足阿里云上大多数公司的稳定性治理、性能晋升以及数据库扩容的需要。

如果理解读写拆散实现的同学肯定会关注以下这些问题：

  • MSE 是如何解决读写拆散对业务的侵入性？如何做到业务无需改变一行代码，即可具备读写拆散能力。
  • MSE 如何做到精细化动静的读写拆散管制？即便咱们不晓得这个业务接口实在的 SQL 是什么，但咱们曾经能够管制这个接口的读 SQL 拜访只读实例。
  • MSE 是如何解决读写拆散带来的一致性问题？对于一致性敏感的业务，如何实现一致性的保障，满足业务在不同场景下对一致性级别的要求。

MSE 读写拆散技术揭秘

读写拆散也就是将数据库拆分为主库和从库，即主库负责解决事务性的增删改操作，从库负责解决查问操作的数据库架构。单单看读写拆散的概念，第一感觉就是对业务的侵入性肯定不小，那么 MSE 是如何做到无侵入的呢？

无侵入性：无需批改一行代码

MSE 数据库治理能力通过 JavaAgent 技术，动静减少用户的数据源，注入动静读写拆散能力，反对运行时动静将弱读申请路由至只读实例。

MSE 在数据源层面实现了形象，其中 DynamicConnection、DynamicStatement 会依据具体规定从而实现 Master/Slaver 的切换，做到依据 SQL 的读写类型、事务的状态以及用户的业务规定来做 SQL 的路由，将符合条件的读 SQL 申请转发至 RDS 只读实例中。

精细化路由：依照申请条件、接口、SQL 多层次多条件

很多时候咱们通过编写 DAO 拜访数据库，那么在一些简单利用的场景下，咱们很可能只晓得 DAO 接口，在一些简单场景下咱们只晓得微服务的接口，外部甚至搞不清楚到底调用的哪个 DAO 接口、SQL 语句，甚至如果是运维角色参加设计，咱们很可能不晓得哪个微服务接口导致的读申请导致数据库抖动，咱们只晓得入口利用的某个 uid。那么咱们如何做到对业务接口内的读申请路由至只读实例呢？

MSE 数据库治理提供了利用层面残缺的 callStack 信息，能够让咱们站在利用的视角上清晰地看到哪些接口外部执行了哪些 SQL。

MSE 通过链路传递技术，反对在入口微服务、微服务接口、DAO 层面标记弱读申请的标记，反对标记的以后线程内的 SQL 调用、以后微服务内的 SQL 调用、合乎流量条件的申请链路级别的所有 SQL 调用等多个层面的弱读标记传递，最终传递给读写拆散组件的路由引擎进行  SQL 的路由根据的判断。

强一致性模式：指定接口、事务

当数据库负载很高时，例如对大表执行 DDL（如加字段）操作或大批量插入数据的时候，提早会十分重大，从而导致无奈从只读实例中读取最新数据。MSE 提供了一些策略解决如上问题，某些接口或者某些业务对一致性比拟十分高，咱们能够通过规定配置通知 MSE 在特定场景下，某些读接口标记为强读申请。MSE 外部会通过一些机制保障读写拆散的强一致性成果。

白屏化能力：通过 AccessLog 实时感知读写拆散状况

有读写拆散能力，那么咱们如何晓得读写拆散的执行状况，到底哪些利用，哪些申请被拆散至了只读实例？MSE 白屏化能力提供了一套残缺的 AccessLog。

  • 读申请路由至只读实例
  • 读申请路由至主实例

总结

MSE 从利用的视角登程，联合微服务治理通用的技术，MSE 推出的是残缺的数据库治理解决方案，从 SQL 洞察、SQL 流控降级与容错、连接池治理到数据库灰度、动静读写拆散。咱们心愿通过数据库治理能力能够帮忙用户的微服务能够更好地应用数据库，升高数据库应用的老本，晋升数据库拜访的稳定性。

MSE 的数据库治理能力也须要更多更加深刻的客户场景与落地实际，如果您对 MSE 的数据库治理能力感兴趣，欢送分割咱们，只有通过客户打磨的产品才会愈发历久弥新。

在建设数据库治理能力的同时，咱们也通过 OpenSergo 在与社区独特建设数据库治理的规范。

OpenSergo 在联结各个社区进行进一步的单干，心愿通过社区来一起探讨与定义对立的服务治理规范。以后社区也在联结 bilibili、字节跳动等企业一起共建规范，也欢送感兴趣的开发者、社区与企业一起退出到 OpenSergo 服务治理规范共建中。欢送大家退出 OpenSergo 社区交换群（钉钉群）进行探讨：34826335

退出移动版