关于微服务:分布式系统中数据存储方案实践

数据收缩的时候，必然放大细节。

一、背景简介

在我的项目研发的过程中，对于数据存储能力的依赖无处不在，我的项目初期，相比零碎层面的组件选型与框架设计，因为数据体量不大，在存储管理方面通常容易被鄙视，当我的项目倒退进入到中后期阶段，零碎的复杂性很大水平来源于数据层面；

从惯例的微服务架构体系来看，对于零碎中的数据存储能够划分如下几个模块：组件库、利用库、业务库、公共库、中间件数据、第三方；不同的场景下对数据存储能力的要求和依赖水平也各不相同；

组件库 ：微服务架构下，诸多根底的框架组件都依赖数据的长久化存储，以此来确保服务能力的稳固可控，防止异常情况下的数据失落问题；

利用库 ：作为零碎中的应用层，须要对申请的动作有记录和辨认能力，并且存储诸多拦挡和过滤的规定信息，用来保护上层业务服务的平安稳固；

业务库 ：做为零碎中最外围的数据资产，对业务数据的存储和治理有极高的要求，并且要对数据的变动有肯定的评估能力，提前做好数据收缩的状况下零碎测试和拆分计划，保障业务的稳固和继续倒退；

公共库 ：零碎中大部分业务都可能会依赖的能力，对于公共库和与之相应的服务来说，其吞吐量和并发能力，要撑持所有依赖业务的同时并发；

中间件 ：常见的中间件比方：缓存、音讯队列、任务调度、搜索引擎等，都有数据存储的性质，只是在实现形式上会有差别；

第三方 ：大部分零碎都或多或少的依赖一些第三方仓库，比方 Git 代码仓库、Maven 包仓库、Docker 镜像仓库、行为埋点数据、OSS 文件服务等；

二、框架组件

微服务架构的罕用组件中，例如 GateWay 路由网关、Nacos 注册配置核心、Seata 事务管理器等，都须要数据存储机制；

路由网关 ：通常在网关库中保护各个服务的路由地址和规定策略，以及黑白名单和流量治理等数据，尽管体量并不大，鉴于网关服务须要撑持流量的高并发，所以对数据的读性能有要求，尽量升高申请在网关层的耗时；

注册配置 ：兼顾治理各个服务的配置数据，动静保护服务的注册状态，对存储的稳定性和数据安全有极高要求，要确保各个环境是隔离开的，并且不能裸露生产环境的配置信息；

事务管理 ：Seata 组件提供高性能和易用的分布式事务管理能力，惯例的事务调度过程须要依赖几张要害的记录表，通常须要进行分布式事务管理的接口，根本都是解决服务中的外围业务，既要保障稳定性也要反对高并发；

三、利用治理

应用层绝对处于零碎的下层，比方常见的门面服务，治理服务，控制中心等，通常在相应的库中存储申请记录，特定的过滤和拦挡策略，异样响应日志，页面的展现治理等；

通常来说由控制中心进行对立的治理和保护利用库的配置数据，在各自的应用服务中间接查问即可；从而防止反复实现各种根底性能，同时将零碎级的治理都放在控制中心服务，确保数据批改的入口繁多，以便更好的监控动作日志；

四、业务数据

作为零碎最外围的数据资产，业务数据的精准保护始终都是外围事项，除了提供必要业务流程的数据存储，还要反对数据的动静查问剖析，并且会随着业务倒退，数据的构造和体量也会一直产生变动；

分库分表 ：业务适度简单的时候，会思考库的拆分，从而保障各个业务块的绝对稳定性；当某些表的数据量宏大时，会采纳分表的形式，防止该表的解决工夫过长从而影响整体性能；业务的库表拆分并且基于微服务治理，是当下支流的架构模式；

数据保护 ：随着业务的倒退，数据体量和构造会随之收缩，从而引发品质问题，所以在日常开发中很多版本都会进行数据保护，比方：数据荡涤、数据迁徙、构造拆分等，从而更好的治理数据保障业务的持续性；

微服务架构下数据的动静保护是一个比较复杂的流程，要保障在处理过程中不停机，须要依赖两头的调度服务去实现数据的保护过程，在此期间应用服务优先从旧服务和库中读取未解决的数据，新数据入库和查问走新的服务，直到整个保护流程完结，再依据预设好的标识敞开旧服务申请并且下线即可；

五、缓存治理

通常缓存能够无效解决数据查问时呈现的性能问题，比方访问量大变动不频繁的热点数据，或者流程中常常加载的常量配置，另外也会基于 Redis 做加锁机制，个别采纳键值对的形式治理数据读写；

值得注意的是，通常 Redis 库与业务库是具备肯定的对应关系，例如订单业务库对应订单缓存库，并且不倡议订单业务库数据主体被写入其余缓存中，对立通过订单服务的接口拜访即可，保障各个微服务的数据独立性；

六、搜索引擎

当业务量大的时候，很难执行数据整体的条件检索机制，比方常见的外围业务数据、零碎产生的日志或者动作埋点数据；须要引入搜索引擎的能力，这就波及到业务库数据向 ElasticSearch 组件同步的过程；

不同的业务场景中，通常采纳不同的数据同步策略；针对即时性高的业务数据，通常数据入库后执行写入；日志数据量大且流程解耦较高，天然存在肯定的延时；剖析类的数据则基于定时工作拉取即可；不论什么数据门路，都要重点关注业务库和索引之间的数据结构和一致性问题；

七、音讯队列

音讯队列作为流程解耦的罕用组件，对音讯数据的生产和生产须要肯定的监控伎俩，简单的流程一旦中断，须要进行二次重试的话，则须要调度各种参数和音讯内容构造，来保障流程的最终完整性；

通常来说音讯队列解决的业务复杂性都很高，所以比拟考验流程设计的合理性，如果不对立治理音讯的生产和生产的门路，在微服务的架构下基于 MQ 做流程的分段解耦，如果呈现流程中断或者零碎异样的状况，都很难对相干逻辑做二次调度；

八、日志信息

日志作为零碎中的根底组件，记录的相干数据在日常开发保护的过程中非常重要，从数据的整体来看大抵分为零碎运行日志，通常基于 ELK 的形式，另外就是业务日志，须要具备业务语义，通常采纳 AOP 切面模式进行定制开发；

因为日志数据的体量很大，业务日志个别会寄存在独自的库内，并且同步到搜索引擎中，对于零碎运行日志则依照时段或者文件大小的策略间接写入搜索引擎；值得注意的是寄存日志数据的 ES 也须要独立部署，防止与外围的业务数据放在一起，当流量忽然增长时产生的日志数据会十分大；

九、文件治理

文件治理是零碎中的简单模块，因为波及 IO 流很容易引发内存问题，所以文件服务根本都会独立部署，鉴于文件数据失落很难找回的状况，通常会把文件存储到 OSS 云端，在文件服务中会记录各个文件的地址和形容以及业务利用场景；

因为文件的类型多种多样，比方：PDF、Excel、Word、Csv、Xml 等等，其数据处理的伎俩也各不相同，如果文件过大还须要切割分块，同时文件治理的过程须要很多约定的规定，比拟常见的就是大小限度，命名信息，类型与编码等；

十、继续集成

代码工程在版本的交付中，会产生多个分支和打包文件，继续集成的过程也波及多个文件仓库的保护治理，比方：Git 代码仓库、Maven 私有制品仓库、Docker 镜像仓库、脚本文件仓库等；通过 Jenkins 服务协调多个仓库实现流程自动化；

对于仓库存储的各种版本打包文件，微服务架构下存在不同服务依赖同一服务不同版本的状况，另外不排除新老版本的接口存在逻辑抵触问题，此时可能须要版本回滚，从新依赖原有的分支包，再寻求问题的解决方案；对于代码工程波及的相干存储根本都是应用第三方的云端仓库，在治理保护方面比较简单；

十一、参考源码

 利用仓库：https://gitee.com/cicadasmile/butte-flyer-parent

组件封装：https://gitee.com/cicadasmile/butte-frame-parent