作者：京东科技 杜晓玉

前言

数据库，交易系统中最外围依赖，数据长久化属于最外围服务。

随着互联网的遍及，大流量高并发的场景越来越多，7*24的交易系统对高可用要求越来越高，同时在“数据为王”大环境下，交易数据最终通过数据库进行长久化存储，数据库成为整个零碎最终重要服务，不能出一点问题，尤其外围P0零碎哪怕霎时的DB操作异样可能造成大量异样交易，可能产生致命的问题，所以外围零碎弱依赖数据库都是必须思考的。

数据库弱依赖的整体思路：将最牢靠链路再减少上备用链路替换，解决方案次要通过其余存储介质+弥补机制替换同步的DB操作，预期成果：数据库呈现故障期间也能保证系统运行失常不影响线上业务发展。

本期介绍下实际过的三种解决方案：DB灾备机制计划、DB高并发替换计划、财产零碎弱依赖DB计划。

一、DB灾备机制计划

日常引发数据库操作出现异常的常见状况：网络链路异样、执行工单导致数据库性能降落、慢SQL导致数据库异样等，并且从发现问题到解决往往工夫不短，尤其外围交易链路都已无奈容忍短时间的异样故障，所以首先思考减少灾备机制，出现异常时间段内也要保障交易成功率，哪怕能够损失一点性能要求。DB灾备机制计划是2016年接触到并施行第一版弱依赖数据库计划。计划次要思路：DB操作故障时间段内，通过其余存储介质长期存储数据，并通过MQ异步弥补还原DB操作，达到最终数据一致性。

图1 DB灾备流程

具体革新点：

1.DB操作减少灾备解决逻辑，出现异常时将数据存储到缓存，并发送MQ，再通过生产MQ异步还原DB数据操作；

2.数据查问链路，必须反对先查缓存再查数据库，并且缩小内部查问申请；

3.数据库的DB操作性能十分好（毫秒级），灾备解决链路同步操作入缓存+MQ发送，整体性能耗时变高了，需正当设置MQ发送超时工夫，过后接入团队外部MQSender组件，解决发送失败后异步主动重发，晋升灾备解决链路的成功率，同时保障了MQ音讯无失落。

二、DB高并发替换计划

数据库的连接数是贵重且无限，但凡连贯数据库的零碎，不可能有限进行机器扩容反对流量的增长，同时数据库反对TPS也是有下限，例如Mysql5.6.x版本倡议最大500~1000之间，尤其对高性能和高并发的零碎来说，在高要求的性能指标下，数据库吞吐量成为撑持大流量的瓶颈，如果通过减少数据库服务器，老本往往也是无奈承当。

2018年有幸参加到P0外围交易系统的高可用降级我的项目，指标将交易系统tps晋升至2w以上，过后20台数据库物理机（单机单实例，Mysql版本5.6.x），在高性能指标要求下，零碎压测tps峰值最高可达到1~1.5w。为达成指标，同时思考资源老本，我的项目降级革新计划思路：通过缓存+MQ组合将数据库操作齐全异步化，同时利用MQ生产批量拉取策略，批量拉取数据进行DB批量操作，缩小数据库操作次数晋升效率。中间件抉择上充分利用缓存组件的高性能、高吞吐、反对连接数更大的劣势，保障了高性能同时也解决利用扩容问题。同时思考到MQ平台上部署其余利用topic影响发送性能，搭建独自独享MQ集群，保障MQ发送的性能要求，屡次大促期间MQ发送耗时tp999都小于50ms。中间件达到高性能要求后，将DB操作替换成同步入缓存+发送MQ，晋升交易链路吞吐量，压测后果也达到tps>2w+指标。

图2 DB高并发替换

具体革新点：

1.交易链路中DB操作全为insert，无update，满足了异步化后DB操作可进行批处理；

2.搭建独自MQ平台，保障了MQ发送性能，同时接入团队外部MQSender组件，解决发送失败的异步主动重发，保障整体链路的成功率；

3.缓存组件，自身具备高吞吐量并且可疾速扩容，异步化后交易链路吞吐量大幅晋升。同时缓存接入R2M、JIMDB双缓存，针对不同机房设置主从操作，例如金融机房同步主操作R2M，异步操作JIMDB，性能最优。双缓存机制避免单个缓存组件呈现故障后可疾速切换，保障整体链路成功率；

4.异步化后通过MQ生产还原DB操作，通过正当设置MQ拉取策略，批量进行DB操作，缩小DB操作晋升效率；同时减少异步化提早的UMP监控，监控从交易发动到异步入库残缺链路耗时，可直观异步化后MQ生产能力，便于动静调整；

5.缩小内部零碎的查问诉求，对立以交易实现音讯进行触达扭转，必要查问申请全副查缓存，上游要具备查问异样时重试机制。

三、财产零碎弱依赖DB计划

财产交易系统参考以上两版计划，并联合本身交易场景多、交易链路长、数据状态多状况。基于此设计出一版以流水数据驱动交易数据扭转的计划，大略思路：交易链路少变动，交易数据的DB操作不变动，减少直达层将交易链路DB操作转换为逐笔流水数据的长久化操作，再异步生产MQ还原交易数据的DB操作，通过将新增直达层做到弱依赖DB，达到整个交易链路弱依赖DB。联合零碎的流量现状，查问流量大交易流量TPS未达上万，当下次要指标增强交易链路的健壮性。

流水数据长久化的操作：并行执行DB入库、入缓存，二者其一操作胜利则间接返回胜利，并异步发送弥补操作的MQ，如果DB呈现故障期间缓存操作失常也可保证系统运行失常，不影响线上业务发展。例如生产场景的弱依赖DB革新，失常收到交易申请后，首先业务校验+防重幂等>创立订单>扣减用户份额>更新订单状态，将创立订单、更新订单状态的操作革新为创立两笔流水数据的操作，交易链路不进行大的革新前提下，通过将流水数据长久化做到弱依赖DB，这样交易过程中即便DB呈现故障时只有缓存组件失常运行即可保障生产交易失常实现，再通过异步生产MQ还原创立订单、更新订单的操作。计划落地后失去了很好的验证，曾经验过数据库因执行大的变更工单导致数据库呈现性能故障，生产交易链路不受影响，保障业务失常运行和用户体验。

图3 财产零碎弱依赖DB计划

具体革新点：

1.直达层流水数据长久化外围操作：并行执行DB的insert操作、入缓存，二者其一操作胜利则间接返回胜利，并异步发送弥补操作的MQ；

2.生产MQ异步还原交易库的DB操作时，通过数据中状态位保障MQ生产的程序执行；

3.流水库和缓存的双向同步，如果流水库或缓存呈现故障时，异步进行互相弥补存储，目前流水库存储全量流水数据。

4.交易链路次要革新两点：一、防重幂等以流水数据为准，流水数据查问是合并缓存和DB数据后返回；二、交易数据调用DB操作切换到创立流水数据的操作；

总结

以上数据库弱依赖的技术计划更实用于数据偏流水式的交易系统，随技术迭代和业务倒退，技术计划也层出不穷并一直迭代翻新，欢送大家跟咱们研发团队交换沟通，共同进步。