共计 2683 个字符，预计需要花费 7 分钟才能阅读完成。
作者：京东科技 杜晓玉
前言
数据库，交易系统中最外围依赖，数据长久化属于最外围服务。
随着互联网的遍及，大流量高并发的场景越来越多，7*24 的交易系统对高可用要求越来越高，同时在“数据为王”大环境下，交易数据最终通过数据库进行长久化存储，数据库成为整个零碎最终重要服务，不能出一点问题，尤其外围 P0 零碎哪怕霎时的 DB 操作异样可能造成大量异样交易，可能产生致命的问题，所以外围零碎弱依赖数据库都是必须思考的。
数据库弱依赖的整体思路：将最牢靠链路再减少上备用链路替换，解决方案次要通过其余存储介质 + 弥补机制替换同步的 DB 操作，预期成果：数据库呈现故障期间也能保证系统运行失常不影响线上业务发展。
本期介绍下实际过的三种解决方案：DB 灾备机制计划、DB 高并发替换计划、财产零碎弱依赖 DB 计划。
一、DB 灾备机制计划
日常引发数据库操作出现异常的常见状况：网络链路异样、执行工单导致数据库性能降落、慢 SQL 导致数据库异样等，并且从发现问题到解决往往工夫不短，尤其外围交易链路都已无奈容忍短时间的异样故障，所以首先思考减少灾备机制，出现异常时间段内也要保障交易成功率，哪怕能够损失一点性能要求。DB 灾备机制计划是 2016 年接触到并施行第一版弱依赖数据库计划。计划次要思路：DB 操作故障时间段内，通过其余存储介质长期存储数据，并通过 MQ 异步弥补还原 DB 操作，达到最终数据一致性。
图 1 DB 灾备流程
具体革新点：
1.DB 操作减少灾备解决逻辑，出现异常时将数据存储到缓存，并发送 MQ，再通过生产 MQ 异步还原 DB 数据操作；
2. 数据查问链路，必须反对先查缓存再查数据库，并且缩小内部查问申请；
3. 数据库的 DB 操作性能十分好（毫秒级），灾备解决链路同步操作入缓存 +MQ 发送，整体性能耗时变高了，需正当设置 MQ 发送超时工夫，过后接入团队外部 MQSender 组件，解决发送失败后异步主动重发，晋升灾备解决链路的成功率，同时保障了 MQ 音讯无失落。
二、DB 高并发替换计划
数据库的连接数是贵重且无限，但凡连贯数据库的零碎，不可能有限进行机器扩容反对流量的增长，同时数据库反对 TPS 也是有下限，例如 Mysql5.6.x 版本倡议最大 500~1000 之间，尤其对高性能和高并发的零碎来说，在高要求的性能指标下，数据库吞吐量成为撑持大流量的瓶颈，如果通过减少数据库服务器，老本往往也是无奈承当。
2018 年有幸参加到 P0 外围交易系统的高可用降级我的项目，指标将交易系统 tps 晋升至 2w 以上，过后 20 台数据库物理机（单机单实例，Mysql 版本 5.6.x），在高性能指标要求下，零碎压测 tps 峰值最高可达到 1~1.5w。为达成指标，同时思考资源老本，我的项目降级革新计划思路：通过缓存 +MQ 组合将数据库操作齐全异步化，同时利用 MQ 生产批量拉取策略，批量拉取数据进行 DB 批量操作，缩小数据库操作次数晋升效率。中间件抉择上充分利用缓存组件的高性能、高吞吐、反对连接数更大的劣势，保障了高性能同时也解决利用扩容问题。同时思考到 MQ 平台上部署其余利用 topic 影响发送性能，搭建独自独享 MQ 集群，保障 MQ 发送的性能要求，屡次大促期间 MQ 发送耗时 tp999 都小于 50ms。中间件达到高性能要求后，将 DB 操作替换成同步入缓存 + 发送 MQ，晋升交易链路吞吐量，压测后果也达到 tps>2w+ 指标。
图 2 DB 高并发替换
具体革新点：
1. 交易链路中 DB 操作全为 insert，无 update，满足了异步化后 DB 操作可进行批处理；
2. 搭建独自 MQ 平台，保障了 MQ 发送性能，同时接入团队外部 MQSender 组件，解决发送失败的异步主动重发，保障整体链路的成功率；
3. 缓存组件，自身具备高吞吐量并且可疾速扩容，异步化后交易链路吞吐量大幅晋升。同时缓存接入 R2M、JIMDB 双缓存，针对不同机房设置主从操作，例如金融机房同步主操作 R2M，异步操作 JIMDB，性能最优。双缓存机制避免单个缓存组件呈现故障后可疾速切换，保障整体链路成功率；
4. 异步化后通过 MQ 生产还原 DB 操作，通过正当设置 MQ 拉取策略，批量进行 DB 操作，缩小 DB 操作晋升效率；同时减少异步化提早的 UMP 监控，监控从交易发动到异步入库残缺链路耗时，可直观异步化后 MQ 生产能力，便于动静调整；
5. 缩小内部零碎的查问诉求，对立以交易实现音讯进行触达扭转，必要查问申请全副查缓存，上游要具备查问异样时重试机制。
三、财产零碎弱依赖 DB 计划
财产交易系统参考以上两版计划，并联合本身交易场景多、交易链路长、数据状态多状况。基于此设计出一版以流水数据驱动交易数据扭转的计划，大略思路：交易链路少变动，交易数据的 DB 操作不变动，减少直达层将交易链路 DB 操作转换为逐笔流水数据的长久化操作，再异步生产 MQ 还原交易数据的 DB 操作，通过将新增直达层做到弱依赖 DB，达到整个交易链路弱依赖 DB。联合零碎的流量现状，查问流量大交易流量 TPS 未达上万，当下次要指标增强交易链路的健壮性。
流水数据长久化的操作：并行执行 DB 入库、入缓存，二者其一操作胜利则间接返回胜利，并异步发送弥补操作的 MQ，如果 DB 呈现故障期间缓存操作失常也可保证系统运行失常，不影响线上业务发展。例如生产场景的弱依赖 DB 革新，失常收到交易申请后，首先业务校验 + 防重幂等 > 创立订单 > 扣减用户份额 > 更新订单状态，将创立订单、更新订单状态的操作革新为创立两笔流水数据的操作，交易链路不进行大的革新前提下，通过将流水数据长久化做到弱依赖 DB，这样交易过程中即便 DB 呈现故障时只有缓存组件失常运行即可保障生产交易失常实现，再通过异步生产 MQ 还原创立订单、更新订单的操作。计划落地后失去了很好的验证，曾经验过数据库因执行大的变更工单导致数据库呈现性能故障，生产交易链路不受影响，保障业务失常运行和用户体验。
图 3 财产零碎弱依赖 DB 计划
具体革新点：
1. 直达层流水数据长久化外围操作：并行执行 DB 的 insert 操作、入缓存，二者其一操作胜利则间接返回胜利，并异步发送弥补操作的 MQ；
2. 生产 MQ 异步还原交易库的 DB 操作时，通过数据中状态位保障 MQ 生产的程序执行；
3. 流水库和缓存的双向同步，如果流水库或缓存呈现故障时，异步进行互相弥补存储，目前流水库存储全量流水数据。
4. 交易链路次要革新两点：一、防重幂等以流水数据为准，流水数据查问是合并缓存和 DB 数据后返回；二、交易数据调用 DB 操作切换到创立流水数据的操作；
总结
以上数据库弱依赖的技术计划更实用于数据偏流水式的交易系统，随技术迭代和业务倒退，技术计划也层出不穷并一直迭代翻新，欢送大家跟咱们研发团队交换沟通，共同进步。
