如何应答大促流量洪峰？揭秘京东技术人的备战手册
又是一年 11.11，大促备战也如期而至，但往年 11.11 前的大长假给咱们备战的筹备带来了很大挑战。如何在工夫紧、工作重的状况下疾速让团队进入状态？如何梳理繁冗的零碎危险点、筹备资源？作为京东大促的技术基石，京东智联云是如何做到备战的传承和一直迭代优化的？本篇文章中就将为大家一一揭秘。
首先，咱们来回顾一下《大促前技术人的“备战”手册》，大促备战须要做好这八步——从资源评估到模仿压测、从预案整顿到线上演练，直至最终的大促复盘。
01、辨认保障范畴
所谓辨认保障范畴就是为大促流动确定大的边界范畴，整个团体的业务线成千上万条，哪些业务是这次大促外围链路上的业务，哪些是外围 0 级零碎，哪些是外围 1 级零碎？在大促备战开始之前须要明确边界范畴，明确要保障的业务优先级，能力更不便前面大促保障工作的开展。
02、业务量预估及预查看
例如一个业务拜访的网络流量预估是 10 Gbps，拜访 QPS 预估是 100w/ s 或者订单数预估每秒有多少万单等，基于评估的业务量就能够去评估整个业务链路上须要的资源量。比方负载均衡器带宽是否足够，应用服务器部署的实例数是否足够，缓存大小是否满足需要，数据库空间以及性能是否满足需要等。如果不够须要扩容的就能够提前进行扩容，如果整个资源池资源缓和，还须要发动洽购的就须要提前发动洽购，确保大促之前资源可能到位。
03、预案整顿
各个下层业务团队以及根底零碎团队都须要提前整顿好预案，尤其是外围预案。所谓外围预案就是大促期间能够疾速保命的预案，预案的解决准则要求尽量简略间接高效。如服务的高可用，在真正有异样时，预案可能就是主备切换。当然这种主备切换在很多零碎中是主动的，如云数据库 RDS。当零碎检测到主库宕机时会在几秒钟工夫内将从库晋升为主库，从而确保整个线上业务简直不受影响。除了这种主动切换外，咱们还须要做好兜底计划，万一主库因为某些非凡状况体现异样，心愿能够被动做一下主从切换时也能够人工在控制台一键切换。
▲图 1 京东智联云应用界面示意图▲
在预案整顿环节中，服务高可用是十分重要的局部 。 服务高可用能够分为几个级别：首先是 Region 级别的，如图 1 所示京东智联云上有提供华北 - 北京、华南 - 广州、华东 - 宿迁、华东 - 上海地区。Region 级别指的就是一个地区，通常是城市级别的，Region 下还会再分 AZ(Availability Zone, 可用区)，能够简略了解为一个 AZ 约等于一个独立的机房，比方京东智联云华北 - 北京这个 Region 下有可用区 A、可用区 B、可用区 C 三个独立的可用区。
对于重要业务如果有须要能够把重要的数据从北京同步到上海。像物流很多库房是散布在全国各地的，资源部署上也会在就近的 Region 部署相应的服务。每个零碎在同一个 Region 里部署的时候都须要思考跨 AZ 的状况，比方利用实例部署到云主机的时候须要跨 AZ 部署，确保一个 AZ 异样时另一个 AZ 的利用能够失常对外服务。申请云数据库或者云缓存等其余资源时，抉择跨 AZ 就能够间接创立出一个跨 AZ 的数据库或者缓存实例，当某个 AZ 异样时，能够平滑地切换到另一个 AZ，确保业务尽量不受影响。服务高可用个别是靠主备或者无状态的服务部署多份（跨 Region 或者跨 AZ）等来解决单点问题。依据场景不同，当出现异常时能够是主动切换的，也能够是人工在控制台进行切换。
除了服务高可用，预案整顿还有一个十分重要的局部是业务降级 。 所谓业务降级个别指当某个业务如果超过了其不能接受的范畴时，能够进行限定爱护，就义掉一部分业务流量从而保障至多有一部分是能够胜利拜访的。例如当某个用户拜访申请十分大时，能够将用户做肯定的限度，超过阈值时拜访将会失败，从而确保在整体资源无限的状况下其余失常申请的用户能够拜访胜利。甚至当失常的流量大到肯定水平当前也是须要有能力放弃一部分流量来保障其余大部分流量是失常的。
降级思路理论是贯通在整个业务链路中的，比方当利用实例部署很多时，每个利用实例的数据库连接池也是须要做好管制的。如果连接池过大很可能造成数据库压力太大，而站在数据库的角度天然也是须要做好最大链接数限度，确保即便利用实例的连接池配置得过大造成有数据库压力大的时候，数据库本身还是有能力爱护本人不被打趴下。这种贯通整个链路的降级爱护思路也能够了解为零碎间不信赖准则的体现，即任意的 A 服务（模块）去调用 B 服务（模块）时，尽管在外部理论开发的过程中，A 服务会尽量的去爱护 B 服务，但 B 永远是不信赖 A 的，B 须要依据本身的状况做好本人的爱护工作。
除了降级爱护以外，还有一类是弹性扩容预案， 个别资源扩容在大促之前就会全副扩容结束，坐等流量洪峰的到来。然而也不排除在大促中会呈现大量业务的流量超过了料想值，或者依赖的资源因为机器较老性能较差导致承接流量洪峰时压力较大的状况。尤其是当上游零碎的生产流量曾经往上游走的时候，上游压力比拟大，此时除了降级爱护以外还须要能疾速在线上扩容来满足整个生产流量往下走。在大促业务压力顶峰工夫点进行扩容在工程实际上来讲理论是一把双刃剑，对各级零碎的考验还是十分大的。大促这种有明确的工夫点预期以及压力预期的业务场景中，如果能够提前在业务低峰期做好适合的扩容筹备才是最现实的。
04&05、监控及报警梳理
监控是咱们看零碎的眼睛，是线上零碎的感知体系。如果监控没有做到位的话，整个零碎就是两眼一抹黑的状态，线上运行是否失常就全靠人品和运气了，整个零碎的运行就变成了玄学，所以做好系统监控是至关重要的。
监控和报警总是相辅相成的，监控是通过各种形式一直去观测整个零碎的各种指标，报警则是发现指标有异样时能够及时告诉到对应的值班人员及时染指解决。
监控能够分很多类别，最根本的是存活监控，我把它们称为如何活下来，也就是优先要保障是否活下来这个底线，存活监控个别包含 IP 存活 、 端口存活 、 服务存活 等，一个服务是死是活是须要能够明确感知的，如果服务宕机了，须要第一工夫能够检测到并发出报警，除了这些机器及服务层面的存活，还有整个 AZ(机房) 的存活，如果整个 AZ 出问题了，对整个业务的影响是什么，是否监控到是否发出报警等。
在活下来这个底线保住的状况下，第二类监控是解决如何活得更好的问题，比方 TP99 到了几秒，CPU 使用率是不是过高，内存占用比例是不是过大，磁盘 IO 压力是不是过低等。这类监控个别能够帮忙你疾速发现零碎压力，在零碎真正故障或者不可用前及时染指解决，确保整个零碎运行安稳。除了 CPU、内存、磁盘等通用指标的监控，实际上还会有很多带有较强业务属性的监控。比方某个工作如果长期处于中间状态，很可能是某个环节呈现了没有思考到的异样，这种就须要有专门的监控用于发现这种长期处于中间状态的工作。
06、业务压测及预案演练
当业务评估、监控报警、预案整顿都梳理完，下一步重要的事件就是将整个业务链路残缺串起来。例如某个业务预估订单量是 10w/s，那就须要采纳压测机器人模仿相当的业务量从源头开始压测，观测整个链路在压测过程中的监控指标变动状况。如果有异样要能及时报警，并按预案进行解决。这种残缺的业务链路压测代价其实是比拟大的，各个上下游零碎须要可能解决辨认出模仿压测的订单，确保压测产生的订单不会影响到线上生产的订单。
除了业务全链路压测以外，各个系统还须要依据各自零碎的特点进行演练，比方云数据库 RDS，在大促之前会对线上外围业务结构主库宕机等异常情况，观测零碎主动切换工夫以及线上业务的体现等，保障即便数据库产生异样也能够秒级主动切换，确保业务体现安稳。此外，数据库还会独自演练数据一键复原等性能，云数据库除了每天会做一个全量备份外，还会实时将增量备份上传到云存储(oss)，确保即便有异样，在云上也是能够一键将数据还原，解除下层利用的后顾之忧。
07、值班
京东大促备战的绝大部分工作，不论是业务评估、预案整顿、监控报警、业务压测还是预案演练都是后期筹备工作，当这些后期筹备工作做到位后，开门大促开始时反倒是从容的，须要做的就是做好值班工作。值班同学 24 小时无缝连接，确保线上报警能够第一工夫响应，如有异样按预案解决即可。
08、技术复盘
大促完结后，还有一个重要工作是大促复盘，团队一起回顾大促备战到大促完结的整个过程，扫视哪些是后续须要改良欠缺的中央，哪些是将来须要进一步增强的，为下一次大促做更久远的筹备。
介绍完经典的八步备战指南，再来看看这次 11.11 备战咱们又遇到了哪些挑战？
第一个挑战是资源需要。咱们先思考一个问题，在云没有被宽泛承受和利用之前，各个业务团队和技术团队是怎么的关系？之前京东的业务在没有上云之前，咱们的业务部门要提前好几个月开始备战，因为有大量的扩容需要，各团队为了机器须要付出大量的精力去和大家争抢无限的资源，同时波及机器洽购，周期也会很长，备战周期长而且无奈优化，陷入一个死结。
云能够解决这个问题吗？答案是 yes，这是因为云的背地有一套商业逻辑驱动，以前 IT 基础设施对于业务部门是老本核心，是辅助部门。然而云的世界里 IT 基础设施是商品，商品就有其商业行为去驱动，云依照商品去提供标准化的服务，获取对应的支出，业务依照本人的需要去购买对应的服务，同时通过账单和资源使用率严格控制老本，大家各取所需，造成良性循环。所以第一点要和大家分享的是举荐大家上云。同时咱们利用云的规模效应，将闲暇工夫以便宜价格售卖给渲染和须要大量计算然而对老本敏感、时效性要求不高的资源进步价格，回收给大促使用，从而满足泛滥客户的需要的同时大大提高云资源的利用率，升高所有用户的老本。
第二点，咱们要对业务零碎梳理，辨认出有危险的 0 级或者 1 级零碎。然而随着大家业务逐步上云，资源应用也越来越多，从几百到几千、上万，每个都核查一遍根本不事实，咱们疾速利用 Devops 零碎依照业务利用的角度疾速导出所有业务零碎的依赖项，依据零碎的等级标识和业务部门核查黄金流程里的 0 级零碎的需要和危险点，疾速实现扩容和调整，这种将京东大促等泛滥业务场景的需要积淀在咱们的零碎、流程和产品里的思维贯通在咱们所有产品的设计中。以此实现将来将备战逐步淡化掉，咱们的零碎随时能够应答大促。
第三个优化项是咱们近两年逐步引入的开门红，即 6.1 和 11.1，提前为前面更高的大促顶峰做一次实在的演练，这次咱们的开门红曾经超过了去年 11.11 大促的量，这对咱们验证后期筹备和为 11.11 的大促做了一次很好的实操，对于发现的问题要及时修复、超过预期峰值的要尽快扩容，以更好地护航 11.11 大促。
第四点，咱们引入协同理念。往年的黑天鹅疫情让大家越来越适应了近程沟通，协同办公的零碎也被越来越多的公司引进，甚至催生了多家独角兽，京东智联云的协同办公零碎，包含挪动化、邮件、在线文档等等，大大提高了咱们沟通和进度跟踪的效率。
大促备战是一个定频的行为，不能每次都从零开始，传承和积攒，以及一直迭代优化是咱们必须要保持的，只有这样能力一直优化咱们的流程和打造更合乎用户理论需要的产品。
举荐浏览：
- 2692 亿狂欢背地 只需这 8 步就可做好大促备战
- 大促流动如何抵挡大流量 DDos 攻打？
- 400% 存储容量增长背地的成长之路
欢送点击【京东智联云】，理解开发者社区
更多精彩技术实际与独家干货解析
欢送关注【京东智联云开发者】公众号