面对大促 DevOps 怎么做？这里有一份京东 11.11 DevOps 备战指南
往年 11.11，从 0 点到 23 点 59 分，京东 11.11 寰球酷爱季累计下单金额冲破 2715 亿元 ，发明了新的记录。随着 GMV 和买家数不断创新高，要应答几何级增长的大促须要跨多个团队协同，云资源应用也越来越多，从几百到几千、上万，每个都核查一遍根本不事实，京东智联云 DevOps 作为京东智联云的核心技术产品，能实现研发、测试、运维高效协同，晋升服务交付效率和稳定性，并能通过 服务与资源管理 、 继续交付 和 智能监控 三大利用场景，疾速发现问题 - 定位问题 - 解决问题。
▲京东智联云 DevOps 在 2019 年跻身 IDC MarketScape 中国 DevOps 云市场 ”Major Players” 地位▲
一、发现问题——故障无处遁形
监控是研发、运维人员的眼睛，对服务进行多维度平面的观测，能力确保故障呈现的时候第一时刻发现。京东智联云监控为用户提供如下倡议：
监控笼罩排查
京东智联云监控提供从_浏览器 -> 边缘节点（CDN）-> 负载平衡 –> 服务器_全链路的监控笼罩，通过定义监控规范，为用户增加监控，帮忙用户笼罩监控提供办法、工具上的反对。
监控规范分为四层，咱们从下往上看：
重点零碎在日常工作中往往曾经在平安方面进行了重点关注，在大促备战期间次要关注：
- _首先是根底监控，_这一层次要解决机器、网络层面的问题，包含咱们常见的 CPU、内存，机器死机等问题；
- _而后是存活性监控，_解决程序部署到机器上后，是否存活的问题，比方过程退出，端口发送一个 ping 过来，没有返回 pong；
- _再上一层，则是性能监控，_重点关注 Google 提出的四大黄金指标 pv、平响、错误码和容量等，解决分布式程序的定界问题（比方通过拜访 MySQL 的工夫飙升晓得是上游 MySQL 的问题）；
- _最上层是业务监控，_模仿用户进行拜访，解决服务在用户侧的体现是什么。
有了规范，设计的监控零碎就能依照规范来落地，能够给出一些数据化的经营指标，推动监控的欠缺。
基于对业务配置的指标采集、告警规定的剖析，帮忙用户分层级地发现监控配置当中的疏漏，揭示用户在各个层级配置监控，晋升监控覆盖度。
日常巡检
所谓 上工治未病。除去配置笼罩残缺的报警，及时排查服务的潜在危险，防止大促流量洪峰期间呈现服务质量的问题，日常巡检必不可少，京东智联云智能监控提供內建根底资源巡检大盘，帮忙用户疾速发现资源有余问题。
同时，京东智联云自研时序数据存储反对 OpenTSDB/Prometheus 协定，便于集成 Grafana 组件，不便用户自行定制大屏。除去时序数据指标，京东智联云还提供基于日志的实时指标提取计划，能够对接报警、展现。
定位问题
“
如果我有一小时援救地球，我会用 59 分钟界定问题，而后用 1 分钟解决它。
”
——爱因斯坦
当故障产生，定位问题的边界，疾速寻找根因是缩短整个故障解决 MTTR 的重中之重。京东智联云智能监控从“宏观”定界到“宏观”定位角度，通过联结事件、日志、利用异样多维度数据，帮忙用户缩短定位问题工夫。
事件追踪
故障往往由“流量降落”、“页面打不开了”等黑盒类检测发现，但问题的具体所在并不能通过此类告警发现。而故障产生往往与变更无关，帮忙业务人员疾速理解到故障时段，到底呈现过哪些模块的调整，来推断问题的边界就有很大的帮忙。
智能监控集成关联利用的各类变更操作，打消业务人员的信息屏障，为业务人员提供“上帝视角”，能够从宏观层面理解到以后各个子系统都在产生些什么，可能更好帮忙用户找到具体的故障起因以及故障故障模块。
日志追踪
在确认问题边界之后，接下来就是对具体故障起因的剖析了，京东智联云日志服务提供对服务日志订阅、检索、剖析等多方面性能。承载 PB 级日志业务，提供低成本、高性能的残缺解决方案。通过现场日志查看、以及日志剖析工作等性能，从“白盒”的角度观测业务以后正在呈现的异样。
排障利器 JEX
宏观层面，京东智联云监控团队推出自主研发的无侵入式的故障诊断平台 JEX，实时捕捉异样, 能够在线开启火焰图，捕捉 CPU/ 内存热点，行级别定位代码问题，大幅缩短研发人员排查故障工夫。通过集成 JEX，研发人员能够在第一工夫获取业务 Exception 的具体情景，JEX 能够保留异样事件产生的环境信息，不便研发复现以及定位代码问题所在。
二、解决问题
“
凡事预则立不预则废。
”
故障产生第一时刻应该执行止损操作，防止对线上业务造成继续的影响。京东智联云 DevOps 平台通过一直的压测、破坏性演练，保障了在历次大促期间安稳运行。通过对故障解决实际的一直总结凝练，京东智联云 DevOps 推出 预案平台 ，作为研发、运维同学的“手脚”，为业务方提供疾速止损的能力。咱们将预案分类为 流量解决 、 扩缩容 、 降级 、 数据恢复 、 主备切换 等几大维度，领导用户自流量入口到后端存储建设欠缺的预案体系。同时提供可主动执行以及可手工执行的预案，针对不同团队不同运维场景的故障止损操作。
预案平台提供 webhook、对接 DevOps 平台控制系统两种形式别离应答不同场景的故障自愈。
Webhook
京东智联云智能监控反对对告警配置增加 webhook 的模式来买通 故障的发现 到 解决 环节。用户能够定制本人的 webhook API，实现数据分析、故障解决、自行的音讯告诉等不同场景的扩大。
控制系统联动
智能监控预案平台通过间接对接 DevOps 控制系统，调用用户自行编写的脚本、在指定的服务器上进行止损操作，以此达到升高用户编写预案的老本。
三、总结
与市面通用型产品不同的是，京东智联云 DevOps 能力起源于本身的业务实际，针对京东团体的简单业务场景打造并禁受住屡次 618、11.11 电商大促的严峻考验，保障了高效高质的交付和对变动的灵便应答。
京东智联云 DevOps 平台与京东智联云的私有云平台深度集成，对用户运行在京东智联云上的零碎提供 对立的运维入口，晋升服务交付效率和稳定性，实现高效的自动化研发运维。 它不仅能将运维治理与企业组织构造相匹配，设置基于角色的权限治理，满足企业层次化运维治理；还能从保障用户业务稳定性的角度，主动为宕机服务器上运行的容器（云主机）从新迁徙并生成新的实例、保障业务不掉线、高牢靠运行，并主动监控服务衰弱状态、动静调整集群、实时调度相干预案、实现故障自愈。
举荐浏览：
- 11.11 备战指南之平安篇
- 11.11 备战指南之 PaaS 篇
- 2692 亿狂欢背地 只需这 8 步就可做好大促备战
欢送点击【京东智联云】，理解开发者社区
更多精彩技术实际与独家干货解析
欢送关注【京东智联云开发者】公众号