作者：比扬
01 客户介绍与我的项目背景
浙江极氪智能科技有限公司于 2021 年 3 月成立，2021 年 4 月公布极氪品牌及旗下首款产品——极氪 001。极氪是一家以智能化、数字化、数据驱动的智能出行科技公司，秉承用户型企业理念，聚焦智能电动出行前瞻技术的研发，构建科技生态圈与用户生态圈，以“共创极致体验的出行生存”为使命，从产品翻新、用户体验翻新到商业模式翻新，致力于为用户带来极致的出行体验。
截止 2023 年 4 月，极氪量产车交付曾经冲破 10 万辆，从 0 到 10 万辆，极氪用时仅两年，快于其余新权势品牌至多四年以上的工夫，继续刷新新权势品牌交付记录，这不仅是对“极氪速度”的展示，也是对“中国速度”最好的诠释。
为了保障好极氪汽车业务的疾速倒退和用户体验，技术团队除了放弃高效的性能迭代的同时，也在一直的夯实其零碎稳定性和应急响应能力。自 2023 年开始，大数据团队正试点推广面向极数 BI 业务的数字化稳定性治理建设。
极数 BI 是一款面向极氪经营治理全体系的可视化数据分析系统，已笼罩多个外围业务场景。极数 BI 不仅仅是一个报表工具，还提供了全域数据互联互通、智能化数据分析和全景数据可视化的性能，能够为其余业务“产生了什么、为什么产生、将要产生什么、如何应答”提供欠缺的数据撑持和辅助决策能力。突破数字鸿沟，发明数据价值，逐渐实现全业务域的经营过程观测与经营后果出现是极数 BI 的倒退指标。
为保障极数 BI 的数字化稳定性治理建设落地，极氪通过建设端到端的全链路可观测体系、企业级应急响应机制和跨部门团队的人员协同机制，以业务连续性保障为指标，实现了极数 BI 业务的“X 分钟的故障发现与通报”、“X 分钟的应急响应与故障定位”、“X 分钟的故障复原”外围稳定性指标的达成。
02 我的项目落地时面临的挑战和需要
云原生浪潮下，Serverless 因其全托管免运维、老本升高和弹性伸缩等个性正逐渐在引领下一代的利用架构。极数 BI 业务从立项之初就确定了 Serverless 化的方向，并基于阿里云 Serverless 利用引擎（SAE）胜利落地。利用 Serverless 化最大化限度加重了运维工作，然而在本身业务的数字化稳定性治理方面仍然面临较大挑战：
如何笼罩和收敛从基础设施到业务利用监控的全链路告警事件
从前台业务数据、用户体验，到后盾应用服务性能，再到云服务及根底资源，即系统资源层、云服务应用层、业务监控层，尽管针对不同的服务模块都有对应监控，构建了绝对欠缺的指标监控体系，但因为微服务化后的服务模块泛滥、依赖简单，很有可能因为某个组件的异样或不可用导致整条链路产生大量冗余告警，造成告警风暴，从而造成运维团队疲于应酬海量告警信息，并且非常容易脱漏真正用于故障排查的重要音讯。因而，针对海量继续告警信息，如何进行告警合并，在保障不错过外围告警音讯的前提下克制告警音讯数量，成为了面临的重要运维难题。
如何构建对立的报警体系、通报机制和跨团队应急协同机制
系统资源层、云服务应用层、业务监控层，为了监控这些简单的 IT 环境，因为各层资源分属不同的团队进行治理，导致采纳了多种监控零碎，例如 Prometheus、Grafana、Skywalking、阿里云云监控、阿里云 ARMS 等，以获取更全面的监控数据和更好的理解运行状态和性能体现。然而多种监控零碎的并存带来的其中一个显著问题是告警信息的扩散，不同的监控零碎产生不同的告警信息，通过不统一的形式通报给告警解决人，而告警的排查通常须要多个团队独特单干进行解决，犬牙交错的告警解决减少了人员响应的复杂性和工作量，疲于应酬的水平往往远超出了告警解决人员的日常负荷。
如何标准故障等级定义、应急处理流程和故障管理体系
业务可用率是一套业务系统可靠性、维修性和培修保障性的综合反映。Availability = MTBF / (MTBF + MTTR)，通常业界习惯用 N 个 9 来表征零碎可用性，比方 99.9%（3-9 availability），99.999%（5-9 availability），零碎呈现故障的停机工夫间接反映了业务可用率。如何定义一套实用于极氪本身业务的故障等级定义、应急处理流程和故障管理体系将是保障极氪对外承诺的业务可用率的重要撑持伎俩。通过建设一个可遵循的标准、全流程闭环的故障管理体系，配合技术手段的晋升，能够无效升高故障产生的几率，缩短故障的 MTTR，最终使故障造成的破坏性趋近于 0。
如何无效度量业务稳定性指标和应急响应 SLA
如何查看过来一段时间零碎产生了哪些告警，哪类告警占比拟高；制订了值班机制，但无奈掂量值班人员告警解决的效率，如何确保值班机制的执行成果；一个服务在多个零碎中配置了多个告警，无奈从服务的维度来查看告警的解决效率，查看服务的 SLA；在针对性的系统优化后告警占比是否升高，告警的持续时间占比是否失去改善。这些都是在日常运维过程中掂量告警的解决效率和服务的稳定性面临的典型问题。这些重要数据都须要欠缺的数据报表和对立的大盘来出现。
03 基于 ARMS 的企业级应急响应解决方案
针对上述面临的问题和挑战，阿里云云原生可观测团队与大数据团队通过多轮沟通对焦，通力合作独特输入了基于 ARMS 构建企业级应急响应体系的最佳实际，并胜利在极数 BI 业务中落地，实现了全业务、全场景的监控和告警。同时全面晋升了监控的覆盖率和告警有效率，其中依照极氪现行推广的应急响应机制，全团队事件接手率显著晋升，告警均匀认领耗时（MTTA）大幅升高，告警均匀复原耗时（MTTR）显著缩短，跨团队协同效率失去无效晋升。
以下重点介绍下整体计划中围绕“告警、接手”两项落地的“以事件为核心的告警全生命周期治理”解决方案。
采纳 ARMS 智能告警建设对立的告警事件管理中心
极氪技术团队依据本身业务属性应用了多种监控零碎，例如阿里云利用监控 ARMS、阿里云日志服务 SLS、Zabbix、Prometheus、Grafana 和自定义告警集成等，为了简化联系人、告诉形式、值班等运维配置；对立告警信息格局、告警等级定义和告警事件的对立治理，极氪采纳了 ARMS 智能告警作为多告警源对立治理的事件管理中心。ARMS 智能告警设计的集成、事件处理流、告诉策略等性能专门针对告警对立治理的场景，解决了对立治理过程中遇到的诸多问题。
1）接入不同格局的告警。
ARMS 智能告警参考开源 Prometheus 告警定义，应用一个半结构化的数据结构来形容告警。通过高度可扩大的键值对来形容告警，这样就能够非常灵活的对告警内容进行扩大从而接入不同的数据源产生的告警。通过告警集成的字段映射能力，即可将自定义的告警内容中的要害信息映射到 ARMS 告警数据结构中。同时也提供了多种监控工具的快捷接入能力，像极氪这边应用的阿里云利用监控 ARMS、阿里云日志服务 SLS、Zabbix、Prometheus、Grafana 等均已笼罩。
2）告警等级对立定义。
依据影响面的不同、业务受损水平的不同，个别须要定义不同的告警等级，告警解决人员须要依据不同的告警等级执行不同的应急处理过程。依照极氪的故障等级标准，配置告警时依据业务状况将告警归一到 P0、P1、P2、P3 四个等级。
3）事件和告警的归一化治理。
多告警事件源通过集成的形式对立到 ARMS 智能告警，通过对立的事件处理流、告诉策略、告诉对象、降级策略等对告警事件进行归一化治理。一份告诉对象、一套告诉策略、统一的告警管理模式，满足极氪对立的告警事件核心需要。
基于极氪应用的企业微信建设便捷高效的 ChatOps 掌上运维能力
ChatOps 是一种集成了聊天和自动化工具的合作办法和文化，旨在进步团队的合作效率和可见性。ChatOps 的指标是进步工作流程的效率和可见性，并促成团队成员之间的合作和沟通。极氪外部应用企业微信作为办公协同工具，ARMS 智能告警反对对接企业微信，通过创立企业微信机器人，即可在告诉策略中指定对应的企业微信群用于接管告警，相干告警信息仅在企业微信的极氪外部企业组织内流转。当告诉策略的匹配规定被触发时，零碎会主动向指定的企业微信群发送告警告诉。企业微信群收到告诉后，便能够随时随地在企业微信群中对告警进行治理。
当告警以卡片的模式发送到 IM 群聊中，能够通过勘误卡片的款式来增加一组操作进行告警的解决。通过 IM 的告警卡片即可便捷进行告警的全生命周期治理：
1）认领告警。 通过认领告警的音讯播送能够让群成员之间明确的晓得以后告警是谁在解决。
2）屏蔽告警。 有些告警触发属于预期内的行为，且不会造成业务影响，然而又不能间接敞开告警。这种状况下能够通过屏蔽告警来升高告警告诉的打搅。
3）关注告警。 关注告警后，会将被关注告警的状态变更以短信的模式推送给关注人。对于重大故障的状况下，团队负责人能够通过关注告警的能力实时订阅关注告警解决的停顿，从而为指挥决策提供数据撑持。
4）解决告警。 敞开告警并在群聊中发送一个告警敞开的告诉，被敞开的告警状态会变成已复原。
同时为了不便极氪告警值班人员疾速知悉告警通告状况，避免群音讯过多被疏忽，告警告诉反对在告警告诉群中 @指定解决人。通过将告警解决人增加为 ARMS 联系人、告诉策略中配置的告诉对象和绑定解决人手机号雷同即可实现告警告诉时依据排班状况 @值班人员。
源于 ITIL 理念且实用于极氪组织架构和业务属性的事件管理体系
大数据团队目前正在极数 BI 业务推广的数字化稳定性治理机制最外围的局部就是构建一套标准规范的事件治理流程。流程上蕴含告警发现、告警通报、告警响应 / 接手、告警定位、指挥决策、告警复原、故障复盘和继续改良。从人员组织上包含运维团队、告警值班人员、告警处理技术人员、应急指挥人员等。当告警触发接管到通报后，告警值班人员须要迅速建设针对告警关联团队的高效协同渠道，故障应急启动后。技术同学须要尽快实现签到，同时同步进行故障疾速止血、根因定位排查、信息同步，如果在预期工夫内未接手签到，告警告诉将逐渐降级。运维团队和应急指挥人员要负责兼顾收集相干数据并同步影响面、解决停顿和复原停顿，定时播报，更新告警解决状况。
1）排班治理
ARMS 智能治理提供排班治理性能，告警告诉能够依照运维人员的值班工夫设置告警发送的排班表，再通过告诉策略将告警告诉以电话、短信、邮件或企微音讯的形式发送至对应的值班人员，而不会打扰到非值班工夫的运维人员。告警值班人员再依据事件治理规范流程进行告警接手和处理。
2）告诉策略
通过设置告诉策略，能够制订针对告警事件的匹配规定。当匹配规定被触发时，零碎会以指定的告诉形式向告诉对象发送告警信息，以揭示告诉对象采取必要的问题解决措施。告诉策略中能够抉择排班表，匹配到告诉策略的事件将会依照排班表中的人员进行告警通报。为了保障告警的接手率，避免值班人员脱漏告警，还能够在配置反复告诉策略，当告警未复原时，告警会以设置的反复频率循环发送告警信息直至告警复原。
另外极氪的事件治理流程规定告警必须值班人员干涉和接手，哪怕告警曾经主动复原。ARMS 智能告警提供了告警手动复原的能力，当告警事件在告警集成中设置的主动复原工夫内都没有再触发，告警不会主动复原，必须人工干预调整状态。满足极氪对值班人员接手率考核和度量的要求。
3）降级策略
对于长期未解决的告警，能够抉择降级告诉来揭示值班人员及时解决。在告诉策略中增加降级策略后，零碎会以指定的告诉形式向解决人发送告警信息，以揭示解决人采取必要的问题解决措施。极氪的事件治理流程规定长期未处理的告警须要进行两层降级，一层到业务部门主管，再一层到应急指挥主管。通过这种形式也是为了尽可能进步告警接手率，升高告警解决和复原时长。
灵便、自定义的 ARMS Grafana 应急响应数据大盘
如果没有数据报告和继续经营，那么对现状的理解就会充斥了含糊和不确定性，事件治理对整体业务的晋升就没法落到实处。主观的数据尽管不能代替沟通和察看，然而通过数据共享和信息的可视化，可能无效的促成共识的达成，大家都可能独特的看到和理解数据变动和现状，促成相互协作。ARMS 智能告警默认提供历史告警总览和告警解决效率两张数据大盘，大盘提供了告警统计、告警趋势、MTTx 指标、人员效率等一系列告警度量数据，这些数据存储在默认的 Prometheus 实例中。极氪则依据本身运维诉求基于原始数据在 ARMS Grafana 服务中配置了自定义的应急响应度量大盘，包含值班状态、告警概览、告警接手状况和 MTTx 指标等，帮忙运维团队可能实时理解业务告警状态及应急处理状况，大幅晋升了应急响应效率。
图：测试数据大盘示意图
04 后续单干的方向和布局
极氪全业务推广的数字化稳定性治理正在热火朝天的进行着，整体应急响应效率失去大幅晋升的同时，也开掘了更多的可能进一步晋升效率的需要点，阿里云云原生可观测团队将持续跟大数据团队在晋升告警规定配置效率和进一步缩短告警复原工夫上深度单干共建。
近期 ARMS 智能告警新公布的动态阈值举荐、告警数预测、区间检测和告警规定测试等能力将借助智能化的伎俩帮忙极氪进一步晋升告警规定配置效率。同时 ARMS 智能告警新增反对口头集成，提供函数计算 FC 和自定义 Webhook 的口头集成能力，基于口头集成提供的可执行的工作可能作为告警疾速止血的预案，对于具备确定性特色的告警，可能提供疾速的止血复原伎俩，能够无效缩短理论的告警复原时长。
业务零碎的稳定性和应急响应效率，是品牌口碑和用户体验的基石，阿里云将坚韧不拔的为客户提供极致“稳固、平安、性能、老本”的产品和计划，助力客户业务再攀顶峰。
目前， 利用实时监控服务 ARMS 提供 15 天专家版收费试用， 助力企业疾速构建可观测体系。
点击此处，立刻支付收费额度。