关于阿里云:阿里智能运维实践｜阿里巴巴DevOps实践指南

编者按：本文源自阿里云云效团队出品的《阿里巴巴 DevOps 实际指南》，扫描上方二维码或返回：https://developer.aliyun.com/…，下载完整版电子书，理解阿里十年 DevOps 实践经验。

阿里巴巴的运维团队致力于打造无人值守的运维平台，用智能化推动高效率、低成本的利用运维。智能运维是运维平台实现信息化和数字化之后的天然倒退，利用扎实的技术根底，把机器学习、优化算法和各个业余畛域方面的常识完满联合起来，针对具体运维场景提供令人满意的解决方案。

智能运维（AIOps）是依靠于阿里巴巴 DevOps 教训积淀而来的智能化运维平台，通过运维大数据的积攒，以及算法团队多种算法的校对，咱们将运维晋升到新的高度，通过 AI 来帮咱们查看数据、判断异样、决策运维操作，造成监、管、控一体化的运维平台。

运维体系面临的挑战

DevOps 运维时代，阿里巴巴运维体系面临如下挑战：

第一，规模化。阿里巴巴的基础设施规模呈指数级增长，在服务器数量是千级别、万级别的时候还勉强能够通过人为操作来运维，但倒退到百万级别的时候，任何一个步骤依赖纯人为操作都是不事实的。服务器规模百万级的时候，如何保障整体运维平安、高效的进行是第一个挑战。

第二，高简单。阿里巴巴业务的多样性及高速倒退也对系统稳定性提出了更高的要求，对运维体系带来更大的挑战。已经咱们考核零碎可用率 7 个 9，存储方面达到 6 个 9 就很好，然而盒马鲜生这样的业务是要求 100% 可用。作为线下业务，在盒马店有半小时不能领取是无奈承受。咱们要从全链路视角登程，关注每个环节的稳定性建设。

第三，老本优化。老本是门槛，做不到肯定的门槛，进入这个市场的机会都没有。除了固定资产投入，经营老本也是很重要的一部分。利用技术进行流程优化，升高各个局部的老本，是进步业务的外围竞争力的要害。

第四，平安。云计算最关怀的是平安。零碎越来越大，变动越来越快，所面临的外部和内部的危险也越来越大。每天有数变更降级同时进行，如何在零碎变更时保持稳定，是须要面对的另一个微小挑战。

阿里巴巴基础设施的体量和复杂性，显然都超过了人脑的解决能力，须要从新的视角，利用机器智能来解决这些简单的问题。

智能运维实际

基于下面的挑战，咱们在阿里巴巴团体各个业务场景落地了无人值守公布、无人染指运维的解决方案。

无人值守公布 (Unmanned Deploy)

全新一代公布平台反对滚动、蓝绿、金丝雀等多种公布模式。通过算法，机器学习办法对利用公布过程进行异样检测，从而防止因为代码变更导致的故障。基于大量监控数据、日志数据的积攒，并有算法的加持，咱们推出了无人值守公布零碎。

无人值守公布 riskfree 零碎上线以来，从摸索到实现再到优化经验了将近三年的工夫。目前业务范围定义在利用公布时故障预防。接入无人值守公布的利用在提交公布单后，零碎会对整个公布过程中的监控数据进行剖析，如果有异样会主动暂停公布，并提醒异样指标和拦挡起因，开发确认有问题则能够抉择敞开或回滚，没有问题则持续公布。

线上公布之痛

以往线上公布的时候，工程师们个别做了如下“精心”工作：

• 公布前
  测试人员对代码进行全方位的单元测试、集成测试，如果发现 Bug，会让开发人员返工。这里有两个问题：第一，有些业务团队因为人员问题，基本就没有测试人员，本人既是开发也是测试；第二，不是所有的 Bug 都能通过测试发现，不免有漏网之鱼。
• 公布中
  进行预发、灰度、分批公布、金丝雀公布。在每一个环境迟缓公布过程中，要到监控平台，查看各个监控，甚至登录到机器上“刷”日志，通过本人的“火眼金睛”，冀望能在泛滥的日志中，找到某个非凡模式的异样日志；另外，如果是多方依赖的利用，还要查看上下游的利用监控有没有问题。
• 公布后
  检查一下利用的机器是否都失常启动，将失败的机器下线或者置换掉，看看故障零碎有没有报警，看看上下游团队有没有“叫”起来，如果有，得马上回滚。总之，这个过程是既耗时又耗力，而且还不能保障没有漏掉一处细节，并且不同公布人员的教训不一样，生手和老手对一个公布的稳定性保障水平有微小差异。

咱们的解法

咱们设计了一套无人值守公布零碎

零碎分为两大部分：

1. 在线剖析，无人值守公布零碎会对系统监控、业务监控、日志监控、调用链路等维度进行异样检测，检测到异样后，会对公布单进行拦挡或回滚。当用户认为无异样时，会进行反馈，持续公布。
2. 离线剖析，在第一步中用户反馈后，这个反馈数据对咱们的算法十分有用，能够对咱们的算法进行主动的调整。当反馈数据积攒一段时间之后，异样检测的准确率就十分高。

算法平台

在公布的过程中，零碎会采集各个监控源的数据，对数据的采集、荡涤、存储要求很高，咱们设计了算法平台来承接各个平台的数据源、算法检测、算法验证、算法上线等流程，零碎架构如下图所示。

次要蕴含三大部分：

数据采集存储：对各个监控数据源的数据进行采集，蕴含系统监控、业务监控、中间件监控、日志监控、数据库监控、云监控等。数据采集后，依据不同数据的个性，存在时序数据库或者关系数据库中。
算法后果存储：对于每次检测的后果都会进行存储，以不便后果排查和成果评估。
数据打标：对每次异样检测后果，都能够打标，利用打标数据来从新训练算法，造成正向循环，检测的后果也能够通过邮件、钉钉实时告诉给发布者，且能够主动对接后面介绍的运维编排自愈流程，比方，将异样的机器间接主动置换掉。

智能算法

在下面的算法平台中，咱们设计了泛滥异样检测算法。异样检测在无人值守公布零碎中有着无足轻重的位置，次要分为三个局部：

1. 数据采集：咱们综合了各个维度的监控数据、调用链路剖析等，在观测的广度上是人工盯屏所不能相比的。
2. 异样检测：咱们精心调校的异样检测算法，齐全不依赖于传统的基于阈值、3Sigma 等检测算法，全副主动断定，泛化能力好，反对单指标检测、多指标检测、前后比照检测、已公布未公布比照检测等多种模式，检测算法蕴含 ArimaKSigma、BoxplotDetect 办法（Tukey 办法）、GrubbsTest 办法、Donat 等。
3. 排除失常稳定：通过历史数据、用户反馈数据，精准过滤失常的稳定，让用户失去精准的异样检测后果，示意图如下：

实际成果

无人值守公布自上线以来，笼罩了阿里巴巴团体所有的利用公布过程，为公布的平安稳固保驾护航，异样检测后果如下图所示：

至此，接入无人值守公布后，开发能够在点击公布后专一别的事件，不须要时时关注公布过程。如果公布过程出现异常，零碎会通过钉钉音讯、邮件告诉到开发，再染指即可，如果过程是机器异样则主动替换异样机器，开发无需人工染指，公布将持续。

简略总结一下，无人值守公布是一个智能化变更故障检测和异样举荐零碎。通过对变更执行过程中的多维度监控数据进行剖析，判断以后变更是否会造成故障，在公布出现异常的状况下进行拦挡和智能举荐。

无人染指运维 -ChatOps (Unmanned Operations)

日常运维有很多类别，目前咱们专一于其中两类运维工作的“无人染指”：1. 用户接到告警或事件而发动的运维操作；2. 日常运维答疑或征询。

针对第一种状况，通过“运维诊断”，给利用来一次 360 度全方位“体检”，找到异样点并一键修复；针对第二种状况咱们公布了 ChatOps 机器人来增强 DevOps 之间沟通与单干，帮忙研发实现一些“脏活”、“累活”、“机械式”工作，指标是达到“0”人工染指的征询和答疑。

ChatOps 简介

运维小蜜(简称“维蜜”)，是 chatbot 在运维畛域的实际，也是 ChatOps 的具体实现，是 DevOps 的重要工具。维蜜的定位是面向利用的智能 DevOps 服务助理，那么摊开来讲：

• 面向利用：将利用的开发、测试、运维的同学集合起来，增强沟通与单干，缩短产品上线工夫，升高人力老本，在产品呈现问题时可能疾速检测并修复，缩小甚至毁灭产品服务中断可能性，保障开发和运维的同学时刻处于同一个上下文中，时刻理解利用所处的状态。
• DevOps：强调疾速迭代，继续交付，力求信息共享、技术学习与单干、放慢信息反馈周期。
• 智能：了解用户输出的指令，依据命令槽位的元信息和用户本身的信息确定命令各个参数的值，通过自然语言解决和了解用户指令。

维蜜就是心愿通过一触即达，秒级响应的体验，把服务做到极致，让研发、测试、运维同学幸福地工作，是咱们的终极目标。

ChatOps 劣势

咱们再来看运维小蜜有哪些价值：

第一，从员工集体的角度来看，可能晋升员工的工作效率。运维小蜜能够帮忙用户解决简略、反复、干燥的工作，例如日志查看、命令执行、开关报警、查看机器状态、查看监控、运维事件推送等。

第二，从团队沟通的角度来看，可能升高合作老本。在团队外部，ChatOps 是一种通明、单干、会话驱动的开发模式，群里所有人都晓得 what/when happening & who/how fixing it，也就实现了事件产生场景残缺、通明，事件解决过程共享、可查问、可记录，便于其他同学对同类事件处理的学习参考，即所谓“Teachby doing”。

ChatOps 也是一种会话驱动的运维模式，通过聊天机器人对接各种零碎后盾，将软件开发、交付过程中波及的开发、测试、运维人员、工具、环境、自动化过程等串联起来，使得聊天室里的所有人可能围绕某个特定话题进行信息共享、技术学习与单干，放慢利用的测试、公布、监控、诊断，整个工作的开展全员可见。

运维机器人带来的益处包含：

1. 不便，把很多零碎的罕用操作聚合到机器，就不必登陆多个零碎找信息。
2. 合作，事件产生的全副信息推送至聊天室，所有成员均可能理解你这儿产生了什么。
3. 疾速，定位问题时，可能让大家都看到所有的信息，不用让每个人反复的搜寻材料。

ChatOps 实现

咱们再来看运维小蜜的实现架构图：

次要蕴含三个模块, 别离是 dialogue manager、nlp tools 和 intent dispatcher manager。其中 dialogue manager 用于判断用户的 utterance 的用意是什么, 是发动一轮新的对话还是承接下面已有的用意, 它调用 nlp tools 的处理器辅助判断。intent dispatcher manager 负责对接具体的业务零碎, dialogue manager 解决后的后果传到它调用具体的业务逻辑触发工作的执行。

ChatOps 实际

咱们再来看运维小蜜在阿里巴巴团体的几个落地场景：

1、智能问答

2、查问利用的监控信息

3、机器置换

总之，ChatOps 能够帮忙咱们晋升开发效率，晋升开发幸福感。

总结

随着智能化算法的成熟和大量运维数据的积攒，智能化在运维场景的落地也会越来越多，阿里巴巴运维从阿里团体大量研发场景登程，打磨出一系列智能化运维产品，并赋能中小企业。咱们的理念是把简单留给本人，把简略留给用户。智能化是运维的终极状态，将来咱们将在自动化、无人化和智能化上做更大的投入，打造世界级的智能运维平台。

【对于云效】

云效，云原生时代一站式 BizDevOps 平台，反对公共云、专有云和混合云多种部署状态，通过云原生新技术和研发新模式，助力翻新守业和数字化转型企业疾速实现研发麻利和组织麻利，打造“双敏”组织，实现 10 倍效力晋升。

立刻体验