近些年 DevOps 火遍全国，仿佛不说 DevOps 研发效率就是低下的，技能就是掉队的。然而真是这样么？为了让大家更好的理解 DevOps 文化，3 月 27 日《云效说码》分享特地邀请了阿里巴巴资深技术专家陈鑫（花名：神秀）进行视频直播分享，聊聊他对 DevOps 的了解以及阿里巴巴的 DevOps 文化落地要诀。
DevOps 倒退的三个阶段
首先咱们简略看一下什么是 DevOps，这个词从何而来。我在这里把 DevOps 倒退历史分为三个阶段：诞生期、定义期和落地期。
DevOps 的“祖师爷”是比利时一名独立 IT 咨询师 Patrick Debois。2007 年，他负责一个大型项目的测试和验证工作，一边和开发对接测试代码，一边和运维对接“发版”。他发现项目组里的开发和运维两个角色的思维形式差别微小，一边心愿“快快快”，一边心愿“稳稳稳”，这让他有点解体。
在 2008 Agile Conference 大会上，Patrick 遇到了 Andrew，两个人一拍即合，开始推敲如何扭转这种 Dev 和 Ops 水火不容的现状。
2009 年 10 月，Patrick 通过 Twitter 招集开发工程师和运维工程师在比利时根特市举办了首届“DevOpsDays”大会，开始大规模探讨 Dev 和 Ops 的合作话题。起初为了便于流传“DevOpsDays”被缩写为“DevOps”。
在 2009 年当前，DevOps 开始火遍寰球。2010 年，The Agile Admin 博客发表文章《What is DevOps》，具体论述了 DevOps 的定义，包含一系列价值观、准则、办法、实际以及对应的工具。
同样是 2010 年，《继续交付》的作者 Jez Humble 缺席第二届的 DevOpsDays 大会，并做了“继续交付”的演讲。这是十分重要的里程碑，能够说《继续交付》这本书就是 DevOps 的最佳实际，以至于国内搞研发效力的同学人手一本。也正是这本书，减速了业界对 DevOps 的了解以及落地。
但我认为业界真正开始大规模落地 DevOps，还是不能来到容器化技术的功绩。“Docker”起到了决定性作用，通过编写 Dockerfile，第一次能够让开发者轻松定义软件运行环境，并且能通过 CI/CD 标准化流程去交付它。不过这么多容器运维起来依然麻烦，于是 google 在 2014 年开源“k8s”（Kubernetes）；2015 年 CNCF（Cloud Native Computing Foundation 云原生计算基金会）成立，正式将“k8s”作为外围，建设了一个微小的生态系统。有了“docker”和“k8s”技术上助力，减速了开发和运维角色的交融，于是 DevOps 不再是海市蜃楼。
我间隔 DevOps 有多远
回顾完历史，咱们对照下本身，通过三个小问题来看看本人的团队是不是曾经是“DevOps”了。
1、我每次写完代码都能够部署生产环境，不须要他人帮忙。
2、有很多监控、运维工具能够任我应用，轻松解决线上各种问题和故障。
3、我间接为线上用户的体验负责，不论是代码缺点还是运维故障，本人搞的本人背锅。
以上我三个问题，其实别离波及到了 DevOps 最重要的三个方面，做法、工具、文化，这三者缺一不可。
什么是好的 DevOps 团队
什么是高效能研发团队呢？咱们能够参考《2018 DevOps 现状报告》里这张表格：能做到每小时 1 次或者每天 1 次部署，1 天或 1 周可能上线 1 个版本，服务复原工夫小于 1 天，变更失败率小于 15%。不过这个数字其实并不难看，以咱们本人举例，阿里巴巴研发平台团队，能够轻松做到 1 天屡次公布生产，可用性 99.95%，变更失败率小于 5%。
这些要求在阿里巴巴看起来稠密平时，那阿里是怎么一步一步走过去的，咱们其余企业应该如何复制这些教训。让咱们进入下一节，阿里巴巴的 DevOps 文化落地要诀。
阿里巴巴 DevOps 的倒退阶段
DevOps 的倒退永远离不开技术的改革，在 2008 年的时候，淘宝启动了服务化革新的历程，发明了 Dubbo、Apache Alibaba RocketMQ、TDDL（Taobao Distributed Data Layer）等业界出名的中间件。同时淘宝的巨型利用被拆分，变成了下单、会员、优惠等一系列利用，而围绕各个子业务场景更是诞生了成千盈百个前台利用。大家能够设想一下过后的开发是怎么的，每周一个固定公布窗口，几百位工程师在邻近公布时提交代码、批改 bug、提交测试。在公布日早晨开始依照程序进行一一公布，如果公布后呈现重大 bug，要么当场 Hotfix（修补程序），要么回滚，宣告公布失败。所有人都被公布日搞的精疲力竭。第一代自动化公布工具的呈现，将公布能力交还给了开发者，同时也迫使开发者去解耦利用依赖，做到独立公布，业务交付速度失去了质的晋升。起初大家给它起了一个名字，就是“微服务”。
没过两年，随着研发人员越来越多，呈现了各种简单研发标准、各种简单脚本、各种“挖坑”“踩坑”等状况，让研发工程师苦不堪言。“这所有必须标准起来”，2013 年时咱们建设了对立构建部署平台，将阿里巴巴团体从代码变更到线上公布环节齐全对立起来，进行严管控。
在 2016 年咱们又遇到了新问题，过后线上操作须要运维同学对立来做，而运维同学人造不想去做变更。能够了解，什么都不改的状况下服务是最稳固的。可这在某种程度上限度了开发者的翻新，而且明确的职责分工也限度了开发者去关注本人利用的线上状态。这种状况，导致研发过程中呈现显著瓶颈，这也是为什么阿里巴巴要做 DevOps 的根本原因。随着“容器化”的浪潮降临，咱们研发平台再一次降级，将线上容器定义、运维监控责任全副交给了开发者，利用运维岗位不复存在。
而明天随着云原生技术的逐渐成熟，上云曾经变成企业标配，围绕云原生去定义下一代研发平台成为必然。
综上，技术的推动、组织的变动和研发工具的建设，这三者的有机联合才促成了咱们阿里巴巴 DevOps 一步步走向成熟。
阿里巴巴 DevOps 落地的工具
后面介绍了宏观上技术和平台的倒退，具体来看有以下几个工具对阿里巴巴 DevOps 落地以及研发效力晋升施展了重大作用。
首先是 DevOps 平台“云效”，大家常见的开源软件 Gitlab、Jenkins、Jira 这些平台也已经是阿里巴巴的一个抉择，然而起初咱们发现，纯工具类型的软件只能解决一些单点自动化问题，比方代码治理、构建打包等等。其实在理论开发过程中还有很多工作无奈自动化，比方需要流转的规定，分支治理的规定，开发、测试、运维沟通的模式等。这些工作咱们能够统称为“合作”。
要做好“合作能力”须要的是对人和流程以及效率有粗浅的了解，并且将这些了解形象成办法，最终做成产品。阿里巴巴通过数年积攒，产出了泛滥独特的研发治理办法，比方 Aone-flow 代码管理模式、测试环境管理模式、AGit-Flow 代码管理模式、双十一分层项目管理模式等等。咱们把这些研发治理办法都落地在云效平台上，最初作用在人身上，耳濡目染的影响着开发者合作的文化，也能够说是 DevOps 文化。
第二个是流量回放测试技术。这项技术的翻新给测试团队带来了很大影响，通过线上流量复制到线下，低成本的解决了测试回归的问题，将传统通过编写用例进行测试，简化为编排数据进行测试。第二层是 Mock 技术的利用，将一个分布式系统问题，转化为单机问题，能够在几秒钟实现上千个用例运行。有了这两个根底技术后，在下层能够倒退测试平台，通过算法的伎俩去辨认无效流量，去自动化解决数据，去辨认异样流量背地的缺点。通过这三层面的改革，能够说让阿里巴巴测试效率有了质的变动。
第三个是全链路压测技术（对应阿里云上的产品叫 PTS）。双 11 大家之所以能释怀剁手，一年比一年顺滑，外围就是这项技术在每次大促前帮忙开发者发现危险。发现当前就须要疾速的响应，通过 DevOps 工具去解决线上问题。每次压测都是一次练兵，有点相似于军事演习，疾速发现问题，疾速解决，一直锻炼团队 DevOps 能力，也能够这样说阿里巴巴的 DevOps 能力正是一次一次“双 11”给练进去的。
阿里巴巴 DevOps 核心理念：松管控和强卡点
当开发开始定义运维，接手运维的时候。咱们管理者会不会有些担心，比方会不会开发任意操作导致线上故障，随便公布导致稳定性问题等等。
阿里巴巴 DevOps 有一个核心理念是松管控和强卡点。
先看“松”在哪里？“松”是指咱们有多种流水线能够供开发抉择，利用 Owner 能够残缺定义这个利用的各种规定，比方如何公布，如何测试，如何进行资源、环境配置等。咱们有通用构建和自定义构建，能够给用户最大自由度。最初是“轻公布，重复原”。在每一个利用维度，开发能够随时应用流水线来交付代码，而并不需要特地的限度，仅仅须要思考的是如果出问题，咱们应该如何疾速复原。
在足够的自由度下，咱们必须要设置一些“卡点”。比方代码审核和品质红线；代码安全检查、规约查看；公布、封网窗口等。还有所谓“变更三板斧”：可灰度、可监控、可回滚。这些卡点是为了保障阿里巴巴团体所有开发工程师步调对立，交付合格的产品。
总结：DevOps 外围是疾速交付价值，给与开发最大自由度，负责开发和运维全副过程。在监控、故障防控工具，性能开关的配合下，能够在保障用户体验和疾速交付价值之间找到平衡点。
阿里巴巴 DevOps 核心理念：以利用为核心
阿里巴巴是怎么疾速落地 DevOps 的？这里我要重点提的是：以利用为核心的 DevOps 理念。利用信息其实能够演绎为 CMDB 中的一种数据。它对于研发人员人造是亲切的，它能够间接对应一个服务，一个代码库。以代码为终点，咱们又能够串联流水线、环境、测试、资源。最外围是工具链：监控、DB、运维、中间件等等。
用利用串联整个工具链，能够让开发人员很好的了解和买通 DevOps 整体过程。不会存在“开发说代码、服务，运维说机器、机房”，这种鸡同鸭讲的状况呈现。
当工具通过利用买通后，开发人员就能够牵强附会的在平台上定义它的利用，同时也在定义运维规定。比方，布局环境、创立资源、设置公布策略等等，这些都能够由开发人员实现。
实现利用和运维定义后，“谁定义就要谁负责”，因而在阿里巴巴，开发人员须要为利用全生命周期负责。通过相似理念和运维工具自动化的推动，“Dev”耳濡目染的接手了“Ops”的工作。这时，你会发现原来“DevOps”并没有那么简单。
享受 DevOps 红利，成为精英交付团队
通过咱们后面提到的阿里巴巴在实践中锻炼的 DevOps 工具，“松管控、强卡点”和“以利用为核心”的 DevOps 理念，阿里巴巴的 DevOps 得以落地，并获取实实在在的效率红利。它打消对集体的依赖，升高团队之间的损耗，升高测试老本晋升品质，升高公布软件危险。最终放慢企业翻新速度，让阿里巴巴在一场一场机会中能够疾速响应。
上图是 2018 年咱们公布的一些数据，首次提出了“211”概念：85% 以上的需要能够在两周内交付；85% 以上的需要能够在一周内开发实现；提交代码后能够在 1 小时内实现公布。我也倡议大家可能以“211”来作为本人企业的效力指标，通过先进的 DevOps 工具、实际和文化，三管齐下，带来红利，而不要为了做而做。
云时代带来的新机会
通过后面对阿里巴巴 DevOps 倒退的介绍，咱们不难发现这样一个循环：咱们在软件研发过程中一直的遇到新的问题，从而催生出新的技术（比方微服务、容器化）；而后新的技术又带来了架构的改革（比方服务化、技术中台）；最终造成了软件研发的新模式。当初云原生技术来了，这项新技术能给咱们带来哪些机会呢？
云原生是什么？业界有各种各样的解读，有观点认为：齐全应用云来构建利用零碎就是云原生。而从软件研发的角度来看，我认为云原生带来最大的变动是开发者仅需关注业务逻辑，从而带来极大地效力晋升。这是怎么做到的呢？咱们比照下传统利用和云原生利用。
在传统软件研发过程中，开发者的代码会深度耦合中间件，须要关注服务发现、分库分表、音讯解决等多方面。往下也同样须要关注软件部署在哪，须要多少容量，甚至还须要关注操作系统、存储等问题。
在云原生时代会很不一样，中间件外围能力会下沉到云基础设施之中，一些常见的限流、降级、鉴权等能力都不须要关怀了，数据库、运行环境等都是动静伸缩的，常见的运维问题也不须要关怀。只须要开发好代码，通过软件交付平台自动化的公布到云端。
软件开发的复杂度其实不会隐没，而是换一种形式存在。云原生技术下这种复杂度会下沉到云基础设施层，通过云去屏蔽这种复杂性。
那这种复杂性怎么解决，其中一个外围就是用数据去解决。在云原生下咱们领有业界对立的技术标准，比方中间件规范、容器规范等。领有标准的数据和弱小的基础设施，也能够轻松获取到这些数据。有了这些数据，咱们就有机会去发明出各种智能工具，去解决咱们软件开发的复杂度，或者是通过工具帮忙开发者工作，升高这种复杂度。
因而在云原生技术下，咱们领有了前所未有的智能的机会和普惠的机会。
云原生时代影响开发者的三大技术体系
在云原生时代，我认为会有这三个技术会给开发者带全新的体验。别离是开发态的 CloudIDE、运行态的 Service Mesh、以及运维态的 Serverless 技术。CloudIDE 将开发环境搬到了云上，而且能够和研发平台深度整合，为开发者提供极致的编程体验，再也不必关怀我在哪里开发，只有有浏览器，关上就能够编码。
中间件在云时代会逐步融入到 Service Mesh 技术下，服务路由、限流降级等开发者将不再关怀。
Serverless 技术，让主动扩缩，容量评估变为历史，开发者再也不关怀机器在哪。
这三项技术将研发全链路云化，并且产生了大量研发数据、服务数据、运行时数据。阿里巴巴在最近几年曾经开始投入这些数据的开掘和钻研工作，并且和学界放弃着亲密的单干关系。
阿里巴巴正在摸索的数据利用方向
简略介绍一下咱们目前正在摸索的数据利用方向：在代码方面，有代码举荐、智能代码评审、代码搜寻和优质代码分享。在运维监控方面，咱们投入了智能基线，可能依据监控稳定状况自动化报警，防止一一配置规定。还有公布危险管制，通过辨认变更前后监控异动来主动阻断公布过程。还有自动化配置的业务全景监控，全链路洞察业务稳定性等。
上面我会通过两个实例，深刻细节，谈一下咱们在数据利用方面获得的成绩。
代码大数据的利用—PRECFIX 缺点监测技术
今年年初，PRECFIX 代码缺点检测技术 (Patch Recommendation by Empirically Clustering) 曾经在阿里巴巴外部生产零碎中上线，帮忙开发者在代码评审时发现缺点。
智能化伎俩在缺点检测畛域利用次要有三个难点：1）在没有缺点数据积淀和公开数据集的状况下，如何标注数据？2）代码是重逻辑形式语言，如何去表征代码内容？3）如何通过非人工规定给出修复倡议？
咱们具体的做法是这样的，首先通过数据挖掘伎俩标注疑似缺点的 commit，并提取相干统计特色进行学习，通过模型给出危险度评估。而后对缺点 commit 的变更 diff 进行相似性代码聚类，找出工程师常犯的谬误，以及工程师罕用的修复伎俩。当再次发生相似谬误时，就能够给与开发者绝对应的修复补丁。
运行时大数据的利用—无人值守公布
后面一个是“Dev”端的工具，上面介绍一个“Ops”端的工具：无人值守公布。
已经，咱们对所有线上故障做了剖析，发现 80% 的故障都是由“变更”引起的。这也阐明如果你不做“变更”，基本上不太会产生故障。因为代码公布是线上变更的一个重要模式，所以要让零碎稳固、继续一直地运行，就必须卡住公布这个口子。于是，咱们做了“无人值守公布”这个工具，它能够收集包含零碎数据、日志数据、业务数据等，并对各种指标做查看，通过算法比照公布前后的指标异动。一旦发现问题，就能够对公布过程进行阻断，甚至实现自动化回滚。有了这项技术，任何一个开发团队，都能够平安的做好公布工作，运维团队也不用放心因为频繁的线上变更而导致重大故障了。
阿里巴巴软件研发平台的将来：全新云效行将上市
综上所述，“云”和“数据”是咱们下一代软件研发平台最大的机会。这些数据智能工具虽好，但不能只给阿里巴巴来应用，更重要的是实现“云”的价值，也就是咱们讲的普惠计算的价值。
因而往年咱们会在阿里云上推出全新的 DevOps 工具平台“阿里云·云效”，岂但能够持续为大家提供企业级一站式 DevOps 能力，还会将云原生能力、智能化能力融入其中，最近咱们正在踊跃筹备，敬请期待！有趣味的开发者也能够在云效用户群（钉钉群号：23362009）中分割咱们，申请试用，谢谢大家。
【对于云效】
云效，企业级一站式 DevOps 平台，源于阿里巴巴先进的研发理念和工程实际，致力于成为数字企业的研发效力引擎！云效提供从“需要 -> 开发 -> 测试 -> 公布 -> 运维 -> 经营”端到端的在线协同服务和研发工具，通过人工智能、云原生技术的利用助力开发者晋升研发效力，继续交付无效价值。
对于咱们
理解更多对于云效 DevOps 的最新动静，可微信搜寻关注【云效】公众号；
福利：公众号后盾回复【指南】，可取得《阿里巴巴 DevOps 实际指南》&《10 倍研发效力晋升案例集》；
看完感觉对您有所帮忙别忘记点赞、珍藏和关注呦；
原文链接：https://developer.aliyun.com/…