作者 | 刘道伟
导读
基于危险驱动的交付是百度实际智能测试——感知智能阶段十分重要的钻研方向，基于危险驱动的交付，源于三个现状：
一、不是所有的我的项目都有危险，80% 以上的我的项目无任何的关联 bug 和线上问题。
二、不是所有的测试工作都可能揭错，有效的品质行为（有 bug 发现的品质行为 / 所有品质行为）占比十分高。
三、测试人员也有误判的可能，漏测始终存在。
通过以上三个现状，可见如果可能有办法迫近：测该测的我的项目、做该做的品质行为、评危险评得准，那么对测试效力和召回都有极大的帮忙。
接下来咱们将继续登载三篇文章，来揭秘百度实际基于危险驱动的交付的冰山一角：
1、百度搜寻业务交付无人值守实际与摸索：从具体业务实际的角度介绍危险评估在交付无人值守畛域的关键作用。
2、AI 技术在基于危险测试模式转型中的利用：从测试全过程的角度介绍各环节以危险思维 +AI 技术加持的各种利用场景。
3、品质评估模型助力危险决策程度晋升：从思路、计划和模型的角度介绍品质度模型的实现和挑战。
本文先介绍第一篇：百度搜寻业务交付无人值守实际与摸索。
01 引子
提起交付无人值守概念，大部分人应该都比拟生疏，呈现上面这些疑难：
- 什么是交付无人值守？
- 怎么做到交付无人值守？
- 交付无人值守能带来哪些益处？
本文就从以上几方面动手，具体介绍一下百度搜寻业务在交付无人值守上一些摸索及实际。
02 无人值守的源起
在介绍无人值守之前，能够先理解下交付模式的倒退历程，如下图所示，随着工程能力的一直倒退，交付过程中的测试逐渐从纯手工测试变为半自动化测试或自动化测试。同时在互联网行业麻利开发模式继续倒退，继续集成也随之发展起来，通过将自动化测试工具集成到流水线中，质效工作逐渐左移，大部分的需要研发人员能够通过流水线实现测试、上线工作。咱们把这类研发人员不再须要通过测试人员手工测试，应用流水线即可实现全副测试过程的模式称为研发自主测试，在搜寻业务中，DevOps 已成为最次要的交付模式，局部业务需要自主测试比例达到了 90% 以上。
现实状态下，既然大部分需要已实现自主测试，整个交付过程中应该是不须要消耗测试人员人力，然而现实很饱满，事实却很骨感。下图是在自主测试模式下，测试人员的工作日常，能够看到在整体过程中测试人员工作量仍然比拟大：
1）研发人员流水线执行测试失败，须要测试人员进行问题排查、修复工作稳定性问题、定位是否与代码无关、与研发重复沟通；
2）研发流水线执行实现后，测试人员还须要确认研发的自主测试报告，剖析需要危险，判断是否可准入；
3）交付过程中，存在很多环节须要研发人员和测试人员的沟通及手工操作，如需要的报备、拉分支、公布版本等工作。
是否有技术手段，把交付过程中这些消耗测试人员大量人力的工作由机器代替呢？这就是咱们明天要介绍的无人值守出发点。
03 无人值守的计划
在以后交付过程中，次要有以下几个环节对测试人员的依赖水平较大：
- 决策依赖人 ：CI 代码后须要执行哪些测试工作是动态配置的或齐全人工决策决定的。
- 流程依赖人 ：交付各环节流程流转依赖研发或测试人员，沟通交互老本高。
- 论断依赖人 ：流水线无风险剖析能力，测试工作无 0 / 1 化论断，准入准出的危险判断依赖集体教训。
因而要实现无人值守必须要通过技术手段解决这三个依赖问题，一句话概括就是“通过智能执行和危险评估能力，实现失败智能运维，过程主动流转，危险智能揭发，整个交付过程无需测试人员人工干预”。要真正实现这个指标，首先要满足三个必要的条件：齐备的测试能力、稳固的构建能力以及精准的评估能力，在这些能力的根底上，建设数据采集、危险辨认、危险管制、危险决策等智能化机制，最终实现全环节的无人化。
因为篇幅所限，本文上面先重点介绍三个依赖的根底能力。
3.1 齐备的测试能力
齐备的测试能力是无人值守的根底，齐备即要求流水线的测试工作是全面且无效的。
怎么了解全面？不同类型业务对于测试工作的需要是不同的，全面就是具备对应的业务类型须要的各种测试工作，以百度的工程能力地图服务端要求为例，全面的测试能力即要求下图所示的服务端的各环节的测试工作都具备，能够依据业务的理论需要进行一些变动。
全面测试能力的根底上进一步是无效的，有很多状况下流水线尽管具备了某类型的测试工作，然而这个测试工作是不是可能拦挡问题还依赖测试工作的危险揭发能力，或者依赖测试人员对于测试报告的剖析解读能力。
以搜寻业务的 DIFF 测试类型为例，DIFF 测试就是针对基线版本和测试版本，发送同样的数据，比照返回的数据的字段的不同，判断测试版本是否合乎预期，曾经是以后接口测试和大数据测试中比拟常见的形式。然而 DIFF 测试工作存在有效性问题，测试工作产出了 diff 的后果，可能是『乐音』导致的不稳固，可能是代码变动的预期内的，也可能是 bug 导致的非预期后果，这个危险的判断齐全依赖研发和测试的人工剖析。因而要晋升 DIFF 测试有效性要解决乐音烦扰的随机 diff 问题和 diff 后果 0 / 1 剖析问题，随机 diff 的打消通过后端 mock、环境数据一致性、随机 diff 智能辨认与过滤策略等机制解决，本文不具体开展阐述，重点介绍下 diff 测试的拟人化剖析能力。
拟人化剖析就是把人工分析测试后果的能力转化的自动化过程，因而要实现拟人化剖析首先要分明人在看到 diff 测试后果的时候是如何判断的，通过理论调研发现，研发和测试人员在剖析 diff 测试后果的时候，首先会看批改的代码是否与产出的 diff 后果字段相关联，如果是关联比拟大就认为是代码导致的，接着会剖析这些字段的业务影响面是否是需要内预期的以及影响面大小，如果是预期内的影响且危险可控即可认为通过，因而拟人化剖析也从上面两个方面进行判断：
1）依据白盒数据 + 模型 + 业务逻辑剖析字段是否合乎预期；
2）依据联合业务的数据分析，评估字段影响面危险。
这其中最重要的一点是如何将白盒数据与后果相关联，目前次要采纳了两个伎俩，一个是比拟惯例的业务知识库积淀，通过对业务的常识的梳理及积淀，将研发和测试的集体教训转化为可主动判断的规定，如某些函数的变动可能引起某类的 diff，长处是与业务关联比拟严密，准确度更高，毛病是依然过于依赖各个业务的人员的梳理，积淀的效率较低，因而咱们摸索了第二个伎俩，通过工作执行的历史数据，剖析代码变动与字段变动之间的关联关系，离线的建设代码及字段的关联模型，在线阶段通过模型判断字段变动是否是代码导致，再联合字段的业务危险判断最终给出 diff 测试论断。
通过上述一些伎俩，可能大大的晋升 DIFF 测试的有效性，也缩小了 DIFF 测试的人工剖析老本，相似的工作也在性能测试等其它场景发展，即通过技术手段晋升测试工作的危险揭发能力和后果的剖析能力，从而晋升测试工作有效性。
3.2 稳固的构建能力
如果说齐备的测试能力是实现无人值守的根底，稳固的构建能力就是实现无人值守的保障。如果流水线构建频繁失败，就会导致在自主测试过程中，测试人员须要不停的进行失败问题的定位，修复，以及与研发人员的重复的沟通，因而稳固的构建至关重要。如何建设的稳固的构建能力呢？其实能够用线上服务的稳定性建设作为参考，线上服务通常有研发、运维的各种稳定性及监控建设，稳定性可能达到几个 9 以上，然而线下服务的稳定性通常只有百分之八九十，那为什么不应用线上稳定性建设的规范来进行线下测试能力的建设呢，因而咱们以线上运维的规范，全面晋升了线下构建的稳定性，次要蕴含以下次要工作：
- 根底依赖治理 ：流水线稳定性离不开根底依赖的稳定性，这些依赖蕴含机器、实例、测试代码、测试数据、第三方服务等各个方面，因而要晋升稳定性首先要治理这些依赖，如机器的对立治理，测试代码和数据用线上代码的规范治理，第三方服务的 SLA 保障及容灾等措施。
- 全环节的稳定性保障 ：全环节即预防、发现、定位、复原、闭环各个环节均建设对应的稳定性能力，如在预防环节，针对构建须要的环境、数据等进行监控，如呈现不可用或缺失等问题提前报警，防止测试工作构建时才发现导致失败；定位环节标准错误码，针对错误码建设主动定位机制，如果定位问题可能主动复原即触发自愈的策略主动触发复原伎俩，缩小失败的人为干涉。
- 构建数字化 ：通过对构建数据的数字化，实现构建的稳定性度量、刻画、倡议等工作。
3.1 精准的评估能力
有齐备的测试能力和稳固的构建能力，交付的无人值守还有最初的环节须要解决：准入准出的危险如何判断？传统的流程上通常都是由人工评审测试报告的形式对危险进行把控，不仅消耗人力老本，而且判断精确水平齐全依赖集体的教训，新人研发和测试同学常常会呈现判断谬误导致漏测。如何实现主动的危险评估能力呢，咱们采纳了基于品质度模型及规定联合的办法建设评估能力，品质度模型就是将可能影响危险的数据都形象为特色，通过人工标记的历史数据训练为模型，在准入准出阶段通过调用品质度模型的后果给出危险得分，再联合基于业务的规定判断进行综合判断危险，如果危险低则能够主动准入不再须要人工剖析，如果危险为高，再引入人工。
通常特色的蕴含交付过程中的各种数据如代码白盒数据、研发人员画像、研发过程数据、测试工作后果、覆盖率等，如下图所示通过特色的形象、模型训练、模型评估等过程最终实现精准的评估能力，评估能力的准确性依赖于品质度模型选取的特色丰盛水平以及人工标记的数据的准确性。
04 无人值守的收益
通过测试能力的继续建设，搜寻业务 90% 以上的需要都可通过研发自主测试实现，极大晋升测试吞吐的能力。在自主测试的根底上，通过上述的无人值守工作发展，需要无人值守比例曾经达到 40% 以上，让更多的测试人员的人力从日常的交付工作中释放出来，投入到其它价值更高的工作中，也进一步升高了单需要的交付老本。
————END————