关于人工智能:DevOps中的测试实践

45次阅读

共计 3866 个字符,预计需要花费 10 分钟才能阅读完成。

万物皆可 pipeline,流程自动化解放生产力。在 DevOps 的 pipeline 中,咱们发现测试环节也须要一套流水线化的能力,来保障研发流程的少量 pipeline 稳固高品质交付。

上面介绍下 DevOps 中如何构建高水平全面的测试能力。

  1. 文化、流程、组织构造、技术产生改革,对测试提出新要求

· DevOps 文化对测试带来的新要求(文化)

为适应市场的疾速变动,要求企业的产品疾速迭代,柔性应答用户需要,滋生了 DevOps。

《继续交付 2.0》中,作者将 DevOps 简化概括为 2 个环:价值摸索和疾速验证。

价值摸索是疾速发现和辨认内部客户的实在需要,为其发明价值点。” 疾速验证环 ” 要求企业在找到业务问题制订业务指标后,疾速实现和落地价值点。

测试属于 ” 疾速验证环 ”,过程中要求开发 / 测试 / 运维的角色紧密配合,高效高质地落地验证新个性。

· 在 DevOps 中构建测试工作的难点(流程)

在 DevOps 趋势下,测试部门从原先的大量集中测试,变成了高频疾速测试。

原先大部分企业采纳纯手工测试的形式,从根本上无奈适应 DevOps 的高频快节奏需要。滋生了对自动化测试的诉求。

· 头部企业测试部门的现状(组织架构)

· 人力外包比重高:

金融 / 通信 / 航空等大型企业的外包人力与正式人力之比,往往超过 5:1,人员流动性高,素质参差不齐。对工具和零碎的稳定性和应用门槛提出要求。

· 从集中到扩散又回归集中:

企业初期业务较为繁多,测试需要归拢到对立的测试部门。

随着企业业务的裁减,为了疾速满足各个业务的测试诉求,将测试人员间接放到各个业务组,实现业务内疾速开发测试公布。

业务量更加宏大后,防止扩散研发使各个业务组反复陷入低级别的研发流动,产生技术竖井,为实现技术资产的继承积攒,研发流程从扩散开发趋向于基于中心化的基础设施发展,也就是当初常说的 ” 中台 ” 概念。测试工作也因而产生变动。除了测试各个业务的具体性能自身,也须要对基础设施自身的品质,以及各模块专项能力做对立的测试,确保整体的衰弱度维持在一个可控的规范。因而,又产生了集中化的测试需要。

文化、流程、组织架构,以及新技术(容器技术等)多重力量,助推测试的麻利化。

基于 DevOps 对测试提出的新要求,市面上也越来越多自动化测试的工具,开发者面对大量工具零碎,往往须要教训和工夫老本去筛选:

问题一:在哪些环节退出测试?各个环节实用什么类型的测试来保障该环节品质?

问题二:在人员构造和组织架构等约束条件下,各环节选取什么样的测试方法和工具?

上面咱们一一来剖析这些问题。

问题一、测试能够渗透到哪些环节

在 DevOps 文化中,强调突破不同职能之间的隔膜,对于测试部门而言,意味着测试流动的 ” 左移 ” 和 ” 右移 ”,从需要剖析到产品上线,各个环节把控品质。在一些偏研发和偏运维的环节,测试人员能够帮忙建设整套品质评体系和工具组,来保障上下游的整体品质。

例如在开发编码环节,次要是单元测试和 code review。对于大部分企业而言,这个工作次要是研发人员在做。测试须要做的事,推动这个环节的品质意识,帮忙开发同学搞定单元测试和 code review 的工具和后果记录,做到有迹可循。

测试工夫提前:测试不再等开发完结后再测试,而是将测试工夫穿插在开发阶段,缩小测试时段的长度

单元测试提前:开发每实现一个模块的编码,先对本模块进行单元测试,业务逻辑比较清楚,不须要从新回顾,效率较高

单元测试有据可依:测试在开发进行单元测试前提供每个模块的用例设计,供开发参考,使得单元测试更全面

单元测试 review: 每个模块单元测试实现后,测试进行单元测试 review,使得单元测试更全面,代码品质更高;同时发现代码或单元测试的问题开发及时批改,不须要打包,缩短提测试工夫

开发与测试密切合作:每一模块都须要开发和测试密切合作、共同完成,测试和开发的单干更加亲密,开发的测试程度晋升更快,测试浏览代码的能力也会提高很快

测试工作量和测试周期缩小:因为单元测试很充沛,所以每个 job 的测试能够省去,只做集成 | 联调测试,大大减少了测试工作量和测试工夫,从而缩短整个我的项目周期

问题二、在人员构造和组织架构等约束条件下,各环节选取什么样的测试方法和工具?

· 测试治理

管理工具的指标是晋升效率和协同性。市面上曾经有十分多成熟的管理工具。如果是业务比较复杂的超巨企业,测试部门更关注的是对于不同测试管理系统的适配性。

举两个例子,以下两张图,别离是技术积攒做的十分不错的两家企业测试部门的流程,差别比拟显著。

这种理论环境下,对测试治理平台灵活性的要求就很高。

· 工作流程灵便可配置

· 可集成现有管理系统

· 过程 / 后果的可视化

目前咱们平台反对按工作流来组织测试计划,并分配任务,我的项目进度、人力调配可视化跟踪。

测试自身也是一条流水线,反对用户向右无线扩大测试环节;每个测试环节反对向下无线扩大 ” 测试工作项。

同时,平台反对 jira/tapd 等管理系统的集成,需要和缺点买通。脚本方面反对买通 git 和 svn,间接同步脚本到 WeTest 测试平台。

· UI 测试

UI 测试是门槛最低,最常见的一种测试类型。个别在性能验收,以及专项测试阶段比拟罕用。UI 测试有 web 端和挪动端。web 端的测试次要以 selenium 框架为主。市面上也有比拟通用的录制回放工具。挪动端的 UI 自动化测试因为设施型号多而杂,给测试部门带来更大的挑战,近几年呈现的挪动端测试框架也越来越多。

之前提到组织架构里外包比重较高,因而,UI 自动化测试工具的应用门槛肯定要低。业界有较多的脚本录制回放工具。在实际操作过程中,往往会发现这些工具有以下弱点

· 元素辨认艰难

金融行业的乱序明码盘和防截图安全控制,把很多用例挡在门外。实际上大多数 乱序明码盘 的问题都是可解决的。

· 脚本回放成功率低

鲁棒性低:程序流的脚本,回放时只有有 1 个步骤未按预置流程走上来,就会卡住,前面的脚本就白搞了。

适配性低:录制的脚本在不同的设施上,因为分辨率和尺寸的不同,导致无奈回放。这就对工具的辨认形式提出了更高的要求,不能是简略的坐标辨认。

· 易用性差,影响效率

很多脚本录制工具为了晋升辨认效率,采纳图像 + 控件双重辨认。图像识别过程往往须要用户框选出须要辨认的区域。大大降低了录制脚本的效率。也晋升了工具应用的门槛。咱们冀望一种无感知的录制工具。用户在手工测试过程中顺便把脚本录制了。

这些点,咱们自研的小工具 UITrace 都解决了。目前这款工具也是 WeTest 用于交付兼容测试工作的次要工具。

除工具问题外,因为挪动端 UI 测试波及到大量设施的运维治理,在稳固经营的根底上,无效升高运维老本,晋升运维效率,是进行日常 UI 测试的前提。对于硬件的运维,WeTest 在治理上万台设施的过程中,总结出 43 条运维规定,自动识别和秒速解决 ” 开发者模式误触敞开 ”” 内存占满 ”” 熄屏锁屏 ” 等问题。保障机房 7 ×24 小时稳固运行,实现 1 个运维人员可治理上千台设施的成果。

· 接口测试

接口测试是一项性价比很高的测试流动,接口相较于 UI,变动不大,较为稳固。接口测试次要关注以下几点。能把这些点都做足,基本上能够 cover90% 以上的需要。

· 适配性:反对的协定 / 报文格式范畴更全面(例如近几年衰亡的 dubbo/grpc/trpc,以及经典的 http/https,WeTest 平台均可反对)

· 兼顾易用性和治理能力:既要像 postman 一样实时调试,又能够反对用例治理,测试工作,报告治理的治理性能,便于复用和进行历史追溯。目前 WeTest 平台能够满足需要

· mock 能力:可按需要定制 mock 规定

· 主动生成用例组织测试的能力:提供了 fuzz 平安测试:反对随机填充、SQL 注入、XSS 攻打、OS 命令注入等攻打模仿脚本的主动生成和执行。

· 预处理脚本 coding 能力:灵便地进行逻辑管制

· 上下游链路整合:反对链路性的接口测试,而不仅仅测试单个接口。前序接口输入作为后续接口参数输出

· 压力测试

若呈现服务器宕机,业务会陷入瘫痪;若提早较高,用户感触也会受显著影响,造成口碑下滑。服务器压力测试,次要关注以下几点:

· 并发量:并发量大且稳固是根底因素,是做压力测试的前提条件。目前 WeTest 并发量可达百万级别。

· 模仿实在场景:WeTest 反对通过接口传参构建上下文链路场景,模仿实在环境下的各个接口并发量。

· 兼容各类脚本:jmeter/fiddle 等支流脚本框架

· 反对 coding 模式,多种协定和语言,便于灵便地构建测试场景。

· 监控维度迷信、全面:笼罩 TPS、响应工夫、收发包量等种根底性能指标及过程级服务器等 14 项数据,见下方 WeTest 压测报告截图。

· 其余

除了解决上述工具和零碎的问题,咱们在流水线上要有设置品质红线的意识

品质红线不仅被用来保障转测 / 公布的品质,还被用来保障 Git 工作流的代码品质。防止低质量代码进入进入下一个环节,节约上游测试资源,举例如下

微信 MR 过程触发 WeTest 门禁

腾讯 WeTest 平台服务于品质畛域超过 10 年,领有丰盛的多行业(包含金融、游戏等)测试教训。2019 年正式推出私有化部署解决方案,致力于服务对私密性、安全性有更高要求的企业,帮忙企业打造属于本人的品质中台。

欢送拜访页面,查看解决方案介绍:https://wetest.qq.com/solutio…

Testerhome 用这个

https://wetest.qq.com/solutio…

其余渠道用这个

性能测试技术交换群:720150565

查看 PerfDog 详情:https://perfdog.qq.com/?ADTAG…

正文完
 0