关于测试:像用户一样测试别掉链子-IDCF

8次阅读

共计 2353 个字符,预计需要花费 6 分钟才能阅读完成。

软件场景的“掉链子”

“掉链子”是一句俗语,比喻在关键时刻出故障,或者重要的事件本该做好却没做好。

“掉链子”的说法来自于自行车:在骑行过程中,链条通过链轮传送,带动车轮滚滚向前。当链条从链轮上脱落,就无奈进行传动,失去了对车轮的管制,脚蹬子就会空转,自行车就会失去向前的能源。假如这种状况产生在关键时刻,要赶时间或者正在过马路,就会让人分外恼火。

回到软件场景,关键时刻掉链子,就好比上线后遇到重大缺点,须要紧急热更或回滚。造成的结果也很相似,那改良的措施会不会也相似呢?咱们一起来看一下。

掉链子的四个结果

  • 性能生效:自行车失去能源无奈向前,须要上链子能力持续 → 软件性能生效
  • 影响情绪:我不只一次看到一边上链子一边气急败坏的场景 → 升高用户体验
  • 耽搁时间:赶时间的状况下,上链子可能造成延误 → 性能延期应用,造成业务损失
  • 平安问题:要是正在减速猛蹬的时候忽然掉链子,轻则腿抻一下,劲大了没准能掉下去 → 软件平安:隐衷、匿名、盗号等

掉链子的起因

  • 路况不好,过于平稳 → 基础设施较差,运维磕磕绊绊
  • 负重过大,导致后轮不正或变形 → 一次上线范畴过大,团队不堪重负
  • 链条和轮盘不在一条直线 → 团队内耗,人心涣散
  • 链子松了 → 需要收缩,开发点数收缩
  • 缺油 → 再衰三竭,不足士气

可能的修复形式

  • 防止平稳路段 → 革新基础设施,晋升运维效率
  • 防止适度负重 → 留有肯定的缓冲区,用于需要估点不准或紧急问题修复
  • 调整链条和轮盘至同一水平线上 → 建设踊跃、公开通明的团队文化
  • 紧链条,或者把链子反过来,外圈换到里圈用 → 管制收缩,协调资源
  • 上油 → 团队激励

假如我当初遇到一个团队(还真遇到过),领有现实的基础设施、现实的文化、现实的人,是不是就能保障不掉链子呢?可能在肯定水平上会升高掉链子的频率,但的确保障不了不出问题,要么怎么说测试是门玄学呢。

通常状况下,这类团队品质内建做的绝对较好,新开发的性能品质较高,测试能力也较强,可能保障本次上线新开发的性能是齐全失常的。但没想到重大缺点也是剑走偏锋,你越是想不到,越是认为没问题,越是稳固运行好几年的性能,往往越容易在关键时刻掉链子,起因形形色色,有时候匪夷所思到想破头都想不进去,齐全无奈预防,只能采取预先干涉。

回归测试

排除掉那些不可预知的因素,还有两个常见的起因,一是性能被咱们毁坏了,二是性能被其他人毁坏了。这两种状况都是能够通过上线前的回归测试来预知问题的。

回归测试,顾名思义,得先有性能,也有针对性能的测试,而后能力回归。每个团队都有一些积攒下来的回归用例,咱们把容易出问题的、波及产品外围能力的、一旦出问题后影响惨重的性能,全副并入主流程回归用例集。在产品初期,主流程回归用例集的范畴可能不是很大,手工测试大概率能疾速笼罩掉。

随着产品性能的不断完善,上线和经营的教训一直积攒,主流程回归用例集的范畴会不断扩大,直到手工测试无奈疾速笼罩,这时自动化测试就要施展重大作用了。咱们把越来越多的回归用例用自动化形式来实现,并集成到继续集成流水线,设置肯定的触发机制,比方每天早上十点定时触发,或者每次代码提交均触发,视须要而定。这样在肯定的察看期内,一旦有历史性能被毁坏,咱们就会在第一工夫晓得。

有些场景下会被这个用例集叫做“惯例回归用例集”,或者“程序健壮性测试(Sanity Test)”,也有的团队会以端到端自动化测试(E2E)的模式来进行回归。名字并不重要,咱们只须要晓得,这都是回归测试的领域,只不过是实现的伎俩和范畴有所区别而已。

在进入迭代时,已有的主流程回归用例集是回归测试的输出之一,输出之二是本次迭代的回归用例集,包含以下内容:在本次开发的新性能中,哪些能够纳入惯例回归范畴的用例?亦或是本次批改影响到的性能范畴有哪些须要回归?主流程回归和本地迭代的回归一起作为上线回归用例集。

确定了回归范畴后,须要测试团队以肯定的频率,屡次进行回归测试。每次的距离最好留出肯定的工夫来定位和修复问题,并且在修复问题之后,对立进行下一轮的回归测试。通过多轮回归测试后,上线前能发现的缺点就发现的差不多了,将这些缺点进行评估,若符合要求,也一并纳入回归用例集,就像滚雪球一样,把用例集滚大。

而后咱们就迎来了上线:上线部署实现后,也须要以线上容许的形式再次回归一遍。

回归测试不是上线了就完了,上线后,如果有线上重大问题,或者以前的已有性能被毁坏,测试也须要把这些缺点进行评估,并补充至回归用例集。

回归 · 三大准则

  • 凡变必测:一有变动必须测试,并评估变动范畴,进行相应的回归测试。
  • 凡测必补:一有手工测试,不论是新性能还是修缺点,必须进行评估,明确是否有必要补充进回归测试用例集中。
  • 人机搭配:自动化测试最无效的场景就是回归测试了,倡议能自动化的用例都自动化掉,否则工夫长了回归起来人要解体的。

能够说,遵循以上三条准则,根本能保障回归测试的继续更新和继续无效。

总 结

本文讲的是回归,为什么叫像用户一样测试呢?起因是,当咱们在思考回归测试的范畴时,须要具备用户视角。

假如我是用户:

  • 我最心愿应用的产品性能是什么?
  • 哪些性能给我带来最大的价值,能帮忙我带来收益或节约工夫?
  • 哪些性能有问题是我齐全不能容忍的?
  • 哪些性能我并不罕用?
  • 哪些性能可有可无?

思考这些用户视角的问题,有助于咱们确定更精准的回归测试用例集,最大水平的做到关键时刻不掉链子。

起源:圆小豆的美梦工场
作者:于晓南
申明:文章取得作者受权在 IDCF 社区公众号(devopshub)转发。优质内容共享给思否平台的技术伙伴,如原作者有其余思考请分割小编删除,致谢。

5 月每周四晚 8 点,【冬哥有话说】品质与测试专场。公众号留言“品质”可获取地址

  • 0506 朱少民《如何最大化软件测试效力》
  • 0513 陈琦《数据驱动测试》
  • 0520 陈霁《没错,去 QA 是提高质量最无效的办法!》
  • 0527 施慧斌《DevOps 实际之继续测试》
正文完
 0