关于存储:性能测试真如你想象的那么简单

57次阅读

共计 3764 个字符,预计需要花费 10 分钟才能阅读完成。

简介:一个合格的性能测试专员该具备哪些技能?性能测试真的仅仅只有测试吗?没那么简略!

我是阿里云弹性计算性能测试负责人西邪。

我从 2018 年开始组建阿里云弹性计算的性能测试团队,从要一周实现一组性能测试,到只需 1 分钟就能够触发一组全自动性能测试,到最初后果整顿一键搞定,外部命名为开天斧

当初开天斧曾经承当整个弹性计算所有的性能测试工作:新技术、新设施、新规格等等,保障了线上的性能稳定性。在性能测试的同时,还要负责解决客户的性能问题。期间还负责了“变形金刚”这个我的项目,把物理机的底层资源管理产品化了,使得当初线上变幻无穷的规格,只需一个模板就能够简略实现。

这里就先跟大家分享下这 3 年在性能测试上的一些播种。

什么是性能测试?

性能测试不同于功能测试,功能测试验证的是某个性能是否实现,性能测试验证的是某个性能是否达到。

验证性能就须要很多性能“标尺”,如掂量 CPU 性能:通过 SPEC CPU,UnixBench 等;掂量网络性能用 netperf,iperf,sockperf 等等;掂量存储性能最好用的是 fio,掂量内存带宽性能则是 stream。

上述说的都 micro Benchmark,通常如果某块做的不好,就能够间接提缺点给相干的团队去优化;而客户理论感知的是实在业务场景,那就须要去模仿客户的场景,比方客户常常应用的是 nginx,redis,MySQL 等,通过理论的场景测试,来验证以后服务器的优劣。通过做好性能测试,能力建设本人的底气,做好性能剖析,能力晓得哪里单薄,从而往哪里发力!

性能测试要做哪些?

性能的重要性无需多言,我就间接略过了。一个服务器有 5 大块:CPU、内存、存储、网络、OS。对,就是验证这些模块的性能,下面也简略介绍了下该用哪些工具进行性能测试。然而对于性能测试而言,如果仅仅是一个测试,那太简略了,实际上还须要思考很多。

性能次要能够看以下几个方面:

  1. 用什么工具来验证?性能测试的齐备性如何保障?如何疾速继续构建性能测试,手工跑就间接废了,工程化如何构建?
  2. 性能测试怎么设计?如何针对性去设计?性能测试其实是去测试一个预期。
  3. 进去的性能数据怎么剖析,重点关注哪个?
  4. 性能有差别?为什么有差别?虚拟化问题,物理机问题,OS 问题,Benchmark 问题?还是 …
  5. 如何去剖析异样性能数据?这个问题个别是通用业务团队的架构师能力解。

可能光谈问题还是形象了点,我再具体举几个例子。

先谈与 CPU 相干:

● Intel、AMD、ARM 差别?指令差别

● CPU 不同代数差别

● CPU 主频、基频、睿频、P0-n、P0-1

● CPU 是否 PIN 住

● 超线程开关:底层开关、OS 开关

● NUMA 架构:membind、interleave…

● 电源策略: performance、powersave、C-State 分割

● TDP: 睿频不符预期时看下 TDP 是否限制住了,很有用!

● L3 Cache 大小

● 内存带宽、内存时延

● OS:内核版本、CPU 破绽开关

● CPU 微码

● 软件:glibc 版本等

● 不同版本、非凡编译器:AOCC、icc

下面的这些都是 CPU 须要具备的基础知识,甚至还须要深刻底层去看问题,比方看底层 CPU 的 PMU 相干的一些货色。同样其余模块常识也是必不可少的。

除了常识具备外,每个模块测试齐备性也很重要,比方剖析网络性能数据,重点看上面这些性能:

● 网络带宽:多流、单流

● 网络 PPS:多流、单流

● 网络 session 连接数

● 网络新建连接数

● 网络时延

● 网络长连贯、网络短连贯性能

● 网络并发性能:上述性能在多个机器的状况下,并发成果是否连续

● 网络性能稳定性:网络压力变大(pps 变大或者带宽变大或者 session 数变大),时延的稳定性

● 网络丢包率、重传率

网络性能数据进去后,那这些数据又怎么看呢?下图是一个常见分位图:

绝大多数状况,在剖析定义一个数据的时候,不能单单看 min、average、max,倒是分位数性能数据十分重要,还有稳定率。

如果这些问题你都能很好答复,想必你就是一位功力深厚的大侠了。

为什么性能测试没那么简略?

性能测试如果仅仅是一个测试,还算简略。当然简单的测试也很简单,比方干扰测试(模仿吵闹街坊)。但总的测试而言,就是一个工程自动化,效率晋升的伎俩。

那难在哪里?

难在上节的话题是否执行到位。比方内存时延,在 Intel 的 CPU,整机状况下是 2 个 NUMA NODE,底层是 2 个 CPU,那么须要思考以后 Node 的内存时延,以及跨 Node 的内存时延。晓得这些后,那么前面利用体现进去的景象才可能有相干解释。

举个例子,把一个性能测试步骤合成开来,如下:

这里只有一个环节:test 环节,须要的功力浅。这存在一个误会,很多人认为性能测试就是“test”这一环节,当然不是!

breakdown,design,analyse,如果不是一个经验丰富的性能工程师,怎么可能 breakdown,desgin,甚至 analyse。

举个例子:Intel Cascadelake CPU 性能测试。breakdown 的时候,你须要很多背景常识,这些背景常识会决定你前面的性能剖析预期。

  1. 与 Skylake CPU 的区别:主频设置,CPU 代数差别等。
  2. 虚拟化计划:是否 PIN 住,是否跨 Socket。
  3. 底层技术适配:网络存储有无优化。
  4. 实例状态:有哪些规格,CPU 如何绑定。

等等 ……

接下来是性能测试,在测试一个系列的性能测试时,须要一套残缺的性能测试计划,做个全方面的比照。这块业界只有 SPEC CPU,SPEC JBB,UnixBench 等一套成熟的 CPU 性能测试,然而没有齐备服务器性能测试计划,这使得客户上云变得很迷茫,怎么全面掂量云服务器的性能呢?这些都须要积攒丰盛,并造成一个残缺体系。

等到性能测试完结,就须要去做性能剖析,之前讲了如何看网络性能数据,但有时也会有些奇怪的数据须要去解释。

举个理论例子:比方网络单流的性能测试。有时候会发现稳定很厉害,起先认为是网络性能不稳固,后通过理论排查,发现有概率产生中断的 CPU 与网络过程所在 CPU 在同一个核的时候,性能就会十分差,通过 taskset 硬性隔离开,中断和网络测试过程别离在不同的 CPU 上,网络单流性能就下来了且稳固。

所以,性能测试难就难在 常识储备够不够厚、是否充沛了解业务性能、性能设计以及最终的性能剖析,以及对于数据后果预期的确定等,这些都非久而久之之功!

那有什么破解之法呢?我认为次要有三点:

好学 :如果把一个业务零碎从上到下去剖析,每一个都能够倒退开来:业务架构、OS、一门语言、底层虚拟化、CPU 微架构都是值得学习。 举荐《性能之巅》这本书,能够领你入门。

:每一个 Case 都是一次机会,值得好好去钻研。

钻研:必定会遇到问题,遇到问题不摈弃不放弃,发挥 Geek 精力!

性能测试人员须要具备的基本技能

文章最初,再分享下我认为性能测试人员应该具备的基本技能。

计算机体系常识:计算机组成原理、操作系统、编译原理、计算机网络、软件测试、Linux 内核剖析 … 大学的课程都须要了。岂但要有书本知识,还能结合实际问题进行剖析。

架构思维:任何一个需要,问题,都须要站在一个很高的地位去扫视问题,去思考如何设计;特地是客户的问题,以后架构是否正当,呈现这个问题有哪些方向。

自动化测试:如何把这些手工的测试自动化,是解放生产力必须的,同时能力轻松去实现线上巡检。针对非凡问题,还须要具备构建非凡的测试案例能力。

剖析技巧:应该熟练掌握各种性能剖析的工具:top、vmstat、mpstat、pidstat、iostat、sar、火焰图等,高阶如 BPF 技巧。

理论工作教训:这个在设计 Case 的时候太重要了,他晓得什么要什么不要!

钻研精力:一个零碎波及的畛域方方面面,从下层业务到底层实现,会遇到很多很多未知,须要潜心研究。

这可能有点虚,特地是架构思维,只有接触过很多很多的 Case,能力有些体悟。所以一般来说一个刚毕业的应届生是很难做好性能测试的。

举个例子:一般来说呢,会有很多的 micro Benchmark,比方测试网络 PPS、网络带宽等等,那这些对用户的理论影响是什么呢?很天然地想到,把用户的 Case 搬过去,这么简略的一句话,理论很难:用户的 Case 为什么要这么设计?每个 Case 背地是有业务架构师做了设计的。

用户的 Case 该怎么测试?客户理论是怎么压测的?服务器的压力应该定在哪里?那请问一个从没有从事过理论业务需要的人怎么晓得这个是正当的?如果有这么一帮人在设计用户的 Case 性能测试是不是很搞笑。所以如果要做实在的案例性能测试,必须是有一线作战经验的同学,他晓得怎么样的压力是最合适的,他晓得这个服务器性能是否够,是不是要晋升。

总结

综上,性能测试没那么简略,性能测试不单单是一个测试,他的要求远远高于一名测试人员,他是一名性能架构师,更是一名全能手!

最初,请记住一个好的性能工程师是喂进去的,他要经验千锤百炼,方有锐剑出鞘!共勉。

版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

正文完
 0