关于性能:性能之巅定位和优化程序CPU内存IO瓶颈

摘要：性能优化指在不影响零碎运行正确性的前提下，使之运行得更快，实现特定性能所需的工夫更短，或领有更弱小的服务能力。

一、思维导图

二、什么是性能优化？

性能优化指在不影响零碎运行正确性的前提下，使之运行得更快，实现特定性能所需的工夫更短，或领有更弱小的服务能力。

关注

不同程序有不同的性能关注点，比方科学计算关注运算速度，游戏引擎重视渲染效率，而服务程序谋求吞吐能力。

服务器个别都是可程度扩大的分布式系统，零碎解决能力取决于单机负载能力和程度扩大能力，所以，晋升单机性能和晋升程度扩大能力是两个次要方向，实践上零碎程度方向能够有限扩大，但程度扩大后往往导致通信老本飙升（甚至瓶颈），同时面临单机解决能力降落的问题。

指标

掂量单机性能有很多指标，比方：QPS（Query Per Second）、TPS、OPS、IOPS、最大连接数、并发数等评估吞吐的指标。

CPU为了进步吞吐，会把指令执行分为多个阶段，会搞指令Pipeline，同样，软件系统为了晋升解决能力，往往会引入批处理（攒包），跟CPU流水线会引起指令执行Latency减少一样，随同着零碎负载减少也会导致提早（Latency）减少，可见，零碎吞吐和提早是两个抵触的指标。

显然，过高的提早是不能承受的，所以，服务器性能优化的指标往往变成：谋求可容忍提早（Latency）下的最大吞吐（Throughput）。

提早（也叫响应工夫：RT）不是固定的，通常在一个范畴内稳定，咱们能够用均匀时延去评估零碎性能，但有时候，均匀时延是不够的，这很容易了解，比方80%的申请都在10毫秒以内失去响应，但20%的申请时延超过2秒，而这20%的高提早可能会引发投诉，同样不可承受。

一个改良措施是应用TP90、TP99之类的指标，它不是取均匀，而是需确保排序后90%、99%申请满足时延的要求。

通常，执行效率（CPU）是咱们的重点关注，但有时候，咱们也须要关注内存占用、网络带宽、磁盘IO等，影响性能的因素很多，它是一个简单而乏味的问题。

三、基础知识

能编写运行正确的程序不肯定能做性能优化，性能优化有更高的要求，这样讲并不是想要吓阻想做性能优化的工程师，而是捕风捉影讲，性能优化既须要扎实的零碎常识，又须要丰盛的实践经验，只有这样，你能力具备case by case剖析问题解决问题的能力。

所以，相比间接给出论断，我更违心多花些篇幅讲一些基础知识，我保持认为底层根底是了解并把握性能优化技能的前提，值得破费一些工夫钻研并把握这些根技术。

CPU架构

你须要理解CPU架构，了解运算单元、记忆单元、管制单元是如何既各司其职又相互配合实现工作的。

• 你须要理解CPU如何读取数据，CPU如何执行工作。
• 你须要理解数据总线，地址总线和管制总线的区别和作用。
• 你须要理解指令周期：取指、译指、执行、写回。
• 你须要理解CPU Pipeline，超标量流水线，乱序执行。
• 你须要理解多CPU、多外围、逻辑核、超线程、多线程、协程这些概念。

存储金字塔

CPU的速度和访存速度相差200倍，高速缓存是逾越这个鸿沟的桥梁，你须要了解存储金字塔，而这个层次结构思维基于着一个称为局部性原理（principle of locality）的思维，它对软硬件零碎的设计和性能有着极大的影响。

局部性又分为工夫局部性和空间局部性。

缓存

古代计算机系统个别有L1-L2-L3三级缓存。

比方在我的零碎，我通过进入 /sys/devices/system/cpu/cpu0/cache/index0 1 2 3目录下查看。

size对应大小、type对应类型、coherency_line_size对应cache line大小。

每个CPU外围有独立的L1、L2高速缓存，所以L1和L2是on-chip缓存；L3是多个CPU外围共享的，它是off-chip缓存。

• L1缓存又分为i-cache（指令缓存）和d-cache（数据缓存），L1缓存通常只有32K/64KB，速度高达4 cycles。
• L2缓存能到256KB，速度在8 cycles左右。
• L3则高达30MB，速度32 cycles左右。
• 而内存高达数G，访存时延则在200 cycles左右。

所以CPU->寄存器->L1->L2->L3->内存->磁盘形成存储层级构造：越凑近CPU，存储容量越小、速度越快、单位成本越高，越远离CPU，存储容量越大、速度越慢、单位成本越低。

虚拟存储器（VM）

过程和虚拟地址空间是操作系统的2个外围形象。

零碎中的所有过程共享CPU和主存资源，虚拟存储是对主存的形象，它为每个过程提供一个大的、统一的、公有的地址空间，咱们gdb调试的时候，打印进去的变量地址是虚拟地址。

操作系统+CPU硬件（MMU）严密单干实现虚拟地址到物理地址的翻译（映射），这个过程总是缄默的主动的进行，不须要利用程序员的任何干涉。

每个过程有一个独自的页表（Page Table），页表是一个页表条目（PTE）的数组，该表的内容由操作系统治理，虚拟地址空间中的每个页（4K或者8K）通过查找页表找到物理地址，页表往往是层级式的，多级页表缩小了页表对存储的需要，命失（Page Fault）将导致页面调度（Swapping或者Paging），这个惩办很重，所以，咱们要改善程序的行为，让它有更好的局部性，如果一段时间内访存的地址过于发散，将导致平稳（Thrashing），从而重大影响程序性能。

为了减速地址翻译，MMU中减少了一个对于PTE的小的缓存，叫翻译后备缓冲器（TLB），地址翻译单元做地址翻译的时候，会先查问TLB，只有TLB命失才会查问高速缓存（L1-2-3）。

汇编根底

尽管写汇编的场景越来越少，但读懂汇编仍然很有必要，了解高级语言的程序是怎么转化为汇编语言有助于咱们编写高质量高性能的代码。

对于汇编，至多须要理解几种寻址模式，理解数据操作、分支、传送、管制跳转指令。

• 了解C语言的if else、while/do while/for、switch case、函数调用是怎么翻译成汇编代码。
• 了解ebp+esp寄存器在函数调用过程中是如何构建和撤销栈帧的。
• 了解函数参数和返回值是怎么传递的。

异样和零碎调用

异样会导致控制流渐变，异样控制流产生在计算机系统的各个档次，异样能够分为四类：

中断（interrupt）：中断是异步产生的，来自处理器内部IO设施信号，中断处理程序分上下部。

陷阱（trap）：陷阱是无意的异样，是执行一条指令的后果，零碎调用是通过陷阱实现的，陷阱在用户程序和内核之间提供一个像过程调用一样的接口：零碎调用。

故障（fault）：故障由谬误状况引起，它有可能被故障处理程序修复，故障产生，处理器将管制转移到故障处理程序，缺页（Page Fault）是经典的故障实例。

终止（abort）：终止是不可复原的致命谬误导致的后果，通常是硬件谬误，会终止程序的执行。

零碎调用：

内核态和用户态

你须要理解操作系统的一些概念，比方内核态和用户态，应用程序在用户态运行咱们编写的逻辑，一旦调用零碎调用，便会通过一个特定的陷阱陷入内核，通过零碎调用号标识性能，不同于一般函数调用，陷入内核态和从内核态返回须要做上下文切换，须要做环境变量的保留和复原工作，它会带来额定的耗费，咱们编写的程序应防止频繁做context swap，晋升用户态的CPU占比是性能优化的一个指标。

过程、线程、协程

在linux内核中，过程和线程是同样的零碎调用（clone），过程跟线程的区别：线程是共享存储空间的，每个执行流有一个执行控制结构体，这外面会有一个指针，指向地址空间结构，一个过程内的多个线程，通过指向同一地址构造实现共享同一虚拟地址空间。

通过fork创立子过程的时候，不会马上copy一份数据，而是推延到子过程对地址空间进行改写，这样做是正当的，此即为COW（Copy On Write），在利用开发中，也有大量的相似借鉴。

协程是用户态的多执行流，C语言提供makecontext/getcontext/swapcontext系列接口，很多协程库也是基于这些接口实现的，微信的协程库libco（已开源）通过hook慢速零碎调用（比方write，read）做到静默替换，十分奇妙。

链接

C/C++源代码经编译链接后产生可执行程序，其中数据和代码分段存储，咱们写的函数将进入text节，全局数据将进入数据段，未初始化的全局变量进入bss，堆和栈向着相同的方向成长，局部变量在栈里，参数通过栈传递，返回值个别通过eax寄存器返回。

想要程序运行的更快，最好把互相调用，关系严密的函数放到代码段相近的中央，这样能进步icache命中性。缩小代码量、缩小函数调用、缩小函数指针同样能进步i-cache命中性。

内联既防止了栈帧建设撤销的开销，又防止了管制跳转对i-cache的冲刷，所以有利于性能。同样，要害门路的性能敏感函数也应该防止递归函数。

缩小函数调用（就地开展）跟封装是相违反的，有时候，为了性能，咱们不得不毁坏封装和伤害可读性的代码，这是一个权衡利弊的问题。

常识和数据

CPU拷贝数据个别一秒钟能做到几百兆，当然每次拷贝的数据长度不同，吞吐不同。

一次函数执行如果消耗超过1000 cycles就比拟大了（刨除调用子函数的开销）。

pthread_mutex_t是futex实现，不必每次都进入内核，首次加解锁大略耗时4000-5000 cycles左右，之后，每次加解锁大略120 cycles，O2优化的时候100 cycles，spinlock耗时略少。

lock内存总线+xchg须要50 cycles，一次内存屏障要50 cycles。

有一些无锁的技术，比方CAS，比方linux kernel里的kfifo，次要利用了整型回绕+内存屏障。

四、怎么做性能优化（TODO）

两个⽅向：提⾼运⾏速度 + 缩小计算量。

性能优化监控先⾏，要基于数据⽽⾮基于猜想，要搭建能尽量模仿实在运⾏状态的压⼒测试环境，在此基于上获取的profiling数据才是有⽤的。

方法论：监控 -> 剖析 -> 优化 三部曲。

工具：

perf是linux内核自带的profiling工具，除之之外还有gprof，但gprof是侵入式的（插桩），编译的时候须要加-pg参数，会导致运行变慢（慢很多）。

perf采集的数据，能够用来生成火焰图，也能够用gprof2dot.py这个工具来产生比火焰图更直观的调用图，这些工具就是我常常用的。

gprof2dot.py链接：https://github.com/jrfonseca/gprof2dot/blob/master/gprof2dot.py

性能优化一个重要准则就是用数据谈话，而不能凭空猜测。

瓶颈点可能有多个，如果不解决最狭隘的瓶颈点，性能优化就不能达到预期成果。所以性能优化之前肯定要先进行性能测试，摸清家底，建设测试基线。

例子：之前做SIP协定栈，公司的产品须要进步SIP性能。美国的一个团队通过实践剖析，单凭实践剖析认为次要是动态内存调配是次要瓶颈，把内存申请成一大块内存，指针都变成的一大块内存的偏移量，十分难于调试，最初成果也不好。咱们又通过测试剖析的形式重构了程序，性能是它们的五倍。

另外，性能优化要一个点一个点的做，做完一点，马上做性能验证。这样能够防止无用的批改。

五、几个具体问题（TODO）

1. 如何定位CPU瓶颈？

CPU是通常大家最先关注的性能指标，宏观维度有核的CPU使用率，宏观有函数的CPU cycle数，依据性能的模型，性能规格与CPU使用率是相互关联的，规格越高，CPU使用率越高，然而处理器的性能往往又受到内存带宽、Cache、发热等因素的影响，所以CPU使用率和规格参数之间并不是简略的线性关系，所以性能规格翻倍并不能简略地翻译成咱们的CPU使用率要优化一倍。

至于CPU瓶颈的定位工具，最有名也是最有用的工具就是perf，它是性能剖析的第一步，能够帮咱们找到零碎的热点函数。就像人看病一样，只晓得症状是不够的，须要通过医疗机器进一步剖析病因，能力隔靴搔痒。

所以咱们通过性能剖析工具PMU或者其余工具去进一步剖析CPU热点的起因比方是指令数自身就比拟多，还是Cache miss导致的等，这样在做性能优化的时候不会走偏。

2. 如何定位IO瓶颈？

零碎IO的瓶颈能够通过CPU和负载的非线性关系体现进去。当负载增大时，零碎吞吐量不能无效增大，CPU不能线性增长，其中一种可能是IO呈现阻塞。

零碎的队列长度特地是发送、写磁盘线程的队列长度也是IO瓶颈的一个间接指标。

对于网络系统来讲，我倡议先从内部察看零碎。所谓内部察看是指通过观察内部的网络报文交换，能够用tcpdump, wireshark等工具，抓包看一下。

比方咱们优化一个RPC我的项目，它的吞吐量是10TPS，客户心愿是100TPS。咱们应用wireshark抓取TCP报文流，能够剖析报文之间的工夫戳，响应提早等指标来判断是否是由网络引起来的。

而后能够通过netstat -i/-s选项查看网络谬误、重传等统计信息。

还能够通过iostat查看cpu期待IO的比例。

IO的概念也能够扩大到过程间通信。

对于磁盘类的应用程序，咱们最心愿看到写磁盘有没有时延、频率如何。其中一个办法就是通过内核ftrace、perf-event事件来动静观测零碎。比方记录写块设施的起始和返回工夫，这样咱们就能够晓得磁盘写是否有延时，也能够统计写磁盘工夫消耗散布。有一个开源的工具包perf-tools外面蕴含着iolatency, iosnoop等工具。

3. 如何定位IO瓶颈？

应用程序罕用的IO有两种：Disk IO和网络IO。判断零碎是否存在IO瓶颈能够通过观测零碎或过程的CPU的IO期待比例来进行，比方应用mpstat、top命令。

零碎的队列长度特地是发送、写磁盘线程的队列长度也是IO瓶颈的一个重要指标。

对于网络 IO来讲，咱们能够先应用netstat -i/-s查看网络谬误、重传等统计信息，而后应用sar -n DEV 1和sar -n TCP,ETCP 1查看网路实时的统计信息。ss （Socket Statistics）工具能够提供每个socket相干的队列、缓存等详细信息。

更间接的办法能够用tcpdump, wireshark等工具，抓包看一下。

对于Disk IO，咱们能够通过iostat -x -p xxx来查看具体设施使用率和读写均匀等待时间。如果使用率靠近100%，或者等待时间过长，都阐明Disk IO呈现饱和。

一个更粗疏的察看办法就是通过内核ftrace、perf-event来动静观测Linux内核。比方记录写块设施的起始和返回工夫，这样咱们就能够晓得磁盘写是否有延时，也能够统计写磁盘工夫消耗散布。有一个开源的工具包perf-tools外面蕴含着iolatency, iosnoop等工具。

4.如何定位锁的问题？

大家都晓得锁会引入额定开销，但锁的开销到底有多大，预计很多人没有实测过，我能够给一个数据，个别单次加解锁100 cycles，spinlock或者cas更快一点。

应用锁的时候，要留神锁的粒度，但锁的粒度也不是越小越好，太大会减少撞锁的概率，太小会导致代码更难写。

多线程场景下，如果cpu利用率上不去，而零碎吞吐也上不去，那就有可能是锁导致的性能降落，这个时候，能够察看程序的sys cpu和usr cpu，这个时候通过perf如果发现lock的开销大，那就没错了。

如果程序卡住了，能够用pstack把堆栈打进去，定位死锁的问题。

5. 如何提⾼Cache利用率？

内存/Cache问题是咱们常见的负载瓶颈问题，通常可利用perf等一些通用工具来辅助剖析，优化cache的思维能够从两方面来着手，一个是减少部分数据/代码的连续性，晋升cacheline的利用率，缩小cache miss，另一个是通过prefetch，升高miss带来的开销。

通过对数据/代码依据冷热进行重排分区，可晋升cacheline的无效利用率，当然触发false-sharing另当别论，这个须要依据运行trace进行深刻调整了；

说到prefetch，用过的人往往都有一种领会，事实成果比预期差的比拟远，的确无论是数据prefetch还是代码prefetch，不确定性太大，咱们和无线做过一些实际，最终以无线输入预取pattern，编译器主动插入prefetch的计划，成果还算能够。

剩下的，下次咱们接着说！

本文分享自华为云社区《性能之巅：定位和优化程序CPU、内存、IO瓶颈》，原文作者：左X伟。

点击关注，第一工夫理解华为云陈腐技术~