共计 2414 个字符，预计需要花费 7 分钟才能阅读完成。
前言
有一回面试，面试官提了一个问题，cpu 使用率不高，但是 Load (平均负载) 很高，你如何查找问题？
当时我不明白 Load 的意思，面试官解释说这个指标反映不可中断状态的进程比较多。我遂根据过往后端开发经验，回答可能系统中 io 阻塞比较多，多发于网络 io 问题，用命令 netstat -tnp 看看 tcp 连接中 time_wait 状态多不多 …
我知道我的回答很片面，事后复习，做笔记。
什么是平均负载
熟悉 Linux 者知道，使用 top uptime 命令可以查看 load average 指标。
使用 man uptime 查看 Load average 解释:
System load averages is the average number of processes that are either in a runnable or uninterruptable state. A process in a runnable state is either using the CPU or waiting to use the CPU. A process in uninterruptable state is waiting for some I/O access, eg waiting for disk. The averages are taken over the three time intervals. Load averages are not normalized for the number of CPUs in a system, so a load average of 1 means a single CPU system is loaded all the time while on a 4 CPU system it means it was idle 75% of the time.
理解关键地方，平均负载是指，在单位时间内，系统中处于 可运行状态 与 不可中断状态 的平均进程数，简称平均活跃进程数。值得注意的是，它与 CPU 使用率没有直接关系
使用命令 ps aux 可以查看进程的状态 stat，如本文要注意的：
R 状态，可运行状态 (Running / Runnable)，正在使用 CPU 或者正在等待 CPU 的进程
D 状态，不可中断状态(Uninterruptitle Sleep, 又称 Disk Sleep)，正处于内核态关键流程中的进程，并且是不可中断的。
D 状态为何不可打断呢，举个例子，系统调用起硬件设备的 I/O 响应，为了保证数据的一致性，在磁盘设备返回数据前，它是不能倍其他进程或者中断打断的，如果被打断，就容易造成磁盘数据与进程数据不一致的问题。于是，不可中断 (D) 状态是系统对进程与硬件设备的一种保护机制。
平均活跃进程数，严格意义上，它是活跃进程数的指数衰减平均值（某个量的下降速度和它的值成比例）。通常情况下，理解为单位时间上的活跃进程数即可。
CPU 利用率与平衡负载
从 CPU 角度来说，Load average 只是反映单位时间内占用 CPU 的进程数量，而 CPU 利用率与进程数量没有直接关系，我们可以使用命令 top vmstat 查看 CPU 的利用率，有以下几个指标：
%us：表示用户空间程序的 cpu 使用率（没有通过 nice 调度）
%sy：表示系统空间的 cpu 使用率，主要是内核程序。
%ni：表示用户空间且通过 nice 调度过的程序的 cpu 使用率。
%id：空闲 cpu
%wa：cpu 运行时在等待 io 的时间
%hi：cpu 处理硬中断的数量
%si：cpu 处理软中断的数量
%st：被虚拟机偷走的 cpu
如何衡量合理的平均负载
一般来讲，Load average 低于 CPU 数量的话，机器性能满足服务需求，超出一些也没关系，Load average 不直接代表 CPU 利用率，可能是 io 阻塞比较多。当 Load average 高于 CPU 数量的 70%，就可能导致进程响应变慢，进而影响服务的正常功能。
从历史变化量来看
一般来讲，top uptime 提供 load average 三个时间点的指标，分别是：1 分钟、5 分钟、15 分钟。这反映了系统最近的状态变化趋势。在实际生产环境中，我们需要做长期的监控记录。如果有异常的数值变化，比如平均负载数是 CPU 的两倍，需要分析调查问题。
从平衡负载与 CPU 利用率 这两类指标综合分析
两类指标的不同，组合出以下几种可能情况：
Load average 高，CPU use 高，要么运行了 CPU 密集型进程(线程)，要么有大量等待 CPU 的进程（线程）调度
Load average 高，CPU use 底，运行了 IO 密集型进程
两者都比较低，正常
Load average 底，CPU use 高，这是不存在的
模拟案例与工具
我们如何分析平衡负载与 CPU 利用率这两类指标不同组合的案例，寻找造成指标变化的来源？
以下环境为 Linux Arch 4.19 / 4 CPU / 8G Memory
工具列表
stress 系统压力测试工具
sysstat 性能分析工具包：
mpstat 多核 CPU 分析性能工具，mp 的意思是 multi processors（多处理器）
pidstat 进程性能分析工具，pid 意为进程 ID。它用于查看进程的 CPU、内存、I/ O 以及上下文切换等指标
模拟场景
使用 stress 可以模拟以下场景
CPU 密集型进程
# 模拟一个进程，对 cpu 使用率 100%，限时 600s
stress –cpu 1 –timeout 600
IO 密集型进程
stress 的 -i 选项，spawn N workers spinning on sync()
# 模拟一个进程不停的执行 sync
stress -i 1 –timeout 600
大量进程的场景
# 模拟 16 个进程，对 cpu 使用率 100%，限时 600s
stress –cpu 16 –timeout 600
工具指标
mpstat -P ALL 5 监控所有 CPU，每隔 5 秒输出一组数据，注意指标 %usr 使用率，%iowait IO 阻塞时间，从这可以判断是 CPU 密集型还是 IO 密集型
pidstat -u 5 1 统计间隔 5 秒内，使用过 CPU 的进程的数据，注意指标 %usr 使用率，%wait 等待使用 CPU 的时间，从这可以判断是否进程（线程）过多
