关于后端:benchstat让你的benchmark更精准

benchmark 测试是理论我的项目中常常应用的性能测试方法，咱们能够针对某个函数或者某个性能点减少 benchmark 测试，以便在 CI 测试中监测其性能变动，当该函数或性能性能下降时可能及时发现。

此外，在日常开发流动中或者参加开源奉献时也有可能针对某个函数或性能点做一些性能优化，此时，如何把 benchmark 测试数据出现进去便十分重要了，因为你很可能在优化前后执行屡次 benchmark 测试，手工剖析这些测试后果无疑是低效的。

本节联合笔者在 Golang 社区参加开源奉献时的经验，介绍一下由官网举荐的性能测试剖析工具 benchstat，权当抛砖引玉之用。

意识数据
咱们先看一个 benchmark 测试样本：

BenchmarkReadGoSum-4           2223        521556 ns/op

该样本蕴含一个测试名字 BenchmarkReadGoSum-4（其中 -4 示意测试环境为 4 个 cpu）、测试迭代次数（2223）和每次迭代的破费的工夫（521556ns）。

只管每个样本中的工夫曾经是屡次迭代后的平均值，但为了更好的剖析性能，往往须要多个样本。

应用 go test 的 -count=N 参数能够指定执行 benchmarkN 次，从而产生 N 个样本，比方产生 15 个样本：

BenchmarkReadGoSum-4           2223        521556 ns/op
BenchmarkReadGoSum-4           2347        516675 ns/op
BenchmarkReadGoSum-4           2340        538406 ns/op
BenchmarkReadGoSum-4           2130        548440 ns/op
BenchmarkReadGoSum-4           2391        514602 ns/op
BenchmarkReadGoSum-4           2394        527955 ns/op
BenchmarkReadGoSum-4           2313        536693 ns/op
BenchmarkReadGoSum-4           2330        538244 ns/op
BenchmarkReadGoSum-4           2360        516426 ns/op
BenchmarkReadGoSum-4           2407        541435 ns/op
BenchmarkReadGoSum-4           2154        544386 ns/op
BenchmarkReadGoSum-4           2362        540411 ns/op
BenchmarkReadGoSum-4           2305        581713 ns/op
BenchmarkReadGoSum-4           2204        519633 ns/op
BenchmarkReadGoSum-4           1867        602543 ns/op

手工剖析多个样本将会是一项十分有挑战的工作，因为你可能须要跟据统计学规定摈弃一些异样的样本，剩下的样本再取平均值。

benchstat 为 Golang 官网举荐的一款命令行工具，能够针对一组或多组样本进行剖析，如果同时剖析两组样本（比方优化前和优化后），还能够给出性能变动后果。

应用命令 go get golang.org/x/perf/cmd/benchstat 即可快捷装置，它将被装置到 $GOPATH/bin 目录中。通常咱们会将该目录增加到 PATH 环境变量中。

应用时咱们须要把 benchmark 测试样子输入到文件中，benchstat 会读取这些文件，命令格局如下：

benchstat [options] old.txt [new.txt] [more.txt ...]

咱们把下面的 15 个样本输入到名为 BenchmarkReadGoSum.before 的文件，而后应用 benchstat 剖析：

# benchstat BenchmarkReadGoSum.before 
name         time/op
ReadGoSum-4  531µs ± 3%

输入后果包含一个耗时平均值（531µs）和样本离散值（3%）。

同上，咱们把性能优化后的后果输入到名为 BenchmarkReadGoSum.after 的文件，而后应用 benchstat 剖析优化的成果：

# benchstat BenchmarkReadGoSum.before BenchmarkReadGoSum.after 
name         old time/op  new time/op  delta
ReadGoSum-4   531µs ± 3%   518µs ± 7%  -2.41%  (p=0.033 n=13+15)

当只有两组样本时，benchstat 还会额定计算出差值，比方本例中，均匀破费工夫降落了 2.41%。

另外，p=0.033 示意后果的可信水平，p 值越大可信水平越低，统计学中通常把 p=0.05 做为临界值，超过此值阐明后果不可信，可能是样本过少等起因。

n=13+15 示意采纳的样本数量，出于某些起因 (比方数据值反常，过大或过小)，benchstat 会舍弃某些样本，本例中优化前的数据中舍弃了两个样本，优化后的数据没有舍弃，所以 13+15，示意两组样本别离采纳了 13 和 15 个样本。

本文由 mdnice 多平台公布

benchstat

剖析一组样本

剖析两组样本