1、概述
嗨喽,大家好呀!我是简凡,一位游走于各互联网大厂间的新时代农民工。对于 C 端在线业务,服务的稳定性和吞吐量经常是评估一个零碎的重要指标,所以本文将从以下 4 点进行开展,逐渐解说 golang 中如何进行性能优化。
- 为什么要做性能优化
- 性能优化根底
- 优化思路
- 常见的优化场景
2、性能优化的目标(Why?)
咱们经常在以下时候思考到性能优化:
-
日常优化零碎:
- 接口相应工夫优化,以满足对上游的 SLA
- CPU 优化,保障在线业务 cpu idl 处于一个较高水平,升高业务量突增对系统稳定性带来的冲击
- 内存优化,缩小内存占用,开释多余的服务器资源
-
解决线上业务问题:
- 接口相应超时
- CPU 利用率飙升
3、性能优化根底(What?)
3.1 性能优化指标
在 Golang 服务中,咱们经常从以下 4 点触发去做服务的优化:
- CPU profile:报告程序的 CPU 应用状况,依照肯定频率去采集应用程序在 CPU 和寄存器下面的数据
- Memory Profile(Heap Profile):报告程序的内存应用状况
- Block Profiling:报告 goroutines 不在运行状态的状况,能够用来剖析和查找死锁等性能瓶颈
- Goroutine Profiling:报告 goroutines 的应用状况,有哪些 goroutine,它们的调用关系是怎么的
4. 性能剖析过程(How?)
4.1 如何获取性能快照
golang 中有两种类型的利用,工具性利用和服务型利用,工具性型利用的 main 函数仅一段时间,咱们本地跑单元测试的性能测试其实原理就是利用的这种。服务型利用为长期存活的后端利用,例如 RPC 服务,HTTP 服务,咱们后端系统通常都是服务型利用。
4.1.1 工具型利用获取 CPU 快照
测试 Demo 如下,这里用了一个快排的例子,利用执行完结后,就会生成一个文件,保留了咱们的 CPU profiling 数据。失去采样数据之后,应用 go tool pprof 工具进行 CPU 性能剖析。
package main
import (
"math/rand"
"os"
"runtime/pprof"
"time"
)
func generate(n int) []int {rand.Seed(time.Now().UnixNano())
nums := make([]int, 0)
for i := 0; i < n; i++ {nums = append(nums, rand.Int())
}
return nums
}
func bubbleSort(nums []int) {for i := 0; i < len(nums); i++ {for j := 1; j < len(nums)-i; j++ {if nums[j] < nums[j-1] {nums[j], nums[j-1] = nums[j-1], nums[j]
}
}
}
}
func main() {pprof.StartCPUProfile(os.Stdout)
defer pprof.StopCPUProfile()
n := 10
for i := 0; i < 5; i++ {nums := generate(n)
bubbleSort(nums)
n *= 10
}
}
这里应用的 runtime/pprof 这个剖析工具,须要指定快照打印的地位,这里打印到规范输入了。能够会与程序中的打印抵触。咱们能够本人实现写到文件中,这里能够用另一个开源工具代替github.com/pkg/profile
,它会生成一个日志快照文件到长期目录。
package main
import (
"math/rand"
"github.com/pkg/profile"
"time"
)
func generate(n int) []int {rand.Seed(time.Now().UnixNano())
nums := make([]int, 0)
for i := 0; i < n; i++ {nums = append(nums, rand.Int())
}
return nums
}
func bubbleSort(nums []int) {for i := 0; i < len(nums); i++ {for j := 1; j < len(nums)-i; j++ {if nums[j] < nums[j-1] {nums[j], nums[j-1] = nums[j-1], nums[j]
}
}
}
}
func main() {defer profile.Start(profile.MemProfile, profile.MemProfileRate(1)).Stop()
n := 10
for i := 0; i < 5; i++ {nums := generate(n)
bubbleSort(nums)
n *= 10
}
}
4.1.1 服务型利用 CPU 剖析
如果你的应用程序是始终运行的,比方 web 利用,那么能够应用 net/http/pprof 库,它可能在提供 HTTP 服务进行剖析。这样你的 HTTP 服务都会多出 /debug/pprof endpoint,拜访它会失去相似上面的内容:
package main
import (
"net/http"
_ "net/http/pprof"
)
func main() {http.ListenAndServe("0.0.0.0:8000", nil)
}
当初数据曾经能够采集了,那如何获取快照呢?咱们上一步的操作,在后盾起了一个 http server 服务,咱们间接点击 ui 中的链接就能够拿到内存快照了, 例如点击 profile,咱们就能够拿到一个 30s 的 CPU 快照,是一个 *.pb.gz 类型的二进制文件,可用于咱们前面的剖析。
- /debug/pprof/profile:拜访这个链接会主动进行 CPU profiling,继续 30s,并生成一个文件供下载
- /debug/pprof/heap:Memory Profiling 的门路,拜访这个链接会失去一个内存 Profiling 后果的文件
- /debug/pprof/block:block Profiling 的门路
- /debug/pprof/goroutines:运行的 goroutines 列表,以及调用关系
4.2 go tool 剖析性能快照
不论是工具型利用还是服务型利用,咱们应用相应的 pprof 库获取数据之后,下一步的都要对这些 数据进行剖析,咱们能够应用 go tool pprof 命令行工具。
go tool pprof 最简略的应用形式为:
go tool pprof [binary]
其中:
- binary 是利用的二进制文件,用来解析各种符号;例如:go tool pprof -http=:9999 /Users/xxxx/pprof/pprof.samples.cpu.001.pb.gz
- source 示意 profile 数据的起源,能够是本地的文件,也能够是 http 地址。此形式会在命令窗口中依照交互模式例如:go tool pprof http://127.0.0.1:8000/debug/pprof/profile
注意事项: 获取的 Profiling 数据是动静的,要想取得无效的数据,请保障利用处于较大的负载(比方正在生成中运行的服务,或者通过其余压测工具模仿拜访压力)。否则如果利用处于闲暇状态,失去的后果可能没有任何意义。
能够减少些参数来获取更多信息,例如:
# 咱们想获取 70s 的内存快照,能够减少 -seconds 参数:gotool pprof -seconds 70 http://127.0.0.1:8912/debug/pprof/profile
# 指定 http 接口,能够在 ui 上看到内存快照,参见本文 4.2.2
gotool pprof -http=0.0.0.0:8234 http://127.0.0.1:8912/debug/pprof/profile
4.2.1 直连服务剖析
go tool + 线上服务 http 接口地址的形式:
go tool pprof http://127.0.0.1:8000/debug/pprof/profile
执行下面的代码会进入交互界面如下:
runtime_pprof $ go tool pprof cpu.pprof
Type: cpu
Time: Jun 28, 2019 at 11:28am (CST)
Duration: 20.13s, Total samples = 1.91mins (568.60%)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof)
咱们能够在交互界面输出 top3
来查看程序中占用 CPU 前 3 位的函数:
(pprof) top3
Showing nodes accounting for 100.37s, 87.68% of 114.47s total
Dropped 17 nodes (cum <= 0.57s)
Showing top 3 nodes out of 4
flat flat% sum% cum cum%
42.52s 37.15% 37.15% 91.73s 80.13% runtime.selectnbrecv
35.21s 30.76% 67.90% 39.49s 34.50% runtime.chanrecv
22.64s 19.78% 87.68% 114.37s 99.91% main.logicCode
其中:
- flat:以后函数占用 CPU 的耗时
- flat:: 以后函数占用 CPU 的耗时百分比
- sun%:函数占用 CPU 的耗时累计百分比
- cum:以后函数加上调用以后函数的函数占用 CPU 的总耗时
- cum%:以后函数加上调用以后函数的函数占用 CPU 的总耗时百分比
- 最初一列:函数名称
在大多数的状况下,咱们能够通过剖析这五列得出一个应用程序的运行状况,并对程序进行优化。
咱们还能够应用 list 函数名
命令查看具体的函数剖析,例如执行 list logicCode
查看咱们编写的函数的详细分析。
(pprof) list logicCode
Total: 1.91mins
ROUTINE ================ main.logicCode in .../runtime_pprof/main.go
22.64s 1.91mins (flat, cum) 99.91% of Total
. . 12:func logicCode() {
. . 13: var c chan int
. . 14: for {
. . 15: select {
. . 16: case v := <-c:
22.64s 1.91mins 17: fmt.Printf("recv from chan, value:%v\n", v)
. . 18: default:
. . 19:
. . 20: }
. . 21: }
. . 22:}
通过剖析发现大部分 CPU 资源被 17 行占用,咱们剖析出 select 语句中的 default 没有内容会导致下面的 case v:=<-c:
始终执行。咱们在 default 分支增加一行 time.Sleep(time.Second)
即可。
4.2.2 快照文件 + 图形化工具
这种快照文件的形式益处是更加直观,能够通过图形化界面来剖析:
想要查看图形化的界面首先须要装置 graphviz 图形化工具。Mac:brew install graphviz
接下来,能够用 go tool pprof 剖析这份数据
go tool pprof -http=:9999 cpu.pprof
拜访 localhost:9999,能够看到这样的页面:
当然咱们还能够抉择 VIEW,而后看火焰图:
至此,咱们就胜利的获取了每个函数占用的 CPU 工夫了,上面就能够对占用较长的函数(平顶山局部)进行优化了。
5、常见性能优化伎俩
5.1 应用高效的性能包
5.1.1 Json 解析
咱们将 Json 数据寄存到 Redis 时,取出时须要将其解析为 Struct,但 go 官网自带的库性能较差,所以经常呈现瓶颈,可抉择 github.com/json-iterator 替换规范库的 encoding/json(该库次要的优化伎俩详见:http://jsoniter.com/benchmark…)。json-iterator 宣传的性能如下图:
5.1.2 深拷贝
还有时咱们须要在我的项目中应用到深拷贝的场景,能够参考这篇文章,深拷贝性能比照:https://www.yuque.com/jinsesihuanian/gpwou5/xg20gn。
5.2 空间换工夫
- 对于常见的 Json 解析问题,Redis 大 key 问题,咱们能够进行多级缓存,将 Redis 中的大 key 数据缓存到内存中,这里别忘了思考带来的缓存一致性问题。
- 对于一些 map,slice,尽量在初始化时指定大小,缩小内存的重新分配
5.3 字符串拼接
字符串的拼接优先思考 bytes.Buffer。因为 string 类型是一个不可变类型,但拼接会创立新的 string。GO 中字符串拼接常见有如下几种形式,对性能要求很高的服务尽量应用 bytes.Buffer 进行字符串拼接
- string + 操作:导致屡次对象的调配与值拷贝
- fmt.Sprintf:会动静解析参数,效率好不哪去
- strings.Join:外部是[]byte 的 append
- bytes.Buffer:能够事后调配大小,缩小对象调配与拷贝
应用 strconv 包代替 fmt.Sprintf 的格式化形式,性能比对见:https://www.cnblogs.com/yumuxu/p/4077234.html
5.4 异步解决
既然选用了 Golang,天然要用到它简略易用的并发机制啦,咱们能够把一些不影响主流程的操作齐全能够异步化,例如发送邮件、写日志等。能够把一些业务场景并行处理,例如你要一次性读取多个文件。
6、总结
代码层面的优化,是 us 级别的,而针对业务对存储进行优化,能够做到 ms 级别的,所以优化越凑近应用层成果越好。对于代码层面,优化的步骤是:
- 利用压测工具模仿场景所需的实在流量。压测工具举荐应用 https://github.com/wg/wrk 或 https://github.com/adjust/go-wrk
- pprof 等工具查看服务的 CPU、MEM 耗时
- 锁定平顶山逻辑,看优化可能性:异步解决,空间换工夫,应用高性能包 等
- 局部优化完写 benchmark 工具查看优化成果
- 整体优化完回到步骤一,从新进行 压测 +pprof 看成果,看耗时是否满足要求,如果无奈满足需要,那就换存储吧~😭
后续我会给大家出一篇对于 Golang 服务的代码开发倡议,咱们下期见,Peace😘
我是简凡,一个励志用最简略的语言,形容最简单问题的新时代农民工。求点赞,求关注,如果你对此篇文章有什么纳闷,欢送在我的微信公众号中留言,我还能够为你提供以下帮忙:
- 帮忙建设本人的常识体系
- 互联网实在高并发场景实战解说
- 不定期分享 Golang、Java 相干业内的经典场景实际
我的博客:https://besthpt.github.io/
微信公众号:
1、概述
嗨喽,大家好呀!我是简凡,一位游走于各互联网大厂间的新时代农民工。对于 C 端在线业务,服务的稳定性和吞吐量经常是评估一个零碎的重要指标,所以本文将从以下 4 点进行开展,逐渐解说 golang 中如何进行性能优化。
- 为什么要做性能优化
- 性能优化根底
- 优化思路
-
常见的优化场景
2、性能优化的目标(Why?)
咱们经常在以下时候思考到性能优化:
-
日常优化零碎:
- 接口相应工夫优化,以满足对上游的 SLA
- CPU 优化,保障在线业务 cpu idl 处于一个较高水平,升高业务量突增对系统稳定性带来的冲击
- 内存优化,缩小内存占用,开释多余的服务器资源
-
解决线上业务问题:
- 接口相应超时
- CPU 利用率飙升
3、性能优化根底(What?)
3.1 性能优化指标
在 Golang 服务中,咱们经常从以下 4 点触发去做服务的优化:
- CPU profile:报告程序的 CPU 应用状况,依照肯定频率去采集应用程序在 CPU 和寄存器下面的数据
- Memory Profile(Heap Profile):报告程序的内存应用状况
- Block Profiling:报告 goroutines 不在运行状态的状况,能够用来剖析和查找死锁等性能瓶颈
- Goroutine Profiling:报告 goroutines 的应用状况,有哪些 goroutine,它们的调用关系是怎么的
4. 性能剖析过程(How?)
4.1 如何获取性能快照
golang 中有两种类型的利用,工具性利用和服务型利用,工具性型利用的 main 函数仅一段时间,咱们本地跑单元测试的性能测试其实原理就是利用的这种。服务型利用为长期存活的后端利用,例如 RPC 服务,HTTP 服务,咱们后端系统通常都是服务型利用。
4.1.1 工具型利用获取 CPU 快照
测试 Demo 如下,这里用了一个快排的例子,利用执行完结后,就会生成一个文件,保留了咱们的 CPU profiling 数据。失去采样数据之后,应用 go tool pprof 工具进行 CPU 性能剖析。
package main
import (
"math/rand"
"os"
"runtime/pprof"
"time"
)
func generate(n int) []int {rand.Seed(time.Now().UnixNano())
nums := make([]int, 0)
for i := 0; i < n; i++ {nums = append(nums, rand.Int())
}
return nums
}
func bubbleSort(nums []int) {for i := 0; i < len(nums); i++ {for j := 1; j < len(nums)-i; j++ {if nums[j] < nums[j-1] {nums[j], nums[j-1] = nums[j-1], nums[j]
}
}
}
}
func main() {pprof.StartCPUProfile(os.Stdout)
defer pprof.StopCPUProfile()
n := 10
for i := 0; i < 5; i++ {nums := generate(n)
bubbleSort(nums)
n *= 10
}
}
这里应用的 runtime/pprof 这个剖析工具,须要指定快照打印的地位,这里打印到规范输入了。能够会与程序中的打印抵触。咱们能够本人实现写到文件中,这里能够用另一个开源工具代替github.com/pkg/profile
,它会生成一个日志快照文件到长期目录。
package main
import (
"math/rand"
"github.com/pkg/profile"
"time"
)
func generate(n int) []int {rand.Seed(time.Now().UnixNano())
nums := make([]int, 0)
for i := 0; i < n; i++ {nums = append(nums, rand.Int())
}
return nums
}
func bubbleSort(nums []int) {for i := 0; i < len(nums); i++ {for j := 1; j < len(nums)-i; j++ {if nums[j] < nums[j-1] {nums[j], nums[j-1] = nums[j-1], nums[j]
}
}
}
}
func main() {defer profile.Start(profile.MemProfile, profile.MemProfileRate(1)).Stop()
n := 10
for i := 0; i < 5; i++ {nums := generate(n)
bubbleSort(nums)
n *= 10
}
}
4.1.1 服务型利用 CPU 剖析
如果你的应用程序是始终运行的,比方 web 利用,那么能够应用 net/http/pprof 库,它可能在提供 HTTP 服务进行剖析。这样你的 HTTP 服务都会多出 /debug/pprof endpoint,拜访它会失去相似上面的内容:
package main
import (
"net/http"
_ "net/http/pprof"
)
func main() {http.ListenAndServe("0.0.0.0:8000", nil)
}
当初数据曾经能够采集了,那如何获取快照呢?咱们上一步的操作,在后盾起了一个 http server 服务,咱们间接点击 ui 中的链接就能够拿到内存快照了, 例如点击 profile,咱们就能够拿到一个 30s 的 CPU 快照,是一个 *.pb.gz 类型的二进制文件,可用于咱们前面的剖析。
- /debug/pprof/profile:拜访这个链接会主动进行 CPU profiling,继续 30s,并生成一个文件供下载
- /debug/pprof/heap:Memory Profiling 的门路,拜访这个链接会失去一个内存 Profiling 后果的文件
- /debug/pprof/block:block Profiling 的门路
- /debug/pprof/goroutines:运行的 goroutines 列表,以及调用关系
4.2 go tool 剖析性能快照
不论是工具型利用还是服务型利用,咱们应用相应的 pprof 库获取数据之后,下一步的都要对这些 数据进行剖析,咱们能够应用 go tool pprof 命令行工具。
go tool pprof 最简略的应用形式为:
go tool pprof [binary]
其中:
- binary 是利用的二进制文件,用来解析各种符号;例如:go tool pprof -http=:9999 /Users/xxxx/pprof/pprof.samples.cpu.001.pb.gz
- source 示意 profile 数据的起源,能够是本地的文件,也能够是 http 地址。此形式会在命令窗口中依照交互模式例如:go tool pprof http://127.0.0.1:8000/debug/pprof/profile
注意事项: 获取的 Profiling 数据是动静的,要想取得无效的数据,请保障利用处于较大的负载(比方正在生成中运行的服务,或者通过其余压测工具模仿拜访压力)。否则如果利用处于闲暇状态,失去的后果可能没有任何意义。
能够减少些参数来获取更多信息,例如:
# 咱们想获取 70s 的内存快照,能够减少 -seconds 参数:gotool pprof -seconds 70 http://127.0.0.1:8912/debug/pprof/profile
# 指定 http 接口,能够在 ui 上看到内存快照,参见本文 4.2.2
gotool pprof -http=0.0.0.0:8234 http://127.0.0.1:8912/debug/pprof/profile
4.2.1 直连服务剖析
go tool + 线上服务 http 接口地址的形式:
go tool pprof http://127.0.0.1:8000/debug/pprof/profile
执行下面的代码会进入交互界面如下:
runtime_pprof $ go tool pprof cpu.pprof
Type: cpu
Time: Jun 28, 2019 at 11:28am (CST)
Duration: 20.13s, Total samples = 1.91mins (568.60%)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof)
咱们能够在交互界面输出 top3
来查看程序中占用 CPU 前 3 位的函数:
(pprof) top3
Showing nodes accounting for 100.37s, 87.68% of 114.47s total
Dropped 17 nodes (cum <= 0.57s)
Showing top 3 nodes out of 4
flat flat% sum% cum cum%
42.52s 37.15% 37.15% 91.73s 80.13% runtime.selectnbrecv
35.21s 30.76% 67.90% 39.49s 34.50% runtime.chanrecv
22.64s 19.78% 87.68% 114.37s 99.91% main.logicCode
其中:
- flat:以后函数占用 CPU 的耗时
- flat:: 以后函数占用 CPU 的耗时百分比
- sun%:函数占用 CPU 的耗时累计百分比
- cum:以后函数加上调用以后函数的函数占用 CPU 的总耗时
- cum%:以后函数加上调用以后函数的函数占用 CPU 的总耗时百分比
- 最初一列:函数名称
在大多数的状况下,咱们能够通过剖析这五列得出一个应用程序的运行状况,并对程序进行优化。
咱们还能够应用 list 函数名
命令查看具体的函数剖析,例如执行 list logicCode
查看咱们编写的函数的详细分析。
(pprof) list logicCode
Total: 1.91mins
ROUTINE ================ main.logicCode in .../runtime_pprof/main.go
22.64s 1.91mins (flat, cum) 99.91% of Total
. . 12:func logicCode() {
. . 13: var c chan int
. . 14: for {
. . 15: select {
. . 16: case v := <-c:
22.64s 1.91mins 17: fmt.Printf("recv from chan, value:%v\n", v)
. . 18: default:
. . 19:
. . 20: }
. . 21: }
. . 22:}
通过剖析发现大部分 CPU 资源被 17 行占用,咱们剖析出 select 语句中的 default 没有内容会导致下面的 case v:=<-c:
始终执行。咱们在 default 分支增加一行 time.Sleep(time.Second)
即可。
4.2.2 快照文件 + 图形化工具
这种快照文件的形式益处是更加直观,能够通过图形化界面来剖析:
想要查看图形化的界面首先须要装置 graphviz 图形化工具。Mac:brew install graphviz
接下来,能够用 go tool pprof 剖析这份数据
go tool pprof -http=:9999 cpu.pprof
拜访 localhost:9999,能够看到这样的页面:
当然咱们还能够抉择 VIEW,而后看火焰图:
至此,咱们就胜利的获取了每个函数占用的 CPU 工夫了,上面就能够对占用较长的函数(平顶山局部)进行优化了。
5、常见性能优化伎俩
5.1 应用高效的性能包
5.1.1 Json 解析
咱们将 Json 数据寄存到 Redis 时,取出时须要将其解析为 Struct,但 go 官网自带的库性能较差,所以经常呈现瓶颈,可抉择 github.com/json-iterator 替换规范库的 encoding/json(该库次要的优化伎俩详见:http://jsoniter.com/benchmark…)。json-iterator 宣传的性能如下图:
5.1.2 深拷贝
还有时咱们须要在我的项目中应用到深拷贝的场景,能够参考这篇文章,深拷贝性能比照:https://www.yuque.com/jinsesihuanian/gpwou5/xg20gn。
5.2 空间换工夫
- 对于常见的 Json 解析问题,Redis 大 key 问题,咱们能够进行多级缓存,将 Redis 中的大 key 数据缓存到内存中,这里别忘了思考带来的缓存一致性问题。
- 对于一些 map,slice,尽量在初始化时指定大小,缩小内存的重新分配
5.3 字符串拼接
字符串的拼接优先思考 bytes.Buffer。因为 string 类型是一个不可变类型,但拼接会创立新的 string。GO 中字符串拼接常见有如下几种形式,对性能要求很高的服务尽量应用 bytes.Buffer 进行字符串拼接
- string + 操作:导致屡次对象的调配与值拷贝
- fmt.Sprintf:会动静解析参数,效率好不哪去
- strings.Join:外部是[]byte 的 append
- bytes.Buffer:能够事后调配大小,缩小对象调配与拷贝
应用 strconv 包代替 fmt.Sprintf 的格式化形式,性能比对见:https://www.cnblogs.com/yumuxu/p/4077234.html
5.4 异步解决
既然选用了 Golang,天然要用到它简略易用的并发机制啦,咱们能够把一些不影响主流程的操作齐全能够异步化,例如发送邮件、写日志等。能够把一些业务场景并行处理,例如你要一次性读取多个文件。
6、总结
代码层面的优化,是 us 级别的,而针对业务对存储进行优化,能够做到 ms 级别的,所以优化越凑近应用层成果越好。对于代码层面,优化的步骤是:
- 利用压测工具模仿场景所需的实在流量。压测工具举荐应用 https://github.com/wg/wrk 或 https://github.com/adjust/go-wrk
- pprof 等工具查看服务的 CPU、MEM 耗时
- 锁定平顶山逻辑,看优化可能性:异步解决,空间换工夫,应用高性能包 等
- 局部优化完写 benchmark 工具查看优化成果
- 整体优化完回到步骤一,从新进行 压测 +pprof 看成果,看耗时是否满足要求,如果无奈满足需要,那就换存储吧~😭
后续我会给大家出一篇对于 Golang 服务的代码开发倡议,咱们下期见,Peace😘
我是简凡,一个励志用最简略的语言,形容最简单问题的新时代农民工。求点赞,求关注,如果你对此篇文章有什么纳闷,欢送在我的微信公众号中留言,我还能够为你提供以下帮忙:
- 帮忙建设本人的常识体系
- 互联网实在高并发场景实战解说
- 不定期分享 Golang、Java 相干业内的经典场景实际
我的博客:https://besthpt.github.io/
微信公众号: