共计 5560 个字符,预计需要花费 14 分钟才能阅读完成。
一. 线上引流产生背景
日常大部分的测试工作都是在测试环境下,通过模仿用户的行为来对系统进行验证,包含性能以及性能。在这个过程中,你可能会遇到以下问题:
- 用户拜访行为比较复杂,模仿很难和用户行为统一,模仿不够实在。
- 线下模仿场景无限,会呈现业务笼罩不全的状况。
线上引流计划的呈现为上述问题提供了很好的解题思路,线上引流实质是:通过把线上的实在流量复制到线下环境,解决测试环境模拟不够实在,或笼罩不够全面的问题。
二. 线上引流常见计划
目前不少公司都对线上引流计划进行了许多实际摸索,常见的有以下 4 种引流形式(不限):
上述的几种引流形式各有利弊,有的是须要本人开发相应的工具来反对。而明天给大家
介绍的是另外一款简略易用,学习成本低的引流工具 GoReplay。
三. 举荐一款引流工具:GoReplay
Gor,又称为 GoReplay,是采纳 Golang 编写的一个开源的 HTTP 实时流量复制工具。它只须要在 LB 或者 入口服务器上执行一个过程,就能够把生产环境的流量复制到任何中央,比方 Staging 环境、Dev 环境。罕用于压测及线上问题复现。
注:Golang 是采纳 Gor 实现且开源的,意味着能够不便的集成到本人的架构中,能够用在压力测试平台、实时流量剖析、应用层防火墙等方面。
四. GoReplay 工作流程
上面是 goreplay 官网之前颁布的工作流程图,简略来讲就是 goreplay 捕获线上流量,并将捕捉到的开释到指定测试服务器上。
最新 GoReplay 官网上更新了一张更高逼规格的图解阐明,如下图所示:
上述流程图展现的曾经很具体了,我就不过多解释。
注:Gor 不是代理人,不须要将第三方工具放到要害门路上。相同,Gor 只是默默地剖析你的应用程序的流量,并不影响自身程序。
五. GoReplay 反对的罕用性能
- Gor 反对流量的放大和放大、频率限度,这样不须要搭建和生产环境统一的服务器集群也能够正确测试。
- Gor 还反对依据正则表达式过滤流量,这意味着能够独自测试某个 API 服务。
- Gor 还能够批改 HTTP 申请头,比方替换 User-Agent, 或者减少某些 HTTP Header。
- Gor 还能够把申请记录到文件,以备回放和剖析。Gor 反对和 ElasticSearch 集成,将流量存入 ES 进行实时剖析。
- 上线前在预公布环境,应用线上实在的申请,查看是否筹备公布的版本,是否具备公布规范。
- 压力测试实现后,用线上实在的申请,减速后回放至测试环境,查看是否有报错等问题。
- 用线上的流量转发到预公布或测试环境,查看雷同流量下一些指标的反馈状况,查看外围数据是否须要改善。
- 等等。
六. 下载安装 GoReplay
顾名思义,GoReplay 是基于 go 语言实现的,要在指标服务器上安装 go 环境。装置参考可见 :https://golang.org/doc/install,筹备好 go 语言环境后,GoReplay 间接提供了编译好的版本,非常不便,间接解压即可,可参考以下步骤:
# 下载包
wget https://github.com/buger/goreplay/releases/download/v1.0.0/gor_1.0.0_x64.tar.gz
#解压
tar xvf gor_1.0.0_x64.tar.gz
也能够进入到官网下载地址:https://github.com/buger/gore… 下载最新的 Gor 二进制文件(反对 Windows,Linux x64 和 Mac OS 提供预编译的二进制文件),或者能够自行编译。
获取 gor 版本:
https://github.com/buger/gore…
源码地址:
https://github.com/buger/gore…
官网应用文档:
https://github.com/buger/gor/…
七. GoReplay 常用命令用法
输出参数:
• –input-raw 用于捕捉 HTTP 流量,须要指定 IP 地址或接口和应用程序端口。
• –input-file 接管通过 –output-file 保留流量的文件
• –input-tcp 将多个 Goreplay 实例获取的流量汇集到一个 Goreplay 实例。
输入参数:
• –output-http 重放 HTTP 流量到给定的端点,承受根底 URL。
• –output-file 录制流量时指定的存储文件
• –output-tcp 将获取的流量转移至另外的 Goreplay 实例,并与其一起应用 –input-tcp。
• –output-stdout 用于调试,输入所有数据到 stdout。
• –http-allow-method 依据申请形式过滤。
• –http-allow-url url 白名单,其余申请将会被抛弃。
• –http-disallow-url 遇上一个 url 相同,黑名单,其余的申请会被捕捉到。
输出参数:
- –input-raw:用来捕获 http 流量,须要指定 ip 地址和端口
- –input-file:接管流量形式 接管通过 –output-file 保留流量的文件
- –output-file:保留流量的文件
- –input-tcp:将多个 Goreplay 实例获取的流量汇集到一个 Goreplay 实例
输入参数: - –output-stdout:终端输入
- –output-http: 重放 HTTP 流量到给定的端点,承受根底 URL。
- –output-tcp 将获取的流量转移至另外的 Goreplay 实例,并与其一起应用 –input-tcp。
- –output-file:录制流量时指定的存储文件
其它参数: - –http-disallow-url : 不容许正则匹配的 URL
- –http-allow-header : 容许的 Header 头
- –http-disallow-header: 不容许的 Header 头
- –http-allow-method: 容许的申请办法,传入值为 GET,POST,OPTIONS 等
- –input-file-loop: 有限循环,而不是读完这个文件就进行了
- –output-http-workers: 并发申请数
- –stats –out-http-stats 每 5 秒输入一次 TPS 数据(查看统计信息)
- –split-output true: 依照轮训形式宰割流量
- –output-http-timeout 30s:http 超时 30 秒工夫设置, 默认是 5 秒
八. GoReplay 罕用实际场景
1、流量实时复制引流(–input-raw 拦挡端口配合 –output-http 输入),例如将本机 80 端口的 HTTP 流量实时复制到 targer_server:8080。
gor --input-raw :80 --output-http "http://target_server:8080"
2、控制台输入,获取通过本地 8080 端口的申请流量,而后打印到控制台。
gor --input-raw :8080 --output-stdout
上述命令将监控 8080 端口上所有的流量,并通过终端 stdout 输入。你能够通过浏览器或者 curl 拜访 8080 端口,而后在终端查看 gor 输入所有的 http 申请。
3、先录制后回放,将捕获流量保留到文件中,而后开释到其它机器,有时候实时同步流量是很难做到的, 所以 Goreplay 提供了这种先保留后回放的模式:
第一步, 通过 –output-file 保留流量:
gor --input-raw :8080 --output-file=requests.gor
上述命令将 8080 端口的流量,保留到 requests.gor 文件中 (必须是.gor 后缀,其它后缀经测开释时有问题)。
第二步, 回放保留的流量:
gor --input-file requests.gor --output-http="http://localhost:8081"
上述命令将开释所有保留在 requests.gor 中的申请通过雷同的工夫程序开释到服务器 http://localhost:8081
4、过滤指定申请办法,如果指标服务器应用的库与线上机器一样,且只须要引流 Get 办法的申请。
gor --input-raw :80 --http-allow-method GET --output-http "http://target_server:8080"
5、申请过滤,当你须要捕获指定门路的申请流量时,能够应用该机制,如只同步 /api 门路下的申请
gor --input-raw :8080 --output-http staging.com --http-allow-url /api
只收集申请头中合乎 api-version 为 1.0x 的申请
gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^1\.0\d
6、限速机制,因为生产服务器配置个别远高于测试服务器配置,所以间接将生产服务器全副流量同步到测试服务器是不可行的,goreplay 提供了两种策略:
a. 限度每秒的申请数
gor --input-tcp :28020 --output-http "http://staging.com|10"# (每秒申请数限度 10 个以内)
gor --input-raw :80 --output-tcp "replay.local:28020|10%" # (每秒申请数限度 10% 以内)
b. 基于 Header 或 Url 的参数限度一些申请,为指定的 header 或者 url 的申请设定限度的百分比。
gor --input-raw :80 --output-tcp "replay.local:28020|10%" --http-header-limiter "X-API-KEY: 10%"
gor --input-raw :80 --output-tcp "replay.local:28020|10%" --http-param-limiter "api_key: 10%"
7、流量加压,当须要对线上服务进行整体性能压测时,可将线上申请扩充 N 倍,进行引流,将申请扩充 1 倍,也可放大,调整 ”|” 前面的百分比即可。
gor --input-raw :80 --http-allow-method GET --output-http "http://target_server:8080|200%"
8、只复制某个 URL 申请,–http-allow-url 参数,-http-allow-url 参数可用正则表达式(–output-http-url-regexp 在 gor 0.16 曾经过期,应用 –http-allow-url 代替)。
gor --input-raw :8080 --http-allow-method GET --output-http "http://target_server:8080" --http-allow-url mall.*hotword
9、多指标服务器的流量复制引流,有点相似 nginx 的 mirror。
gor --input-raw :80 --output-http "http://target_server:8080" --output-http "http://target_server2:8080"
10、将流量转发到多个端点,默认状况下,它会将雷同的流量发送到所有输入。
gor --input-tcp :28020 --output-http "http://staging.com" --output-http "http://dev.com"
11、将雷同的流量发送到多个站点,并且平分所有流量。
gor --input-raw :80 --output-http "http://staging.com" --output-http "http://dev.com" --split-output true
12、HTTP 超时,默认状况下,http 申请和响应的超时工夫为 5 秒。你能够像这样笼罩它:
gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-timeout 30s
13、根本身份验证,如果您的开发或登台环境受根本身份验证爱护,那么能够在重放期间注入这些凭据:
gor --input-raw :80 --output-http "http://user:pass@staging.com"
14、性能压力测试,能够将流量复制到文件,而后再对他们进行回放。回放的时候,流量会维持原始的工夫距离。如果你应用了百分比来进行速率限度,那么回放的速率会相应的减少或缩小。有了这种速率限度,gor 就能够用来进行压力测试。
gor --input-file "requests.gor|200%" --output-http "staging.com"
目前,input-file 仅在应用基于百分比的限制器时才反对此性能。与默认限制器不同 input-file,它不会升高申请速度,而会减慢速度或减速申请发射。
15、录制与回放
./gor --input-raw :8000 --output-file=requests.gor
执行录制命令后,将会创立新文件并一直向其写入所有捕捉的申请。
16、流量回放,重播来自文件的申请。
./gor --input-file requests.gor --output-http="http://localhost:8001"
您应该看到所有记录到 http://localhost:8001 的申请,并且它们将以雷同的程序重播,并且与录制的工夫完全相同。
GoReplay 更多用法可参考官网文档:https://github.com/buger/gore…
转载 https://developer.aliyun.com/…
关注 获取更多好文
本文由 mdnice 多平台公布