一. 线上引流产生背景

日常大部分的测试工作都是在测试环境下，通过模仿用户的行为来对系统进行验证，包含性能以及性能。在这个过程中，你可能会遇到以下问题:

  • 用户拜访行为比较复杂，模仿很难和用户行为统一，模仿不够实在。
  • 线下模仿场景无限，会呈现业务笼罩不全的状况。

线上引流计划的呈现为上述问题提供了很好的解题思路，线上引流实质是：通过把线上的实在流量复制到线下环境，解决测试环境模拟不够实在，或笼罩不够全面的问题。

二. 线上引流常见计划

目前不少公司都对线上引流计划进行了许多实际摸索，常见的有以下4种引流形式（不限）：

上述的几种引流形式各有利弊，有的是须要本人开发相应的工具来反对。而明天给大家
介绍的是另外一款简略易用，学习成本低的引流工具GoReplay。

三. 举荐一款引流工具：GoReplay

Gor，又称为GoReplay，是采纳Golang 编写的一个开源的 HTTP 实时流量复制工具。它只须要在 LB 或者 入口服务器上执行一个过程，就能够把生产环境的流量复制到任何中央，比方 Staging 环境、Dev 环境。罕用于压测及线上问题复现。

注:Golang 是采纳Gor 实现且开源的，意味着能够不便的集成到本人的架构中，能够用在压力测试平台、实时流量剖析、应用层防火墙等方面。

四. GoReplay工作流程

上面是goreplay官网之前颁布的工作流程图，简略来讲就是goreplay捕获线上流量，并将捕捉到的开释到指定测试服务器上。

最新GoReplay 官网上更新了一张更高逼规格的图解阐明，如下图所示：

上述流程图展现的曾经很具体了，我就不过多解释。

注：Gor不是代理人，不须要将第三方工具放到要害门路上。相同，Gor只是默默地剖析你的应用程序的流量，并不影响自身程序。

五. GoReplay反对的罕用性能

  1. Gor 反对流量的放大和放大、频率限度，这样不须要搭建和生产环境统一的服务器集群也能够正确测试。
  2. Gor 还反对依据正则表达式过滤流量，这意味着能够独自测试某个 API 服务。
  3. Gor还能够批改 HTTP 申请头，比方替换 User-Agent, 或者减少某些 HTTP Header 。
  4. Gor 还能够把申请记录到文件，以备回放和剖析。Gor 反对和 ElasticSearch 集成，将流量存入 ES 进行实时剖析。
  5. 上线前在预公布环境，应用线上实在的申请，查看是否筹备公布的版本，是否具备公布规范。
  6. 压力测试实现后，用线上实在的申请，减速后回放至测试环境，查看是否有报错等问题。
  7. 用线上的流量转发到预公布或测试环境，查看雷同流量下一些指标的反馈状况，查看外围数据是否须要改善。
  8. 等等。

六. 下载安装GoReplay

顾名思义，GoReplay是基于go语言实现的，要在指标服务器上安装go环境。装置参考可见 :https://golang.org/doc/install，筹备好go语言环境后，GoReplay间接提供了编译好的版本，非常不便，间接解压即可，可参考以下步骤:

#下载包 wget https://github.com/buger/goreplay/releases/download/v1.0.0/gor_1.0.0_x64.tar.gz #解压 tar xvf gor_1.0.0_x64.tar.gz

也能够进入到官网下载地址：https://github.com/buger/gore...下载最新的Gor二进制文件（反对Windows，Linux x64和Mac OS提供预编译的二进制文件），或者能够自行编译。

获取gor版本：
https://github.com/buger/gore...
源码地址：
https://github.com/buger/gore...
官网应用文档：
https://github.com/buger/gor/...

七. GoReplay 常用命令用法

输出参数：
• --input-raw 用于捕捉HTTP流量，须要指定IP地址或接口和应用程序端口。
• --input-file 接管通过--output-file保留流量的文件
• --input-tcp 将多个 Goreplay 实例获取的流量汇集到一个 Goreplay 实例。
输入参数：
• --output-http 重放HTTP流量到给定的端点，承受根底URL。
• --output-file 录制流量时指定的存储文件
• --output-tcp 将获取的流量转移至另外的 Goreplay 实例，并与其一起应用--input-tcp。
• --output-stdout 用于调试，输入所有数据到stdout。

• --http-allow-method 依据申请形式过滤。
• --http-allow-url url白名单，其余申请将会被抛弃。
• --http-disallow-url 遇上一个url相同，黑名单，其余的申请会被捕捉到。
输出参数：

  • –input-raw ：用来捕获http流量，须要指定ip地址和端口
  • –input-file ：接管流量形式 接管通过--output-file保留流量的文件
  • –output-file：保留流量的文件
  • –input-tcp：将多个Goreplay实例获取的流量汇集到一个Goreplay实例
    输入参数：
  • –output-stdout：终端输入
  • –output-http:重放HTTP流量到给定的端点，承受根底URL。
  • --output-tcp 将获取的流量转移至另外的 Goreplay 实例，并与其一起应用--input-tcp。
  • –output-file：录制流量时指定的存储文件
    其它参数：
  • –http-disallow-url :不容许正则匹配的URL
  • –http-allow-header :容许的Header头
  • –http-disallow-header:不容许的Header头
  • –http-allow-method:容许的申请办法，传入值为GET，POST，OPTIONS等
  • –input-file-loop:有限循环，而不是读完这个文件就进行了
  • –output-http-workers:并发申请数
  • –stats --out-http-stats 每5秒输入一次TPS数据（查看统计信息）
  • –split-output true: 依照轮训形式宰割流量
  • –output-http-timeout 30s：http超时30秒工夫设置,默认是5秒

八. GoReplay 罕用实际场景

1、流量实时复制引流（--input-raw 拦挡端口配合--output-http输入），例如将本机80端口的HTTP流量实时复制到targer_server:8080。

gor --input-raw :80 --output-http "http://target_server:8080"

2､控制台输入，获取通过本地8080端口的申请流量，而后打印到控制台。

gor --input-raw :8080 --output-stdout

上述命令将监控8080端口上所有的流量，并通过终端stdout输入。你能够通过浏览器或者curl拜访8080端口，而后在终端查看gor输入所有的http申请。

3､先录制后回放，将捕获流量保留到文件中，而后开释到其它机器，有时候实时同步流量是很难做到的, 所以Goreplay提供了这种先保留后回放的模式：
第一步, 通过--output-file保留流量:

gor --input-raw :8080 --output-file=requests.gor

上述命令将8080端口的流量，保留到requests.gor文件中(必须是.gor后缀，其它后缀经测开释时有问题)。
第二步,回放保留的流量:

gor --input-file requests.gor --output-http="http://localhost:8081"

上述命令将开释所有保留在requests.gor中的申请通过雷同的工夫程序开释到服务器http://localhost:8081

4、过滤指定申请办法，如果指标服务器应用的库与线上机器一样，且只须要引流Get办法的申请。

gor --input-raw :80  --http-allow-method GET --output-http "http://target_server:8080"

5､申请过滤，当你须要捕获指定门路的申请流量时，能够应用该机制， 如只同步/api门路下的申请

gor --input-raw :8080 --output-http staging.com --http-allow-url /api只收集申请头中合乎 api-version 为 1.0x 的申请gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^1\.0\d

6､限速机制，因为生产服务器配置个别远高于测试服务器配置，所以间接将生产服务器全副流量同步到测试服务器是不可行的，goreplay提供了两种策略：
a. 限度每秒的申请数

gor  --input-tcp :28020 --output-http "http://staging.com|10"# (每秒申请数限度10个以内)gor  --input-raw :80 --output-tcp "replay.local:28020|10%"  # (每秒申请数限度10%以内)

b. 基于Header或Url的参数限度一些申请，为指定的header或者url的申请设定限度的百分比。

gor  --input-raw :80 --output-tcp "replay.local:28020|10%" --http-header-limiter "X-API-KEY: 10%"gor  --input-raw :80 --output-tcp "replay.local:28020|10%" --http-param-limiter "api_key: 10%"

7、流量加压，当须要对线上服务进行整体性能压测时，可将线上申请扩充N倍，进行引流，将申请扩充1倍，也可放大，调整"|"前面的百分比即可。

gor --input-raw :80  --http-allow-method GET --output-http "http://target_server:8080|200%"

8、只复制某个URL申请，--http-allow-url参数，-http-allow-url参数可用正则表达式（--output-http-url-regexp在gor 0.16曾经过期，应用--http-allow-url代替）。

gor --input-raw :8080 --http-allow-method GET --output-http "http://target_server:8080" --http-allow-url mall.*hotword

9、多指标服务器的流量复制引流，有点相似nginx的mirror。

gor --input-raw :80 --output-http "http://target_server:8080" --output-http "http://target_server2:8080"

10、将流量转发到多个端点，默认状况下，它会将雷同的流量发送到所有输入。

gor --input-tcp :28020 --output-http "http://staging.com"  --output-http "http://dev.com"

11、将雷同的流量发送到多个站点，并且平分所有流量。

gor --input-raw :80 --output-http "http://staging.com"  --output-http "http://dev.com" --split-output true

12、HTTP超时，默认状况下，http申请和响应的超时工夫为5秒。你能够像这样笼罩它：

gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-timeout 30s

13、根本身份验证，如果您的开发或登台环境受根本身份验证爱护，那么能够在重放期间注入这些凭据：

gor --input-raw :80 --output-http "http://user:pass@staging.com"

14、性能压力测试，能够将流量复制到文件，而后再对他们进行回放。回放的时候，流量会维持原始的工夫距离。如果你应用了百分比来进行速率限度，那么回放的速率会相应的减少或缩小。有了这种速率限度，gor就能够用来进行压力测试。

gor --input-file "requests.gor|200%" --output-http "staging.com"

目前，input-file仅在应用基于百分比的限制器时才反对此性能。与默认限制器不同input-file，它不会升高申请速度，而会减慢速度或减速申请发射。

15 、录制与回放

./gor --input-raw :8000 --output-file=requests.gor

执行录制命令后，将会创立新文件并一直向其写入所有捕捉的申请。

16、流量回放，重播来自文件的申请。

./gor --input-file requests.gor --output-http="http://localhost:8001"

您应该看到所有记录到http://localhost:8001的申请，并且它们将以雷同的程序重播，并且与录制的工夫完全相同。

GoReplay更多用法可参考官网文档:https://github.com/buger/gore...

转载 https://developer.aliyun.com/...

关注 获取更多好文

本文由mdnice多平台公布