关于go:Go语言学习笔记Http请求Gorequest使用

最近几天部署代理池的时候，用Python写了requests申请测试IP地址检测连通性的脚本。然而发现了一个问题，requests.get带代理申请有时候申请不通。
我初步认为代理的问题，然而之后我用了curl申请发现代理是失常的，用Go写了测试发现还是失常的。难道是requests的问题？目前不晓得是什么起因，之后我用Go写了代理的测试，由此我发现了一个Go语言比拟好用的Http申请的包——Gorequest。

Go语言中net/http的代理申请
net/http申请整体流程并不简单，用nrt/http包的get，post办法都能够实现。
然而，在配置代理上，须要独自配置Client客户端：

1.//发送申请  
2.rqt, err := http.NewRequest("GET", testApi, nil)  
3.if err != nil {  
4.    fmt.Println(err)  
5.    return  
6.}  
7.//配置代理  
8.client := &http.Client{  
9.    Transport: &http.Transport{  
10.        Proxy: http.ProxyURL(urlProxy),  
11.    },  
12.}  
13.response, err := client.Do(rqt)  
14.if err != nil {  
15.    fmt.Println(err)  
16.    panic(err)  
17.    return  
18.}  

直到我发现了Gorequest

Gorequest
$ go get github.com/parnurzeal/gorequest //装置
get申请：

1.request := gorequest.New()  
2.resp, body, errs := request.Get(url).End()  

gorequest代理，非常简单

1.request := gorequest.New().Proxy("代理")  

Gorequest获取代理并进行测试
获取代理办法
定义一个getRes函数，接管url，进行http申请并返回申请内容

1.func getRes(url string) string{  
2.    defer func() {  
3.        err := recover()  
4.        if err != nil {  
5.            fmt.Println(time.Now().Format("2006-01-02 15:04:05 07"), "【http error】", "返回信息:", err)  
6.        }  
7.    }()  
8.    //获取代理  
9.    _, body, errs := gorequest.New().Get(url).End()  
10.    if errs != nil {  
11.        panic(errs)  
12.    }  
13.    return body  
14.}  

定义一个getIp办法，获取代理并解决返回的json（首先定义一个构造体以便解决json）

1.type reqinfo struct {  
2.    Code int //返回后果代码  
3.    Success bool //success参数是否申请胜利  
4.    Msg,RequestIp string //返回信息和本地申请的IP地址  
5.    Data []map[string]interface{} //返回的IP，类型是以key为字符串，值为空接口的map组成的array   
6.}  

1.func getiP(getipUrl string){  
2.    defer func() {  
3.        err := recover()  
4.        if err != nil {  
5.            fmt.Println(time.Now().Format("2006-01-02 15:04:05 07"), "【http error】", "返回信息:", err)  
6.        }  
7.    }()  
8.    body :=getRes(getipUrl)  
9.    fmt.Println(body)  
10.    //解决json  
11.    var info reqinfo  
12.    err := json.Unmarshal([]byte(body),&info)  
13.    if err != nil {  
14.        fmt.Println("json error",err)  
15.    }  
16.}  

for循环并用goroutine多线程检测IP

1.for _,v := range info.Data{  
2.    IP := v["ip"]  
3.    port := v["port"]  
4.    proxyUrl := fmt.Sprint("http://",IP,":",port)  
5.    fmt.Println(proxyUrl)  
6.    url := "https://api.myip.la/en?json"  
7.    wg.Add(1)  
8.    go ipcheck(url,proxyUrl)  
9.}  
10.wg.Wait() 

1.func ipcheck(url string,proxy string){  
2.    request := gorequest.New().Proxy(proxy)  
3.    _, body, errs := request.Get(url).  
4.        Set("User-Agent", `Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36`).  
5.        End()  
6.    if errs != nil {  
7.        fmt.Println(errs)  
8.    }  
9.    fmt.Println(body)  
10.    defer wg.Done()  
11.    defer func() {  
12.        err := recover()  
13.        if err != nil {  
14.            fmt.Println(time.Now().Format("2006-01-02 15:04:05 07"), "【http error】", "返回信息:", err)  
15.        }  
16.    }()  
17.}  

测试后果

本次代理测试应用的是ipidea的代理，地区笼罩广，亲测测试通过率不低，新用户能够白嫖流量哦。
地址：http://www.ipidea.net/

残缺代码

1.package main  
2.   
3.import (  
4.    "encoding/json"  
5.    "fmt"  
6.    "github.com/parnurzeal/gorequest"  
7.    "sync"  
8.    "time"  
9.)  
10.   
11.var wg sync.WaitGroup  
12.   
13.type reqinfo struct {  
14.    Code int  
15.    Success bool  
16.    Msg,RequestIp string  
17.    Data []map[string]interface{}  
18.}  
19.   
20.//api  
21.func getRes(url string) string{  
22.    defer func() {  
23.        err := recover()  
24.        if err != nil {  
25.            fmt.Println(time.Now().Format("2006-01-02 15:04:05 07"), "【http error】", "返回信息:", err)  
26.        }  
27.    }()  
28.    //获取代理  
29.    _, body, errs := gorequest.New().Get(url).End()  
30.    if errs != nil {  
31.        panic(errs)  
32.    }  
33.    return body  
34.}  
35.   
36.func ipcheck(url string,proxy string){  
37.    request := gorequest.New().Proxy(proxy)  
38.    _, body, errs := request.Get(url).  
39.        Set("User-Agent", `Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36`).  
40.        End()  
41.    if errs != nil {  
42.        fmt.Println(errs)  
43.        //panic(errs)  
44.    }  
45.    fmt.Println(body)  
46.    defer wg.Done()  
47.    defer func() {  
48.        err := recover()  
49.        if err != nil {  
50.            fmt.Println(time.Now().Format("2006-01-02 15:04:05 07"), "【http error】", "返回信息:", err)  
51.        }  
52.    }()  
53.}  
54.   
55.func getiP(getipUrl string){  
56.    defer func() {  
57.        err := recover()  
58.        if err != nil {  
59.            fmt.Println(time.Now().Format("2006-01-02 15:04:05 07"), "【http error】", "返回信息:", err)  
60.        }  
61.    }()  
62.    body :=getRes(getipUrl)  
63.    fmt.Println(body)  
64.    //解决json  
65.    var info reqinfo  
66.    err := json.Unmarshal([]byte(body),&info)  
67.    if err != nil {  
68.        fmt.Println("json error",err)  
69.    }  
70.    for _,v := range info.Data{  
71.        IP := v["ip"]  
72.        port := v["port"]  
73.        proxyUrl := fmt.Sprint("http://",IP,":",port)  
74.        fmt.Println(proxyUrl)  
75.        url := "https://api.myip.la/en?json"  
76.        wg.Add(1)  
77.        go ipcheck(url,proxyUrl)  
78.    }  
79.    wg.Wait()  
80.}  
81.   
82.func main() {  
83.    getipUrl := "代理链接"  
84.    getiP(getipUrl)  
85.}