[TOC]

Golang+chromedp+goquery 简略爬取动态数据

兵长：

胖sir，最近一段时间正在应用golang来进行开发我的项目，缓缓的对golang有了一些理解，忽然有一天，我想用golang来实现爬取网站上的数据，例如天气预报，每日一句等等，发现这些网站的数据都是javascript动静生成，苦恼呀，不晓得如何能力把网站上的动态数据获取下来，为我所用呀，例如我抓取到动态数据之后发邮件给我哟

胖sir撩撩了本人的长发，温和的对兵长说，小伙子，golang做利用开发效率很快的，当然爬取网站上的数据也是不在话下的哟，动静的也有动静的办法，来我给你娓娓道来

Golang的装置

此步骤次要是为了关照没有在linux上装置过golang的童鞋们，若本人做过装置过golang的童鞋能够间接跳过golang简略装置步骤

下载golang软件

  • 【国内网站】https://studygolang.com/dl go语言中文网下载 go最新的安装包，依据不同的零碎，能够抉择 windows，linux，mac
  • 【能够上外网的话】拜访go语言英文网站 https://docs.studygolang.com/doc/install

解压golang

tar -C /usr/local -xzf go1.16.linux-amd64.tar.gz

配置golang

  • 将go的二进制目录增加到PATH环境变量

    vim /etc/profileexport GOROOT=/usr/local/goexport PATH=$PATH:$GOROOT/bin

从新导入配置

source /etc/profile

chromedp框架的应用

chromedp框架是github开源的，童鞋们能够释怀食用，若是有想法，能够在github上为此添砖加瓦，为开源做出本人的一份奉献

能够通过如下命令来进行下载

github.com/chromedp/chromedp

理论的代码编写

兵长，你想爬取每日一句的网站，我给你找一个例子，如爬取这个网站http://news.iciba.com/，咱们将网站上每天都会更新的一句话爬取出来

开始编码

//获取网站上爬取的数据func GetHttpHtmlContent(url string, selector string, sel interface{}) (string, error) {    options := []chromedp.ExecAllocatorOption{        chromedp.Flag("headless", true), // debug应用        chromedp.Flag("blink-settings", "imagesEnabled=false"),        chromedp.UserAgent(`Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36`),    }    //初始化参数，先传一个空的数据        options = append(chromedp.DefaultExecAllocatorOptions[:], options...)    c, _ := chromedp.NewExecAllocator(context.Background(), options...)    // create context    chromeCtx, cancel := chromedp.NewContext(c, chromedp.WithLogf(log.Printf))    // 执行一个空task, 用提前创立Chrome实例    chromedp.Run(chromeCtx, make([]chromedp.Action, 0, 1)...)    //创立一个上下文，超时工夫为40s    timeoutCtx, cancel := context.WithTimeout(chromeCtx, 40*time.Second)    defer cancel()    var htmlContent string    err := chromedp.Run(timeoutCtx,        chromedp.Navigate(url),        chromedp.WaitVisible(selector),        chromedp.OuterHTML(sel, &htmlContent, chromedp.ByJSPath),    )    if err != nil {        logger.Info("Run err : %v\n", err)        return "", err    }    //log.Println(htmlContent)    return htmlContent, nil}
  • GetHttpHtmlContent做为一个爬取网站动态数据的接口，次要性能是爬取js生成的动态数据（当然静态数据更是不在话下）
  • 第一个参数 url即为咱们须要传入的要爬取的网站地址，页面如上

  • 第二个参数 selector即为咱们爬取的数据对应的选html择器, 通过谷歌浏览器进入网站，按F12 -> 点击左上角的鼠标 -> 再点击咱们须要爬取的数据 -> 就能够看到理论的html源码（目前看到的是通过javascript动静生成数据后的）

    右键点击item-bottom -> Copy -> Copy selector 即可失去如下后果

    body > div.screen > div.banner > div.swiper-container-place > div > div.swiper-slide.swiper-slide-0.swiper-slide-visible.swiper-slide-active > a.item.item-big > div.item-bottom

    此字符串即为 GetHttpHtmlContent 函数的第二个参数selector

  • 第三个参数 咱们临时先写

    document.querySelector("body") //从body外面获取数据
  • 返回值 即为 爬取到的数据，是字符串格局的，内容是 html

如下是拓展和解释上述代码的内容

  • chromedp.Flag 给 chromedp设置参数，设置为 无头模式 headless ，无头模式即Chrome浏览器的无GUI的命令行版浏览器，但性能上和咱们平时应用的chrome没有区别，若该参数不设置为true，则在程序运行的时候，chromedp会拉取咱们环境中的chrome浏览器，显示页面
  • chromedp.Flag("blink-settings", "imagesEnabled=false")设置为不显示图片
  • htmlContent用于接管爬取的后果，是一个字符串格局，具体内容是html

  • chromedp.ByJSPath 是只以什么形式进行解析，这是一个回调函数，这个参数还能够填上面几个，按需索取

    • chromedp.ByNodeID
    • chromedp.BySearch
    • chromedp.ByID
    • chromedp.ByQueryAll
    • chromedp.ByQuery
    • chromedp.ByFunc

  • 对于chromedp波及的接口如下给兵长介绍几个

    名字阐明
    Navigate进入某个页面
    Run运行各类操作
    Screenshot截屏
    Click模仿鼠标点击
    WaitVisible等待某元素呈现
    ActionFunc执行自定义函数
    SendKeys模仿键盘输入

兵长： 应用这个框架我失去的是一串html的字符串，我也不会解析他呀，我要如何能力找到方才在页面上看到的每日一句？

胖sir：别放心，我一步一步给你说，直播教学呢，看好了， 当初咱们曾经实现了最外围的一步了，当初数据曾经获取到了，咯，我给你介绍一个神奇，goquery就能够解决上面这一串html的解析问题了

goquery第三方库的应用

我之前写过一个小接口，能够给你看看，兵长

goquery也是github开源的，童鞋们能够释怀食用哦，通过如下命令在下载goquery第三方库

go get github.com/PuerkitoBio/goquery

开始编码

//失去具体的数据func GetSpecialData(htmlContent string, selector string) (string, error) {    dom, err := goquery.NewDocumentFromReader(strings.NewReader(htmlContent))    if err != nil {        logger.Error(err)        return "", err    }    var str string    dom.Find(selector).Each(func(i int, selection *goquery.Selection) {        str = selection.Text()    })    return str, nil}
  • 第一个参数 htmlContent 就是 下面 chromedp爬取到的数据，是字符串，内容是html

  • 第二个参数即是html的选择器 ，对于这个网站，这个参数能够填 .chinese ，如

    GetSpecialData(htmlContent, ".chinese")
  • 返回值就是咱们要抓取的后果了 当你是在为梦想成真致力时，就不会有压力。

如下是对于goquery一些用法

次要是对于html各种选择器的写法应用形式，上面简略介绍一下品种，如果须要具体理解，能够给我留言哟

  • 基于HTML Element 元素的选择器
  • ID 选择器
  • Class选择器
  • 属性选择器
  • parent > child选择器
  • element + next 相邻选择器
  • element~next 兄弟选择器

胖sir：兵长，我说的这些还算清楚吧，你晓得怎么用了吗？

兵长：明~明确了，我还要多加练习，多多爬取一下不同的站数据看看成果

胖sir：诶，兵长方才你说你想将数据处理结束后，发邮件给你本人吗？

兵长：对呀，诶呀，这又是个问题。我不晓得把程序放在那里呢，放在我本人电脑外面的话，我电脑每天是要关机的，我劳动了，我的电脑也要跟着我劳动，诶，咋办呀

胖sir：好办，这个我能够举荐你用一下 阿里云服务器

如何将本人的程序部署到阿里云服务器上

本人买一个云服务器就能够很不便的将本人的监控程序或者须要始终运行的程序放在下面，这就能够7*24小时不间断的跑了，我最近感触了一下，的确好用。具体的阿里云购买形式能够尝试扫描上面的二维码或者点击链接进行购买，亲测真的好用，如何应用和简略配置，能够给我留言获取材料。

当然，须要上述整个小案例源码的，也能够给我留言哦，让咱们一起实际咱们的每一个想法，一步一步往上爬。

胖sir：兵长，我须要揭示一点哦，阿里云服务器会主动把你的运行程序敞开掉了的

兵长：啊？那么你还让我买服务器，你这不是坑我吗

胖sir：别急，我举荐的必定是好货色啦，还附带解决方案哟

screen工具

screen工具能够帮忙咱们将可执行程序部署到阿里云服务器下面，且可能始终不间断的运行

原理：

screen是在服务器上独自开一个过程，让他专门来执行后台任务。

具体操作：

  • 装置

    //ubuntu装置sudo apt-get install screen//centosyum install screen

  • 创立screen窗口

    screen -S  name例如：screen -S  ssh

  • 查看过程

    screen -ls

  • 进入本人的manager

    screen -r -d 本人的id如：screen -r -d 5295

  • 敞开screen过程

    screen -S 过程名 -X quit

大家如果有须要，能够通过此链接购买阿里云服务器，目前萌新有优惠，亲测很可，别问我是谁，我是活雷锋。

https://www.aliyun.com/activity?taskCode=messenger2101&recordId=337686&usercode=&share_source=copy_link

作者：小魔童哪吒