@[toc]

文章首发：https://mp.weixin.qq.com/s/tJ...

web scraper

简介：

Web Scraper分为chrome插件和云服务两种，云服务是免费的，chrome插件是收费的，这里说的就是chrome插件这种。
Web Scraper插件，能够让你以“所见即所得”的形式筛选要提取的网页数据，造成模版，当前能够随时执行该模版，并且执行后果能够导出成Csv格局。
web scraper 比拟相似selenium和火车头浏览器，不过web scraper性能要少的多，不过更加玲珑，学习老本更低

长处

  • 抓取须要登录的数据较不便，因为这个插件是运行在浏览器上的。
  • 只有抓取频率慢一点，被网站屏蔽的概率较小，也因为是浏览器的起因，这就像是实在的用户拜访一样。
  • 学习成本低

毛病

  • 如同并不能做验证码辨认
  • 抓取效率较低，绝对于爬虫程序来说，Web scraper没法大并发，疾速切换IP等，所以大量级的数据抓取用Web Scrpaer不适宜，缓缓抓大几千网页还是能够。
  • 插件自身是不反对配置定时工作的，云服务提供了这种性能，不过是免费的，到是能够尝试应用Python驱动谷歌来进而来操作web scraper的定时

下载地址：

https://www.webscraper.io/

crx文件：jnhgnonknehpejjnehehllkliplmbmhn_0_2_0_18.crx

操作

装置

谷歌浏览器

  1. 关上google浏览器，进入利用

  1. 点击网上利用商店

  1. 输入框搜寻web scraper，点击增加到chrome

  1. 装置实现

火狐浏览器

  1. 点击右上角的菜单按钮，而后点击进入web开发者

  1. 点击获取更多工具

  1. 在搜寻框里输出web scraper进行搜寻

  1. 点击增加到 Firefox

应用阐明

  1. 进入谷歌浏览器，按F12进入开发者模式
  2. 装置好web scraper插件之后呢，会在最初呈现web scraper标示

  1. 点击进入web scraper

  1. 首先，咱们点击create new sitemaps -->create sitemaps，来创立一个爬虫我的项目
  2. 输出爬虫名称和须要采集的url，点击创立我的项目

  1. 点击Add new selector创立一个选择器

  1. 配置相干参数

  1. 运行爬虫，查看数据

关注我获取更多内容