一、爬虫简介
爬虫是一个帮忙咱们去寻找网络上小姐姐的照片或视频并且下载到本地的技术
Emmm… 仿佛有点跑题了，百度百科上是这样解释爬虫的
是一种依照肯定的规定，主动地抓取万维网信息的程序或者脚本。
艰深的来讲，爬虫就是客户端发送申请（浏览器、手机等等），接管服务器的响应，获取指标数据的过程。包含不限于图片、数据、音频、视频等。而后进行长久化的一个过程（数据进行存储）
爬虫的利用在生活中非亲非故，比方咱们最罕用的百度搜寻、Google 搜寻；以及逢年过节用到的抢票软件；网购是用到的比价软件能够查到商品的历史价位；数据网站，比方公众号、抖音、小红书相似的数据分析网站；投票利用，通过一些路径进行刷票刷赞等
二、爬虫是否守法？
看到这是是否后背发凉，老老实实下班写个爬虫，常常加班不涨薪不说，怎么还有牢狱之灾呢？
事实上，因为爬虫被请去喝茶的例子的确不少
- 北京巧达科技波及到简历数据业务所有员工被请去喝茶。公司办公室也被查封。
- 杨某钻研 AI 人工智能 10 多年了。通过大量的模型他开发的辨认验证码的技术越来越强。再配合撞库，获取了一大批各平台的账号和明码。而后将这些数据通过守法伎俩进行变现。有趣味的能够网上搜一下，被称为全国首例利用人工智能犯 zui 的案件。
- 上海某科技公司 CEO 张某，联席 CEO& 产品负责人宋某，CTO 候某，破解了北京某公司的防爬措施后，长期爬取北京数据库的数据。并再次被害单位损失技术服务费 2 万元。最终以非法获取计算机信息零碎数据罪别离判处原告单位罚金 20 万元，判处被告人张某等四人有期徒刑九个月至一年不等的刑罚及 3 万元至 5 万元不等的罚金。
看了下面的案例是不是瑟瑟发抖呢？
事实上，爬虫在法律中是不被禁止的。然而如果如果利用爬虫获取数据的确是有肯定的守法危险。这就好比咱们生存中应用的刀，削水果切菜这都没事，然而如果用刀成心伤人这性质就不一样。
咱们该如何躲避爬虫的危险呢？
1、恪守 Robots 协定。
Robots 协定又称为 小人协定，就好比过马路的时候，遇到红灯，咱们都晓得会进行。然而你如果非要闯红灯，谁也没法阻止你。
同样 Robots 协定就是标注了哪些内容你不能爬取，然而你非要爬取也没方法。所以被称为小人协定，全凭开发者的自觉性。
Robots 通常是放在站点的根目录比方我须要查看淘宝的 Robots 协定，浏览器输出 https://www.taobao.com/robots.txt 即可看到
内容如下：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /能够看到淘宝规定了，百度的爬虫禁止（Disallow）在我这里爬取任何内容。
京东的 Robots.txt 协定 https://www.jd.com/robots.txt
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User-agent: EtaoSpider
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /能够看到京东不想让 EtaoSpider、HuihuiSpider、GwdangSpider、WochachaSpider 这四个爬虫来爬取网站内容。对于其余的爬虫，不心愿你爬取/?*,/pop/*.html ,/pinpai/*.html?* 这三个目录的内容
2、管制爬虫的频率
如果对你的爬虫频率毫无限度爬取某个网站，霎时大量的申请拜访服务器，势必减少服务器的压力，一旦服务器瘫痪了，那这种行为就跟网络攻击一个性质了。所以，你品，你细品 …
《刑法》第二百八十六条还规定，违反国家规定，对计算机信息零碎性能进行删除、批改、减少、烦扰，造成计算机信息零碎不能失常运行，后果严重的，构成犯罪，处五年以下有期徒刑或者拘役；结果特地重大的，处五年以上有期徒刑。而违反国家规定，对计算机信息零碎中存储、解决或者传输的数据和应用程序进行删除、批改、减少的操作，后果严重的，也构成犯罪，按照前款的规定处罚。3、隐衷，敏感信息不要碰
咱们平时逛的技术论坛的文章，或者招聘网站的一些公司信息。这些属于公开的内容，是能够释怀的爬取。然而如果你通过某些路径，爬取到他人的隐衷、敏感信息。这个是属于违法行为，更别提拿这些数据进行获利了。
《网络安全法》第四十四条 任何集体和组织不得窃取或者以其余非法形式获取个人信息。因而，如果爬虫在未经用户批准的状况下大量抓取用户的个人信息，则有可能形成非法收集个人信息的违法行为。4、违反所有人志愿
常识付费的概念曾经进去很久了，如果通过付费账号爬取付费的内容，导致内容提供方丢失了内容的控制权，从而让本人的利益收到了损失。
三、爬虫的矛与盾
爬虫的存在，所以很多网站会有肯定的反爬措施。
就好比为了避免外人闯入本人家中每家每户都装了门锁，有的锁可能是 PDD 几块钱同款的锁，有的锁可能会几十块钱的，而有的则是装了防盗门。
常见的反爬措施有哪些？
- 申请头（Headers）/User-Agent 限度 — PDD 同款
这是最根底的反爬措施，比方浏览器中会从你的申请头中获取 Rederer（下级链接），判断这次申请是浏览器申请还是机器申请。
User-Agent 是用户拜访网站时的浏览器标识。
以上两种形式，咱们都能够通过包装申请头或者 User-Agent 对象进行破解
- IP 限度、拜访频率限度
通过判断某个 IP 或者拜访的频率去判断是否是失常行为，能够通过构建代理池去进行爬取，或者每次申请之后都距离肯定的工夫来进行爬取
- 登录或者验证码限度
有些数据必须是登录用户才能够进行爬取，或者在爬取的过程中会是不是的弹出一个验证码校验。魔高一尺道高一丈，能够通过模仿登录或者接入第三方打码平台进行验证码辨认
- Ajax 动静加载
有些网站为了防止爬虫，会加载完网页的源代码之后会在浏览器中执行 JS 程序，而后通过 JS 代码获取要展示的内容进行异步渲染。
对于这种反爬策略，最简略粗犷的办法就是应用 Selenium。
- JS 加密
在进行申请时，携带了通过 js 算法生成的加密参数。我没记错的话，网易云音乐就是应用的这种反爬策略。遇到这种状况能够进行 js 代码调试，而后剖析它的逻辑实现，而后让本人的爬虫依照同样的逻辑生成加密参数即可。
- 相互挫伤型
有些网站不得不拜服，它检测到你是一个爬虫程序，不仅不禁止你的拜访，还要装作不晓得的样子，而后给你返回谬误的数据。好像在对爬虫说