简介
对于一些有肯定规模或盈利性质比拟强的网站，简直都会做一些防爬措施，防爬措施一般来说有两种：一种是做身份验证，间接把虫子挡在了门口，另一种是在网站设置各种反爬机制，让虫子知难而返。
假装策略
咱们晓得即便是一些规模很小的网站通常也会对来访者的身份做一下查看，如验证申请 Headers，而对于那些上了肯定规模的网站就更不用说了。因而，为了让咱们的爬虫可能胜利爬取所需数据信息，咱们须要让爬虫进行假装，简略来说就是让爬虫的行为变得像普通用户拜访一样。
2.1 Request Headers 问题
为了演示我应用百度搜寻 163 邮箱
应用 F12 工具看一下申请信息
在上图中，咱们能够看到 Request Headers 中蕴含 Referer 和 User-Agent 两个属性信息，Referer 的作用是通知服务器该网页是从哪个页面链接过去的，User-Agent 中文是用户代理，它是一个非凡字符串头，作用是让服务器可能辨认用户应用的操作系统、CPU 类型、浏览器等信息。通常的解决策略是：1）对于要查看 Referer 的网站就加上；2）对于每个 request 都增加 User-Agent。
2.2 IP 限度问题
有时咱们可能会对一些网站进行长期或大规模的爬取，而咱们在爬取时根本不会变换 IP，有的网站可能会监控一个 IP 的拜访频率和次数，一但超过这个阈值，就可能认作是爬虫，从而对其进行了屏蔽，对于这种状况，咱们要采取间歇性拜访的策略。
通常咱们爬取是不会变换 IP 的，但有时可能会有一些非凡状况，要长时间不间断对某网站进行爬取，这时咱们就可能须要采纳 IP 代理的形式，但这种形式个别会减少咱们开销，也就是可能要多花钱。
总结
有些时候咱们进行爬取时 Request Headers 什么的曾经做好了假装，却并未失去如愿以偿的后果，可能会呈现如下几种状况：失去的信息不残缺、失去不相干的信息、得不到信息，这种状况咱们就须要钻研网站的防爬机制，对其进行详细分析了。常见的几种我列一下：
1）不规则信息：网址上会有一些没有规定的一长串信息，这种状况通常采纳 selenium（模仿浏览器，效率会低一些）解决；2）动静校验码：比方依据工夫及一些其余自定义规定生成，这种状况咱们就须要找到其规定进行破解了；3）动静交互：须要与页面进行交互能力通过验证，能够采纳 selenium 解决；4）分批次异步加载：这种状况获取的信息可能不残缺，能够采纳 selenium 解决。