当今大数据的时代，网络爬虫曾经成为了获取数据的一个重要伎俩。
但要学习好爬虫并没有那么简略。首先知识点和方向切实是太多了，它关系到了计算机网络、编程根底、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把当初一些支流的技术栈都连贯在了一起。正因为涵盖的方向多，因而学习的货色也十分零散和芜杂，很多初学者搞不清楚到底要学习哪些常识，学习过程中遇到反爬也不晓得用什么办法来解决，本篇咱们来做一些演绎和总结。
初学爬虫
一些最根本的网站，往往不带任何反爬措施。比方某个博客站点，咱们要爬全站的话就顺着列表页爬到文章页，再把文章的工夫、作者、注释等信息爬下来就能够了。
那代码怎么写呢？用 Python 的 requests 等库就够了，写一个根本的逻辑，顺着把一篇篇文章的源码获取下来，解析的话用 XPath、BeautifulSoup、PyQuery 或者正则表达式，或者粗犷的字符串匹配把想要的内容抠出来，再加个文本写入存下来就完事了。
代码很简略，就几个办法调用。逻辑很简略，几个循环加存储。最初就能看到一篇篇文章就被咱们存到本人的电脑外面了。当然有的同学可能不太会写代码或者都懒得写，那么利用根本的可视化爬取工具，如某爪鱼、某裔采集器也能通过可视化点选的形式把数据爬下来。
如果存储方面略微扩大一下的话，能够对接上 MySQL、MongoDB、Elasticsearch、Kafka 等等来保留数据，实现长久化存储。当前查问或者操作会更不便。
反正，不论效率如何，一个齐全没有反爬的网站用最最根本的形式就搞定了。
到这里，你就说你会爬虫了吗？不，还差的远呢。
Ajax、动静渲染
随着互联网的倒退，前端技术也在一直变动，数据的加载形式也不再是单纯的服务端渲染了。当初你能够看到很多网站的数据可能都是通过接口的模式传输的，或者即便不是接口那也是一些 JSON 的数据，而后通过 JavaScript 渲染得进去的。
这时候，你要再用 requests 来爬那就不顶用了，因为 requests 爬下来的源码是服务端渲染失去的，浏览器看到页面的和 requests 获取的后果是不一样的。真正的数据是通过 JavaScript 执行的进去的，数据起源可能是 Ajax，也可能是页面里的某些 Data，也可能是一些 ifame 页面等等，不过大多数状况下可能是 Ajax 接口获取的。
所以很多状况下须要剖析 Ajax，晓得这些接口的调用形式之后再用程序来模仿。然而有些接口带着加密参数，比方 token、sign 等等，又不好模仿，咋整呢？
一种办法就是去剖析网站的 JavaScript 逻辑，死抠外面的代码，揪出来这些参数是怎么结构的，找出思路来了之后再用爬虫模仿或重写就行了。如果你解进去了，那么间接模仿的形式效率会高十分多，这外面就须要一些 JavaScript 根底了，当然有些网站加密逻辑做的太牛逼了，你可能花一个星期也解不进去，最初放弃了。
那这样解不进去或者不想解，那咋办呢？这时候能够有一种简略粗犷的办法就是间接用模仿浏览器的形式来爬取，比方用 Puppeteer、Pyppeteer、Selenium、Splash 等，这样爬取到的源代码就是真正的网页代码，数据天然就好提取了，同时也就绕过剖析 Ajax 和一些 JavaScript 逻辑的过程。这种形式就做到了可见即可爬，难度也不大，同时模仿了浏览器，也不太会有一些法律方面的问题。
但其实前面的这种办法也会遇到各种反爬的状况，当初很多网站都会去辨认 webdriver，看到你是用的 Selenium 等工具，间接干掉或不返回数据，所以你碰到这种网站还得来专门解一下这个问题。
多过程、多线程、协程
下面的状况如果用单线程的爬虫来模仿是比较简单的，然而有个问题就是速度慢啊。
爬虫是 IO 密集型的工作，所以可能大多数状况下都在期待网络的响应，如果网络响应速度慢，那就得始终等着。但这个空余的工夫其实能够让 CPU 去做更多事件。那怎么办呢？多开点线程吧。
所以这时候咱们就能够在某些场景下加上多过程、多线程，尽管说多线程有 GIL 锁，但对于爬虫来说其实影响没那么大，所以用上多过程、多线程都能够成倍地进步爬取速度，对应的库就有 threading、multiprocessing 了。
异步协程就更牛逼了，用 aiohttp、gevent、tornado 等等的基本上你想搞多少并发就搞多少并发，然而还是悠着点，别把人家网站搞挂了。
总之，用上这几个，爬虫速度就提上来了。
但速度提上来了不肯定是坏事，反爬接着必定就要来了，封你 IP、封你账号、弹验证码、返回假数据，所以有时候龟速爬仿佛也是个解决办法？
分布式
多线程、多过程、协程都能减速，但究竟还是单机的爬虫。要真正做到规模化，还得来靠分布式爬虫来搞。
分布式的外围是什么？资源共享。比方爬取队列共享、去重指纹共享等等。
咱们能够应用一些根底的队列或组件来实现分布式，比方 RabbitMQ、Celery、Kafka、Redis 等等，但通过很多人的尝试，本人去实现一个分布式爬虫，性能和扩展性总会呈现一些问题，当然特地牛逼的除外哈。不少企业外部其实也有本人开发的一套分布式爬虫，和业务更严密，这种当然是最好了。
当初支流的 Python 分布式爬虫还是基于 Scrapy 的，对接 Scrapy-Redis、Scrapy-Redis-BloomFilter 或者用 Scrapy-Cluster 等等，他们都是基于 Redis 来共享爬取队列的，总会多多少少遇到一些内存的问题。所以一些人也思考对接到了其余的音讯队列下面，比方 RabbitMQ、Kafka 等等，解决一些问题，效率也不差。
总之，要进步爬取效率，分布式还是必须要把握的。
验证码
爬虫不免遇到反爬，验证码就是其中之一。要会反爬，那首先就要会解验证码。
当初你能够看到很多网站都会有各种各样的验证码了，比方最简略的图形验证码，要是验证码的文字规整的话，OCR 过一遍或者根本的模型库都能辨认，不想搞这个的话能够间接去对接个打码平台来搞，准确率还是有的。
然而你可能当初都见不到什么图形验证码了，都是一些行为验证码，如某验、某盾等等，国外也有很多，比方 reCaptcha 等等。一些略微简略一点的，比方滑动的，你能够找点方法辨认缺口，比方图像处理比对、深度学习辨认都是能够的。轨迹呢本人写个模仿正常人行为的，加点抖动之类的。有了轨迹之后咋模仿呢，如果你牛逼，那么能够间接去剖析验证码的 JavaScript 逻辑，把轨迹数据录入，那就能失去外面的一些加密参数，间接拿着这些参数放到表单或接口外面就能间接用了。当然也能够用模仿浏览器的形式来拖动，也能通过肯定的形式拿到加密参数，或者间接用模仿浏览器的形式把登录一起做了，拿着 Cookies 来爬也行。
当然拖动只是一种验证码，还有文字点选、逻辑推理等，要是真不想搞，能够找打码平台来解进去再模仿，但毕竟花钱的，一些高手就会抉择本人训练深度学习相干的模型，收集数据、标注、训练，针对不同的业务训练不同的模型。这样有了核心技术，也不必再去花钱找打码平台了，再钻研下验证码的逻辑模拟一下，加密参数就能解进去了。不过有的验证码难得很，有的我也没搞定。
当然有些验证码可能是申请过于频繁而弹出来的，这种如果换个 IP 什么的也能解。
封 IP
封 IP 也是个令人头疼的事，卓有成效的办法就是换代理了。
代理很多种，市面上收费的，免费的太多太多了。
首先能够把市面上收费的代理用起来，本人搭建一个代理池，收集当初全网所有的收费代理，而后加一个测试器始终一直测试，测试的网址能够改成你要爬的网址。这样测试通过的个别都能间接拿来爬你的指标网站。我本人也搭建过一个代理池，当初对接了一些收费代理，定时爬、定时测，还写了个 API 来取，放在 GitHub 了：https://github.com/Python3WebSpider/ProxyPool，打好了 Docker 镜像，提供了 Kubernetes 脚本，大家能够间接拿来用。
付费代理也是一样，很多商家提供了代理提取接口，申请一下就能获取几十几百个代理，咱们能够同样把它们接入到代理池外面。但这个代理也分各种套餐，什么凋谢代理、独享代理等等的品质和被封的几率也是不一样的。
有的商家还利用隧道技术搭了代理，这样代理的地址和端口咱们是不晓得的，代理池是由他们来保护的，比方某布云，这样用起来更省心一些，然而可控性就差一些。
还有更稳固的代理，比方拨号代理、蜂窝代理等等，接入老本会高一些，然而肯定水平上也能解决一些封 IP 的问题。
不过这些背地也不简略，为啥一个好好的高匿代理就是莫名其妙爬不了，背地的一些事就不多讲了。
## 封账号
有些信息须要模仿登录能力爬嘛，如果爬的过快，人家网站间接把你的账号封禁了，就啥都没得说了。比方爬公众号的，人家把你 WX 号封了，那就全完了。
一种解决办法当然就是加快频率，管制下节奏。
还有种办法就是看看别的终端，比方手机页、App 页、wap 页，看看有没有能绕过登录的法子。
另外比拟好的办法，那就是分流。如果你号足够多，建一个池子，比方 Cookies 池、Token 池、Sign 池反正不论什么池吧，多个账号跑进去的 Cookies、Token 都放到这个池子外面，用的时候随机从外面拿一个。如果你想保障爬取效率不变，那么 100 个账号相比 20 个账号，对于每个账号对应的 Cookies、Token 的取用频率就变成原来的了 1/5，那么被封的概率也就随之升高了。
奇葩的反爬
下面说的是几种比拟支流的反爬，当然还有十分多奇葩的反爬。比方返回假数据、返回图片化数据、返回乱序数据、返回骂人的数据、返回求饶的数据，那都具体情况看着办吧。
这些反爬也得小心点，之前见过一个反爬间接返回 rm -rf / 的也不是没有，你要是正好有个脚本模仿执行返回后果，结果本人设想哈。
JavaScript 逆向
说到重头了。随着前端技术的提高和网站反爬意识的加强，很多网站抉择在前端上下功夫，那就是在前端对一些逻辑或代码进行加密或混同。当然这不仅仅是为了爱护前端的代码不被轻易盗取，更重要的是反爬。比方很多 Ajax 接口都会带着一些参数，比方 sign、token 等等，这些前文也讲过了。这种数据咱们能够用前文所说的 Selenium 等形式来爬，但总归来说效率太低了，毕竟它模仿的是网页渲染的整个过程，而实在的数据可能仅仅就藏在一个小接口里。
如果咱们可能把一些接口的参数真正找出其中的逻辑，用代码来模仿执行，那效率就会有成倍的晋升，而且还能在肯定水平上躲避上述的反爬景象。
但问题是什么？难啊。
Webpack 是一方面，前端代码都被压缩和转码成一些 bundle 文件，一些变量的含意曾经失落，不好还原。而后一些网站再加上一些 obfuscator 的机制，把前端代码变成你齐全看不懂的货色，比方字符串拆散打乱、变量十六进制化、控制流扁平化、有限 debug、控制台禁用等等，前端的代码和逻辑曾经面目全非。有的用 WebAssembly 等技术把前端外围逻辑间接编译，那就只能缓缓抠了，尽管说有些有肯定的技巧，然而总归来说还是会破费很多工夫。但一旦解进去了，那就高枕无忧了。怎么说？就像奥赛题一样，解进去升天，解不进去 GG。
很多公司招聘爬虫工程师都会问有没有 JavaScript 逆向根底，破解过哪些网站，比方某宝、某多、某条等等，解进去某个他们须要的可能就间接录用你。每家网站的逻辑都不一样，难度也不一样。
App
当然爬虫不仅仅是网页爬虫了，随着互联网时代的倒退，当初越来越多的公司都抉择将数据放到 App 下面，甚至有些公司只有 App 没有网站。所以数据只能通过 App 来爬。
咋爬呢？根本的就是抓包工具了，Charles、Fiddler 一把梭，抓到接口之后，间接拿来模仿就行了。
如果接口有加密参数怎么办呢？一种办法你能够边爬边解决，比方 mitmproxy 间接监听接口数据。另一方面你能够走 Hook，比方上 Xposed 也能够拿到。
那爬的时候又怎么实现自动化呢？总不能拿手来戳吧。其实工具也多，安卓原生的 adb 工具也行，Appium 当初曾经是比拟支流的计划了，当然还有其余的某精灵都是能够实现的。
最初，有的时候可能真的就不想走自动化的流程，我就想把外面的一些接口逻辑抠出来，那就得搞逆向了，IDA Pro、jdax、FRIDA 等工具就派上用场了，当然这个过程和 JavaScript 逆向一样很苦楚，甚至可能得读汇编指令。搞一个案例掉一把头发也不是不可能的。
智能化
下面的这一通，都搞熟了，祝贺你曾经超过了百分之八九十的爬虫玩家了，当然专门搞 JavaScript 逆向、App 逆向的都是站在食物链顶端的男人，这种严格来说曾经不算爬虫领域了，这种神咱们就不算在里面了，反正我不是。
除了下面的一些技能，在一些场合下，咱们可能也须要联合一些机器学习的技术，让咱们的爬虫变得更智能起来。
比方当初很多博客、新闻文章，其页面构造类似度比拟高，要提取的信息也比拟相似。
比方如何辨别一个页面是索引页还是详情页？如何提取详情页的文章链接？如何解析文章页的页面内容？这些其实都是能够通过一些算法来计算出来的。
所以，一些智能解析技术也营运而生，比方提取详情页，一位敌人写的 GeneralNewsExtractor 体现就十分好。
如果说我来了一个需要，我要爬取一万个新闻网站数据，要一个个写 XPath 吗？写死我吧。如果有了智能化解析技术，在容忍肯定谬误的条件下，实现这个就是分分钟的事件。
总之，如果咱们能把这一块也学会了，咱们的爬虫技术就会锦上添花。
运维
这块也是一个重头戏。爬虫和运维也是非亲非故。
比方写完一个爬虫，怎么去疾速部署到 100 台主机上跑起来。
比方怎么灵便地监控每个爬虫的运行状态。
比方爬虫有处代码改变，如何去疾速更新。
比方怎么监控一些爬虫的占用内存、耗费的 CPU 情况。
比方怎么迷信地管制爬虫的定时运行、
比方爬虫呈现了问题，怎么能及时收到告诉，怎么设置迷信的报警机制。
这外面，部署大家各有各的办法，比方用 Ansible 当然能够。如果用 Scrapy 的话有 Scrapyd，而后配合上一些管理工具也能实现一些监控和定时工作。不过我当初用的更多是还是 Docker + Kubernetes，再加上 DevOps 一套，比方 GitHub Actions、Azure Pipelines、Jenkins 等等，疾速实现散发和部署。
定时工作大家有的用 crontab，有的用 apscheduler，有的用管理工具，有的用 Kubernetes，我的话用 Kubernetes 就多一些了，定时工作也是很好实现。
至于监控的话，也有很多，专门的一些爬虫管理工具自带了一些监控和报警性能。一些云服务也带了一些监控的性能。我用的是 Kubernetes + Prometheus + Grafana，什么 CPU、内存、运行状态，高深莫测，报警机制在 Grafana 外面配一下也很不便，反对 Webhook、邮件甚至某钉。
数据的存储和监控，用 Kafka、Elasticsearch 个人感觉也挺不便的，我次要用的是后者，而后再和 Grafana 配合起来，数据爬取量、爬取速度等等监控也都高深莫测。
结语
至此，爬虫的一些涵盖的知识点也就差不多了，怎么样，梳理一下，是不是计算机网络、编程根底、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习都涵盖到了？下面总结的能够算是从爬虫小白到爬虫高手的门路了，外面每个方向其实可钻研的点十分多，每个点做精了，都会十分了不起。
爬虫往往学着学着，就成为了一名全栈工程师或者全干工程师，因为你可能真的啥都会了。然而没方法啊，都是被爬虫逼的啊，如果不是生存所困，谁违心一身才华呢？
然而有了才华之后呢？摸摸头顶，卧槽，我的头发呢？
嗯，大家都懂的。
最初最重要的，珍视生命、珍视每一根头发。
TiToData：业余的短视频、直播数据接口服务平台。
更多信息请分割：TiToData
笼罩支流平台：抖音，快手，小红书，TikTok，YouTube