前言

爬虫是门很有意思的技术，能够通过爬虫技术获取一些他人拿不到或者须要付费能力拿到的货色，也能够对大量数据进行主动爬取和保留，缩小工夫和精力去手动做一些累活。

能够说很多人学编程，不玩点爬虫的确少了很多意思，不论是业余、接私活还是职业爬虫，爬虫世界的确挺精彩的。

明天来给大家浅谈一下爬虫，目标是让筹备学爬虫或者刚开始起步的小伙伴们，对爬虫有一个更深更全的认知。

一、意识爬虫

1. 什么是爬虫？

用一句话来给大家介绍赫赫有名的爬虫：申请网站并提取数据的自动化程序。

咱们来拆开了解一下爬虫:

申请网站的意思就是向网站发送申请，比方去百度搜寻关键字“Python”，这个时候咱们的浏览器就会向网站发送申请；

提取数据，数据包含了图片、文字、视频等等，都叫数据，在咱们发送申请之后，网站会出现搜寻后果给咱们，这其实就是返回了数据，这时候咱们就能够对数据进行提取；

自动化程序，也就是咱们写的代码，实现了主动提取程数据，比方批量对返回的图片进行下载和保留，代替咱们一张一张图片进行手工操作。

2. 爬虫的分类

依据应用场景，爬虫能够分为三类：

①通用爬虫（大而全）
功能强大，采集面宽泛，通常用于搜索引擎，比方百度浏览器就是一个很大的爬虫程序。

②聚焦爬虫（小而精）
性能绝对繁多，只针对特定网站的特定内容进行爬取，比如说去某个网站批量获取某些数据，这也是咱们集体最罕用的一种爬虫了。

③增量式爬虫（只采集更新后的内容）
这其实是聚焦爬虫的一个迭代爬虫，它只采集更新后的数据，对老数据是不采集，相当于始终存在并运行，只有有符合要求的数据更新了，就会主动爬取新的数据。

3.Robots 协定

在爬虫中有一个叫 Robots 协定须要留神一下，又称为“网络爬虫排除规范”，它的作用就是网站通知你哪些货色能爬，哪些不能爬。

这个 Robots 协定去哪看？

个别状况下间接在网站首页网址前面加 /robots.txt 就能查看，比方百度的 Robots 协定就在 https://www.baidu.com/robots.txt，能够看到外面有很多网址都规定了不能爬，比方 Disallow:/shifen/ 阐明以后 Disallow:/shifen 以及 Disallow:/shifen 上面的子目录网页均不能爬。

其实这个 Robots 协定属于一个小人协定，对于爬虫者来说，基本上就是口头协定，你违反了它你有可能会被查究法律责任，但不违反它，爬虫将是爬不到什么数据，所以平时单方都是睁一只闭一眼，不要太嚣张就能够了。

二、爬虫的根本流程

1. 爬虫的 4 步

爬虫是怎么干活的？

爬虫程序大抵上能够分为四步走：

①发动申请

通过 HTTP 库向指标站点发动申请，即发送一个 Request, 申请能够蕴含额定的 headers 等信息，期待服务器响应。

②获取响应内容

如果服务器能失常响应，会失去一个 Response，Response 的内容便是所要获取的页面内容，类型可能有 HTML、Json 字符串和二进制数据 (如图片视频) 等类型。

③解析内容

失去的内容可能是 HTML, 能够用正则表达式、网页解析库进行解析。可能是 Json, 能够间接转为 Json 对象解析，可能是二进制数据，能够做保留或者进一步的解决。

④保留数据

保留的数据款式很多，能够保留为文本，也能够保留至数据库，或者保留为特定格局的文件。

基本上这就是爬虫要遵循的四步了。

2.Request 和 Response

Request 和 Response 是爬虫中最重要的一部分，Request 和 Response 是什么关系？

它们两的关系如下图：

简略了解一下，当咱们在电脑的浏览器上搜寻某个货色的时候，比方后面的所说的在百度搜寻“Python”，你点击百度一下，就曾经向百度的服务器发送了一个 Request 申请，Request 蕴含了很多的信息，比方身份信息、申请信息等等，服务器接管申请之后做判断，而后返回一个 Response 给咱们的电脑，这其中也蕴含了很多信息，比方申请胜利与否，比方咱们申请的信息后果（文字、图片和视频等等）。

这样讲应该很好了解吧？

接下来咱们再好好去看一下 Request 和 Response。

三、理解 Request

Request 蕴含了哪些货色？

它次要蕴含了以下一些货色：

1. 申请形式

申请形式能够了解为你跟网站打招呼的形式，你要从网站拿到数据，你就得用正确的形式去跟它打招呼，它才有可能理你，就好比你要他人家借个货色，你得先敲门再说你好，你间接爬窗户进去这谁瞧见了都得给你撵出去。

次要的申请形式有 GET 和 POST，另外还有 HEAD/PUT/DELETE/OPTIONS 等等其余形式，其中最罕用的还是 GET 这种申请形式。

2. 申请 URL

什么是 URL？

URL 全称对立资源定位符，比方一个网页文档、图片、视频等等都有惟一的 URL，在爬虫中咱们能够了解为网址或者链接。

3. 申请头

什么是申请头？

英文名 Request Headers，通常是指申请时蕴含的头部信息，比方 User-Agent、Host、Cookies 等等。

这些货色它相当于你向网站发送申请时你的身份信息，这外面常常须要假装一下本人，伪装成普通用户，防止你的指标网站辨认进去你是爬虫程序，躲避一些反扒问题，顺利拿到数据。

4. 申请体
官网一点的说辞就是申请时额定携带的数据，如表单提交时的表单数据。

在爬虫当中怎么了解？

比如说在某些页面你得先登录了或者你得通知我你申请什么，比如说你在百度这个网页中搜寻“Python”，那么这个“Python”这个关键字就是你要携带的申请体，看到了你的申请体，百度才晓得你要干什么。

当然了，申请体通常是用在 POST 这种申请形式外面，在 GET 申请时咱们通常是拼接在 URL 外面，这里先了解一下就能够了，后续具体爬虫能够去加深了解。

5. 实操查看 Request

既然 Request 的实践咱们曾经讲过了，那么咱们就能够去实操看一下 Request 具体在哪个地位以及蕴含哪些货色。

以谷歌浏览器 Chrome 为例，我输出关键字“Python”能够搜寻出一堆后果，咱们来用网页自带的控制台窗口来剖析一下咱们收回的 Request 申请。

按住 F12 或者在网页空白处右键抉择“查看”，而后能够看到控制台外面有很多抉择，比如说下面那一栏有一个菜单栏，高级爬虫个别咱们就比拟罕用到的是 Elements（元素）和 Network（网络），其余的货色临时用不到，等你学到了高级一点的爬虫就会用到了，比方 JS 逆向的时候可能会用到 Application 这个窗口，前面用到了再理解。

Elements 蕴含了所有的申请后果的每一个元素，比方每一个图片的源代码都是有的，尤其是当你点了左上角的小箭头之后，你挪动到的每一个中央在 Elements 窗口下都会显示对于的源代码。

Network 就是爬虫罕用到的网络信息，其中就有咱们的 Request，咱们来看一下，在 Network 窗口下，勾选 Disable cache(禁用缓存)，并把 All 点上。

刷新一下网页看看成果，能够看出咱们收回了 132 个 Request 申请，这个不必好奇，尽管咱们只是向百度收回了“Python”这么一个申请，但有些是网页附带的申请。

尽管外面有很多类型，什么图片格式的 png 啊 jpeg 等等，然而你能够滑动到最下面，在 Type(类型)那一列中有 document 这种类型，就是网页文档的意思，点击进去就有咱们的 Request 信息。

点击 document 进去之后，又有一栏新的菜单栏，在 Headers 那一栏上面，咱们能够看到 Request URL，也就是咱们后面说的申请 URL，这个 URL 才是咱们真正向网页申请的 URL，而后还有申请形式，能够看进去是 GET 申请这种形式。

往下再滑动一下，还能够看到咱们后面讲的申请头 Request Headers，信息很多，但咱们后面讲的 User-Agent、Host、Cookies 都是有的，这些都是咱们给服务器的信息。

Request Headers 外面内容尽管多，咱们在写爬虫程序的时候也是要在这方面做假装工作，但并不是所有的信息咱们都要写，选择性地写一些重要的信息就能够了，比方 User-Agent 必带，Referer 和 Host 是选择性地带，cookie 在要登录的状况下会带，罕用的也就 4 项要做假装。

至于申请体这里我就临时不做查看了，因为咱们这里的申请形式是 GET 申请，在 POST 申请中能力查看到申请体，没关系，爬虫用到了你天然就会明确的。

四、理解 Response

Response 次要包含 3 块内容，咱们来一一理解一下。

1. 响应状态
咱们发送申请之后，网站会返回给咱们一个 Response，这其中就包含了响应状态码对于的响应状态，大抵能够分为以下几种：

①两百范畴，比方响应状态码 200 则示意胜利。

②三百范畴，比方 301 示意跳转。

③四百范畴，比方 404 找不到网页。

④五百范畴，比方 502 找不到网页。

对于爬虫来说，两三百则是咱们最心愿看到的响应状态，有可能会拿到数据，四五百基本上就凉了，拿不到数据的。

比方咱们刚在在后面的 Request 申请发送时，在 document 文件中，在 Headers 窗口下的 General 外面能够看出响应状态码是 200，阐明网页胜利响应了咱们的申请。

2. 响应头

服务器给咱们的信息外面也会有响应头这一部分，这外面蕴含了内容类型、内容长度、服务器信息和设置 Cookie 等等。

其实响应头对咱们来说并不是那么重要，这里理解一下就能够了。

3. 响应体

这个就很重要了，除了后面第一点的响应状态，就是它了，因为它蕴含了申请资源的内容，比方网页 HTML 和图片二进制数等等。

响应体在哪里呢？也是在 document 文件外面的 Response 那一栏，能够往下滑动就能够看出外面有很多响应的数据，这就是咱们获取到的数据，有的是能够间接下载的，有的则是须要用技术去解析能力拿到。

五、爬虫能获取到什么样的数据？

爬虫能获取到什么样的数据？基本上能够分为这么几类：

①网页文档，如果 HTML 文档、Json 格局文本等。

②图片，获取的是二进制文件，保留为图片格式即可。

③视频，也是二进制文件，保留为视频格式即可。

④其余的，反正其余可能看得见的货色，实践上都是能够用爬虫获取的，具体的话得看难度的大小。

六、如何解析数据？

从后面咱们能够发送申请胜利之后，网页会给咱们返回很多的数据，有几千甚至几万条代码，那么如何在这么多的代码中找到咱们想要的数据？罕用的办法有以下几个：

①间接解决。当网页返回数据就是一些文本，就是咱们想要的内容，不须要过滤解决，间接解决就能够。

②Json 解析。如果网页返回的不是 HTML 数据是 Json 数据，那么就须要用到 Json 解析技术。

③正则表达式。如果返回的数据是合乎正则表达式的数据，就能够用正则去做解析。

④其余解析形式。罕用的有 XPath、BeautifulSoup 和 PyQuery，这些都是爬虫罕用的解析库。

七、怎么保留数据？
拿到数据后，罕用的保留数据办法有以下几种：

①文本。能够间接保留为纯文本、EXCEL、Json、Xml 等等类型的文本。

②关系型数据库。数据能够保留到关系型数据库，比方 MySQL 和 Oracle 等等数据库。

③非关系型数据库。如 MongoDB、Readis 和 Key-Value 模式贮存。

④二进制文件。如图片、视频、音频等等间接保留为特定格局即可。

实际视频：

Python 爬虫：HTTPS 协定

Python 爬虫：HTTP 协定

Python 爬虫：header 申请头和带有参数的申请

原文链接：https://blog.csdn.net/zhiguig…