一、什么是爬虫
爬虫：一段主动抓取互联网信息的程序，从互联网上抓取对于咱们有价值的信息。
二、Python 爬虫架构
Python 爬虫架构次要由五个局部组成，别离是调度器、URL 管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。
1. 调度器 ：相当于一台电脑的 CPU，次要负责调度 URL 管理器、下载器、解析器之间的协调工作。
2.URL 管理器：包含待爬取的 URL 地址和已爬取的 URL 地址，避免反复抓取 URL 和循环抓取 URL，实现 URL 管理器次要用三种形式，通过内存、数据库、缓存数据库来实现。
3. 网页下载器：通过传入一个 URL 地址来下载网页，将网页转换成一个字符串，网页下载器有 urllib2（Python 官网根底模块）包含须要登录、代理、和 cookie，requests(第三方包)
4. 网页解析器：将一个网页字符串进行解析，能够依照咱们的要求来提取出咱们有用的信息，也能够依据 DOM 树的解析形式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过含糊匹配的形式来提取有价值的信息，当文档比较复杂的时候，该办法提取数据的时候就会十分的艰难）、html.parser（Python 自带的）、beautifulsoup（第三方插件，能够应用 Python 自带的 html.parser 进行解析，也能够应用 lxml 进行解析，绝对于其余几种来说要弱小一些）、lxml（第三方插件，能够解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的形式进行解析的。
5. 应用程序：就是从网页中提取的有用数据组成的一个利用。
下图为爬虫框架工作流程：
三、实战爬取小说
1. 爬取某小说中其中一章内容 ：
输入后果中存在乱码。
解析网页中局部内容，在网页中右键，点击查看。
咱们要输入上图当选中行，其标签为 h1，预输入其内容，咱们需装置解析包 parsel。
Pycharm 中导入 parsel 包，进行解析并输入 h1 标签内容。
此时咱们所需内容仅为文本内容，不需两边 h1 标签。（h1 为标签选择器）
失去无标签文本内容，上面咱们须要爬取小说内容。（content 为 id 选择器）
输入后果为列表格局，咱们需将其合并为字符串格局。
第二种办法，应用 for 循环打印文本。
如上仍为逐行打印其文本内容，咱们最终是要收集其内容成为文档，所以咱们进行文本内容收集，应用 text 进行收集。
保留文本数据，输入文本文档。
2. 爬取整本小说，多章节，首先将上述代码封装，以便后续调用，将其封装为函数对象：download_one_chapter，删除代码中局部 print。
调用函数 download_one_chapter，输出小说网址即可下载对应文本内容。
此时为逐章下载，咱们要实现主动下载整本小说全副章节，首先咱们要获取所有章节的网址。
爬取整本小说并输入
若将小说内容放在同一文件中，将下述代码进行批改：
批改前：
批改后：
整本小说文本内容则全副保留在同一文档中
将代码封装，定义函数：download_one_book，导入 parse，进行网址补全。
咱们便可间接调用函数进行整本小说下载。