Python 版本：python3.6
应用工具：pycharm
一、第一个爬虫程序
取得网址源代码。如下图获取百度页面源代码。
二、Web 申请过程
1. 服务器渲染：在服务器中间接把数据和 html 整合在一起，返回给浏览器。（在页面源代码中能看到数据）
2. 客户端渲染：第一次申请只有一个 html 骨架，第二次申请拿到数据，进行数据展现。（在页面源代码中，看不到数据）
三、requests 入门
1. 获取搜狗引擎搜寻周杰伦页面源代码。
2. 呈现报错，网页存在反爬，解决反扒。
3. 批改代码，使其更加灵便获取不同搜寻内容对应不同页面源代码。
4．当申请形式为 POST 时，以百度翻译为例获取页面源代码。
5. 当想要爬取数据与网页框架不在一起时。以豆瓣电影排行榜为例。需先找到所需爬取数据地位。
将其参数变量进行封装，补充网址参数，其参数信息地位及代码如下：
留神：应用完爬虫程序后，敞开爬虫程序。
如上示例需应用 resp.close()敞开爬虫程序。
四、数据解析
本文中将介绍三种解析形式：re 解析、bs4 解析、xpath 解析。
1、re 解析：Regular Expression，正则表达式，一种应用表达式的形式对字符串进行匹配的语法规定。
长处：速度快、效率高、准确性高
毛病：上手难度较高
语法：应用元字符进行排列组合用来匹配字符串（元字符是具备固定含意的特殊符号），罕用元字符：
. 匹配除换行符以外的任意字符 a|b 匹配字符 a 或 b
\w 匹配字母或数字或下划线 \W 匹配非字母或数字或下划线
\s 匹配任意空白符 \S 匹配非空白符
\d 匹配数字 \D 匹配非数字
[…] 匹配字符组中的字符 [^…] 匹配除字符组中的所有字符
^ 匹配字符串的开始 $ 匹配字符串的完结
量词：管制元字符呈现的次数
* 反复零次或屡次
+ 反复一次或屡次
？反复零次或一次
{n} 反复 n 次
{n,} 反复 n 次或更屡次
{n,m} 反复 n 到 m 次
（1）re 模块应用，findall() 匹配字符串中所有的合乎正则的内容
（2）finditer()匹配字符串中所有的内容，返回迭代器
从迭代器中拿出内容须要.group()
（3）search，找到一个后果就返回，返回的后果是 match 对象，拿数据需应用.group()
（4）match，从头开始匹配
入选取数据开始即为所需数据时，可输入后果。
（5）预加载正则表达式，可重复使用
（6）正则中内容独自提取。咱们将想要提取内容局部定义组 (?P< 分组名字 > 正则)，而后应用.group() 提取某个组的内容。（re.S：让. 可能匹配换行符）
2. 实战爬取豆瓣 Top250 电影信息。
（1）应用 requests，拿到页面源代码。
（2）应用 re，解析数据
设定爬取以上四个数据，电影名字、年份、评分、评估人数，在页面源代码中找到所需内容地位（红色框），并找到内容定位办法及地位（红色框）
解析数据：其中.strip() 去掉年份后面空格。
将获取到文件保留为文件。导入 csv，将内容存入字典，同理 year 需独自解决。
输入文件 data.csv 内容
3. 实战爬取电影地狱下载链接，指标爬取 2021 必看热片信息。
（1）获取页面源代码
如上输入后果中存在乱码问题，咱们默认应用的字符集为 utf-8，可看到其网站的字符集为 gb2312，须要指定应用字符集解决乱码问题。
（2）定位到 2021 必看热片，在页面源代码中找到所需地位。
（3）从 2021 必看热片中提取到子页面的链接地址
失去的子页面链接不残缺，短少域名，须要进行一个链接的拼接。
失去了残缺的子页面链接，将子页面链接保存起来。
提取子页面内容，输入失去片名及下载链接。