前言
简略来说互联网是由一个个站点和网络设备组成的大网，咱们通过浏览器拜访站点，站点把 HTML、JS、CSS 代码返回给浏览器，这些代码通过浏览器解析、渲染，将丰富多彩的网页出现咱们眼前；
一、爬虫是什么？
如果咱们把互联网比作一张大的蜘蛛网，数据便是寄存于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，
沿着网络抓取本人的猎物（数据）爬虫指的是：向网站发动申请，获取资源后剖析并提取有用数据的程序；
从技术层面来说就是 通过程序模仿浏览器申请站点的行为，把站点返回的 HTML 代码 /JSON 数据 / 二进制数据（图片、视频）爬到本地，进而提取本人须要的数据，寄存起来应用；
二、爬虫的根本流程：
用户获取网络数据的形式：
形式 1：浏览器提交申请 —> 下载网页代码 —> 解析成页面
形式 2：模仿浏览器发送申请 (获取网页代码)-> 提取有用的数据 -> 寄存于数据库或文件中
爬虫要做的就是形式 2；
1、发动申请
应用 http 库向指标站点发动申请，即发送一个 Request
Request 蕴含：申请头、申请体等
Request 模块缺点：不能执行 JS 和 CSS 代码
2、获取响应内容
如果服务器能失常响应，则会失去一个 Response
Response 蕴含：html，json，图片，视频等
3、解析内容
解析 html 数据：正则表达式（RE 模块），第三方解析库如 Beautifulsoup，pyquery 等
解析 json 数据：json 模块
解析二进制数据: 以 wb 的形式写入文件
4、保留数据
数据库（MySQL，Mongdb、Redis）
文件
三、http 协定 申请与响应
Request：用户将本人的信息通过浏览器（socket client）发送给服务器（socket server）
Response：服务器接管申请，剖析用户发来的申请信息，而后返回数据（返回的数据中可能蕴含其余链接，如：图片，js，css 等）
ps：浏览器在接管 Response 后，会解析其内容来显示给用户，而爬虫程序在模仿浏览器发送申请而后接管 Response 后，是要提取其中的有用数据。
四、request
1、申请形式：
常见的申请形式：GET / POST
2、申请的 URL
url 寰球对立资源定位符，用来定义互联网上一个惟一的资源 例如：一张图片、一个文件、一段视频都能够用 url 惟一确定
url 编码
https://www.baidu.com/s?wd= 图片
图片会被编码（看示例代码）
网页的加载过程是：
加载一个网页，通常都是先加载 document 文档，
在解析 document 文档的时候，遇到链接，则针对超链接发动下载图片的申请
3、申请头
User-agent：申请头中如果没有 user-agent 客户端配置，服务端可能将你当做一个非法用户 host；
cookies：cookie 用来保留登录信息
留神：个别做爬虫都会加上申请头
申请头须要留神的参数：
（1）Referrer：拜访源至哪里来（一些大型网站，会通过 Referrer 做防盗链策略；所有爬虫也要留神模仿）
（2）User-Agent: 拜访的浏览器（要加上否则会被当成爬虫程序）
（3）cookie：申请头留神携带
4、申请体
申请体
如果是 get 形式，申请体没有内容（get 申请的申请体放在 url 前面参数中，间接能看到）如果是 post 形式，申请体是 format data
ps：1、登录窗口，文件上传等，信息都会被附加到申请体内
2、登录，输出谬误的用户名明码，而后提交，就能够看到 post，正确登录后页面通常会跳转，无奈捕捉到 post五、响应 Response
1、响应状态码
200：代表胜利
301：代表跳转
404：文件不存在
403：无权限拜访
502：服务器谬误
2、respone header
响应头须要留神的参数：
（1）Set-Cookie:BDSVRTM=0; path=/：可能有多个，是来通知浏览器，把 cookie 保留下来
（2）Content-Location：服务端响应头中蕴含 Location 返回浏览器之后，浏览器就会从新拜访另一个页面
3、preview 就是网页源代码
JSO 数据
如网页 html，图片
二进制数据等
六、总结
1、总结爬虫流程：
爬取 —> 解析 —> 存储
2、爬虫所需工具：
申请库：requests,selenium（能够驱动浏览器解析渲染 CSS 和 JS，但有性能劣势（有用没用的网页都会加载）；）
解析库：正则，beautifulsoup，pyquery
存储库：文件，MySQL，Mongodb，Redis
3、爬获校花网
最初送给大家点福利吧
根底版：
import re
import requests
respose\=requests.get('http://www.xiaohuar.com/v/')
# print(respose.status\_code)# 响应的状态码
# print(respose.content) #返回字节信息
# print(respose.text) #返回文本内容
urls=re.findall(r'class="items".\*?href="(.\*?)"',respose.text,re.S) #re.S 把文本信息转换成 1 行匹配
url=urls\[5\]
result\=requests.get(url)
mp4\_url\=re.findall(r'id="media".\*?src="(.\*?)"',result.text,re.S)\[0\]
video\=requests.get(mp4\_url)
with open('D:\\\\a.mp4','wb') as f:
f.write(video.content)View Code
函数封装版
import re
import requests
import hashlib
import time
# respose=requests.get('http://www.xiaohuar.com/v/')
# # print(respose.status\_code)# 响应的状态码
# # print(respose.content) #返回字节信息
# # print(respose.text) #返回文本内容
# urls=re.findall(r'class="items".\*?href="(.\*?)"',respose.text,re.S) #re.S 把文本信息转换成 1 行匹配
# url=urls\[5\]
# result=requests.get(url)
# mp4\_url=re.findall(r'id="media".\*?src="(.\*?)"',result.text,re.S)\[0\]
#
# video=requests.get(mp4\_url)
#
# with open('D:\\\\a.mp4','wb') as f:
# f.write(video.content)
#
def get\_index(url):
respose \= requests.get(url)
if respose.status\_code==200:
return respose.text
def parse\_index(res):
urls \= re.findall(r'class="items".\*?href="(.\*?)"', res,re.S) # re.S 把文本信息转换成 1 行匹配
return urls
def get\_detail(urls):
for url in urls:
if not url.startswith('http'):
url\='http://www.xiaohuar.com%s' %url
result \= requests.get(url)
if result.status\_code==200 :
mp4\_url\_list \= re.findall(r'id="media".\*?src="(.\*?)"', result.text, re.S)
if mp4\_url\_list:
mp4\_url\=mp4\_url\_list\[0\]
print(mp4\_url)
# save(mp4\_url)
def save(url):
video \= requests.get(url)
if video.status\_code==200:
m\=hashlib.md5()
m.updata(url.encode('utf-8'))
m.updata(str(time.time()).encode('utf-8'))
filename\=r'%s.mp4'% m.hexdigest()
filepath\=r'D:\\\\%s'%filename
with open(filepath, 'wb') as f:
f.write(video.content)
def main():
for i in range(5):
res1 \= get\_index('http://www.xiaohuar.com/list-3-%s.html'% i)
res2 \= parse\_index(res1)
get\_detail(res2)
if \_\_name\_\_ == '\_\_main\_\_':
main()View Code
并发版（如果一共须要爬 30 个视频，开 30 个线程去做，花的工夫就是 其中最慢那份的耗时工夫）
import re
import requests
import hashlib
import time
from concurrent.futures import ThreadPoolExecutor
p\=ThreadPoolExecutor(30) #创立 1 个程池中，包容线程个数为 30 个；def get\_index(url):
respose \= requests.get(url)
if respose.status\_code==200:
return respose.text
def parse\_index(res):
res\=res.result() #过程执行结束后，失去 1 个对象
urls = re.findall(r'class="items".\*?href="(.\*?)"', res,re.S) # re.S 把文本信息转换成 1 行匹配
for url in urls:
p.submit(get\_detail(url)) #获取详情页 提交到线程池
def get\_detail(url): #只下载 1 个视频
if not url.startswith('http'):
url\='http://www.xiaohuar.com%s' %url
result \= requests.get(url)
if result.status\_code==200 :
mp4\_url\_list \= re.findall(r'id="media".\*?src="(.\*?)"', result.text, re.S)
if mp4\_url\_list:
mp4\_url\=mp4\_url\_list\[0\]
print(mp4\_url)
# save(mp4\_url)
def save(url):
video \= requests.get(url)
if video.status\_code==200:
m\=hashlib.md5()
m.updata(url.encode('utf-8'))
m.updata(str(time.time()).encode('utf-8'))
filename\=r'%s.mp4'% m.hexdigest()
filepath\=r'D:\\\\%s'%filename
with open(filepath, 'wb') as f:
f.write(video.content)
def main():
for i in range(5):
p.submit(get\_index,'http://www.xiaohuar.com/list-3-%s.html'% i).add\_done\_callback(parse\_index)
#1、先把爬主页的工作（get\_index）异步提交到线程池
#2、get\_index 工作执行完后，会通过回调函 add\_done\_callback（）数告诉主线程，工作实现；#2、把 get\_index 执行后果（留神线程执行后果是对象，调用 res=res.result() 办法，能力获取真正执行后果），当做参数传给 parse\_index
#3、parse\_index 工作执行结束后，#4、通过循环，再次把获取详情页 get\_detail（）工作提交到线程池执行
if \_\_name\_\_ == '\_\_main\_\_':
main()View Code
波及常识：多线程多过程
计算密集型工作：应用多过程，因为能 Python 有 GIL，多过程能够利用上 CPU 多核优势；
IO 密集型工作：应用多线程，做 IO 切换节俭工作执行工夫（并发）
线程池