共计 1428 个字符，预计需要花费 4 分钟才能阅读完成。
我们都知道在采集数据过程中，尤其是爬取大量数据的时候，很多网站都有反爬虫措施，封 ip 是很严重的，，让你在采集的时候很心烦。本文就如何解决这个问题总结出一些应对措施，这些措施可以单独使用，也可以同时使用，效果更好。一、伪造 User-Agent 在请求头中把 User-Agent 设置成浏览器中的 User-Agent，来伪造浏览器访问。比如：headers = {‘User-Agent’:’Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36′}resp = requests.get(url,headers = headers) 在每次重复爬取之间设置一个随机时间间隔
比如：
time.sleep(random.randint(0,3)) # 暂停 0~3 秒的整数秒，时间区间：[0,3]
或：
time.sleep(random.random()) # 暂停 0~1 秒，时间区间：[0,1) 而且最主要的是 ua 要越多越好，不要固定的使用那几个，要经常更换最新真实的 ua。二、伪造 cookies 若从浏览器中可以正常访问一个页面，则可以将浏览器中的 cookies 复制过来使用，比如：cookies = dict(uuid=’b18f0e70-8705-470d-bc4b-09a8da617e15′,UM_distinctid=’15d188be71d50-013c49b12ec14a-3f73035d-100200-15d188be71ffd’)resp = requests.get(url,cookies = cookies)
把浏览器的 cookies 字符串转成字典
def cookies2dict(cookies):
items = cookies.split(‘;’)
d = {}
for item in items:
kv = item.split(‘=’,1)
k = kv[0]
v = kv[1]
d[k] = v
return d 注：用浏览器 cookies 发起请求后，如果请求频率过于频繁仍会被封 IP，这时可以在浏览器上进行相应的手工验证（比如点击验证图片等），然后就可以继续正常使用该 cookies 发起请求。三、使用代理可以换着用多个代理 IP 来进行访问，防止同一个 IP 发起过多请求而被封 IP，比如：# 要访问的目标页面
targetUrl = “http://httpbin.org/ip”
# 要访问的目标 HTTPS 页面
# targetUrl = “https://httpbin.org/ip”
# 代理服务器
proxyHost = “t.16yun.cn”
proxyPort = “31111”
# 代理隧道验证信息
proxyUser = “username”
proxyPass = “password”
proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % {
“host” : proxyHost,
“port” : proxyPort,
“user” : proxyUser,
“pass” : proxyPass,
}
# 设置 http 和 https 访问都是用 HTTP 代理
proxies = {
“http” : proxyMeta,
“https” : proxyMeta,
}（这里是用的亿牛云的动态转发代理进行示例）
不管我们采集什么网站的数据，光有代理是不行的，要配合多种反爬策略一起才能更高效的获取大量的数据。
