关于大数据:抖音爬虫教程python爬虫采集反爬策略

爬虫就是咱们利用某种程序代替人工批量读取、获取网站上的材料信息。而反爬则是跟爬虫的对立面，是全力以赴阻止非人为的采集网站信息，二者相生相克，水火不容，到目前为止大部分的网站都还是能够轻易的爬取材料信息。
爬虫想要绕过被反的策略就是尽可能的让服务器人你不是机器程序，所以在程序中就要把本人伪装成浏览器拜访网站，这能够极大水平升高被反的概率，那如何做到假装浏览器呢？

1. 能够应用申请头（headers）来拆穿本人，其中最罕用的就是 User Agent（中文名为用户代理），是 Http 协定中的一部分，属于头域的组成部分，User Agent 也简称 UA。它是一个非凡字符串头，是一种向拜访网站提供你所应用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识；示意以后拜访服务器的身份信息，如果同一个身份过于频繁的拜访服务器会被辨认为机器身份，受到反爬的打击，所以须要频繁的更改 User-Agent 信息；个别 User-Agent 字段包含以下几个信息：浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 渲染引擎标识版本信息；

2. 应用不同的 User-Agent 来躲避反爬策略

比方：

Accept：客户端反对的数据类型，用逗号隔开，是有程序的，分号后面是主类型，分号后是子类型；
Accept-Encoding：指定浏览器能够反对的 web 服务器返回内容压缩编码类型；
Accept-Language：浏览器可承受的自然语言的类型；
Connection：设置 HTTP 连贯的长久化，通常都是 Keep-Alive；
Host：服务器的域名或 IP 地址，如果不是通用端口，还蕴含该端口号；
Referer：指以后申请的 URL 是在什么地址援用的；

user_agent_list = ["Opera/9.80 (X11; Linux i686; U; hu) Presto/2.9.168 Version/11.50",
    "Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (X11; Linux i686; U; es-ES) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/5.0 Opera 11.11",
    "Opera/9.80 (X11; Linux x86_64; U; bg) Presto/2.8.131 Version/11.10",
    "Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10",
    "Opera/9.80 (Windows NT 5.1; U; zh-tw) Presto/2.8.131 Version/11.10",
    "Opera/9.80 (Windows NT 6.1; Opera Tablet/15165; U; en) Presto/2.8.149 Version/11.1",
    "Opera/9.80 (X11; Linux x86_64; U; Ubuntu/10.10 (maverick); pl) Presto/2.7.62 Version/11.01",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0",
    "Opera/9.80 (X11; Linux i686; Ubuntu/14.10) Presto/2.12.388 Version/12.16",
    "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14",
    "Mozilla/5.0 (Windows NT 6.0; rv:2.0) Gecko/20100101 Firefox/4.0 Opera 12.14",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0) Opera 12.14",
    "Opera/12.80 (Windows NT 5.1; U; en) Presto/2.10.289 Version/12.02",
    "Opera/9.80 (Windows NT 6.1; U; es-ES) Presto/2.9.181 Version/12.00",
    "Opera/9.80 (Windows NT 5.1; U; zh-sg) Presto/2.9.181 Version/12.00",
    "Opera/12.0(Windows NT 5.2;U;en)Presto/22.9.168 Version/12.00",
    "Opera/12.0(Windows NT 5.1;U;en)Presto/22.9.168 Version/12.00",
    "Mozilla/5.0 (Windows NT 5.1) Gecko/20100101 Firefox/14.0 Opera/12.0",
    "Opera/9.80 (Windows NT 6.1; WOW64; U; pt) Presto/2.10.229 Version/11.62",
    "Opera/9.80 (Windows NT 6.0; U; pl) Presto/2.10.229 Version/11.62",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; de) Presto/2.9.168 Version/11.52",
    "Opera/9.80 (Windows NT 5.1; U; en) Presto/2.9.168 Version/11.51",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; de) Opera 11.51",
    "Opera/9.80 (X11; Linux x86_64; U; fr) Presto/2.9.168 Version/11.50",
]
referer_list = ["https://www.test.com/", "https://www.baidu.com/"]

获取随机数，即每次采集都会依据随机数提取随机用户代理、援用地址（注：若有多个页面循环采集，最好采集完单个期待个几秒钟再持续采集，减小服务器的压力。）：

import random
import re, urllib.request, lxml.html
import requests
import time, random

def get_randam(data):
    return random.randint(0, len(data)-1)
def crawl():
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'host': 'test.com',
        'Referer': 'https://test.com/',
    }
    random_index = get_randam(user_agent_list)
    random_agent = user_agent_list[random_index]
    headers['User-Agent'] = random_agent
    random_index_01 = get_randam(referer_list)
    random_agent_01 = referer_list[random_index_01]
    headers['Referer'] = random_agent_01
    session = requests.session()
    url = "https://www.test.com/"
    html_data = session.get(url, headers=headers, timeout=180)
    html_data.raise_for_status()
    html_data.encoding = 'utf-8-sig'
    data = html_data.text
    data_doc = lxml.html.document_fromstring(data)
    ...(对网页数据进行解析、提取、存储等)
    time.sleep(random.randint(3, 5))

3. 应用代理 IP 来躲避反爬：同一个 ip 大量申请了对方服务器，有更大的可能性会被辨认为爬虫，ip 就有可能被临时被封。

依据代理 ip 的匿名水平，代理 ip 能够分为上面四类：

通明代理（Transparent Proxy）Transparent Proxy)：通明代理尽管能够间接“暗藏”你的 IP 地址，然而还是能够查到你是谁。
匿名代理（Anonymous Proxy）：匿名代理比通明代理提高了一点：他人只能晓得你用了代理，无奈晓得你是谁。
混同代理（Distorting Proxies）：与匿名代理雷同，如果应用了混同代理，他人还是能晓得你在用代理，然而会失去一个假的 IP 地址，假装的更真切
高匿代理（Elite proxy 或 High Anonymity Proxy）：能够看进去，高匿代理让他人根本无法发现你是在用代理，所以是最好的抉择。
在应用的应用，毫无疑问应用高匿代理成果最好

上面我采纳收费的高匿代理 IP 进行采集：

# 代理 IP：https://www.xicidaili.com/nn
import requests
proxies = {
"http": "http://117.30.113.248:9999",
"https": "https://120.83.120.157:9999"
}
r=requests.get("https://www.baidu.com", proxies=proxies)
r.raise_for_status()
r.encoding = 'utf-8-sig'
print(r.text)

留神：踩坑经验，之前误把 proxies 外面的 key 设置成大写的 HTTP/HTTPS, 导致申请不走代理，过了几个月才发现这个问题，头皮发麻啊

之前也常常写一些采集亚马逊的爬虫，然而采集没多久就被辨认进去是程序爬虫，会默认跳到一个 robotecheck 页面，也就是叫你输出一个图片验证码，只是为了验证到底是不是人为在拜访他们的网站。

amazon 的防爬虫机制在只有 ip (没有 cookie) 的时候防 ip，在有 cookie 的时候，是防 ip+cookie，也即对于一个 ip，一个 cookie 被防了能够换一个 cookie。
有 cookie 的时候触发防爬虫 robotcheck 的可能性小很多，触发的机制集体猜想是有叠加效应的，即一次应用同一个 ip+header 短时间内拜访屡次 (1 秒内拜访至多 3 次以上) 是不会触发 robotecheck 的，大略在积攒了 8 到 9 次的短时间多拜访（理由是下面很多试验都是在第 9 个申请后开始呈现 block），才会激发。而这个忍受度在有 cookie 的时候会放得更宽。
所以咱们在爬取某网站时，最好要做到 IP 轮询变换，cookie 会话最好也要有，再来就是频率不要太快太频，只有管制好个度，我置信被反爬的概率会大大降低。

TiToData：抖音，快手，小红书数据采集接口，网址：TiToData

关于大数据:抖音爬虫教程python爬虫采集反爬策略

抖音爬虫教程，python 爬虫采集反爬策略

一、爬虫与反爬简介

2. 应用不同的 User-Agent 来躲避反爬策略

3. 应用代理 IP 来躲避反爬：同一个 ip 大量申请了对方服务器，有更大的可能性会被辨认为爬虫，ip 就有可能被临时被封。

二、总结