requestshtml-快速入门

共计 5729 个字符，预计需要花费 15 分钟才能阅读完成。

Python 上有一个非常著名的 HTTP 库——requests，相比大家都听说过，用过的人都说好！现在 requests 库的作者又发布了一个新库，叫做 requests-html，看名字也能猜出来，这是一个解析 HTML 的库，而且用起来和 requests 一样爽，下面就来介绍一下它。

安装 requests-html 非常简单，一行命令即可做到。需要注意一点就是，requests-html 只支持 Python 3.6 及更新的版本，所以使用老版本的 Python 的同学需要更新一下 Python 版本了。看了下源代码，因为 requests-html 广泛使用了一个 Python 3.6 中的新特性——类型注解。

pip install requests-html

requests-html 和其他解析 HTML 库最大的不同点在于 HTML 解析库一般都是专用的，所以我们需要用另一个 HTTP 库先把网页下载下来，然后传给那些 HTML 解析库。而 requests-html 自带了这个功能，所以在爬取网页等方面非常方便。

下面的代码获取了糗事百科上面的文字段子页面，返回的对象 r 是 requests.Reponse 类型，更确切的说是继承自前者的 requests_html.HTMLResponse 类型。这里其实和 requests 库的使用方法差不多，获取到的响应对象其实其实也没啥用，这里的关键就在于 r.html 这个属性，它会返回 requests_html.HTML 这个类型，它是整个 requests_html 库中最核心的一个类，负责对 HTML 进行解析。我们学习 requests_html 这个库，其实也就是学习这个 HTML 类的使用方法。

from requests_html import HTMLSession

session = HTMLSession()
r = session.get('https://www.qiushibaike.com/text/')
// 查看页面内容
print(r.html.html)

request-html 支持 CSS 选择器和 XPATH 两种语法来选取 HTML 元素。首先先来看看 CSS 选择器语法，它需要使用 HTML 的 find 函数，该函数有 5 个参数，作用如下：

selector，要用的 CSS 选择器；
clean，布尔值，如果为真会忽略 HTML 中 style 和 script 标签造成的影响（原文是 sanitize，大概这么理解）;
containing，如果设置该属性，会返回包含该属性文本的标签；
first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
_encoding，编码格式。

下面是几个简单例子：

# 首页菜单文本
print(r.html.find('div#menu', first=True).text)
# 首页菜单元素
print(r.html.find('div#menu a'))
# 段子内容
print(list(map(lambda x: x.text, r.html.find('div.content span'))))

结果如下，因为段子太多，所以随便选了两个：

 热门 24 小时 热图 文字 穿越 糗图 新鲜
[<Element 'a' href='/' rel=('nofollow',)>, <Element 'a' href='/hot/'>, <Element 'a' href='/imgrank/'>, <Element 'a' id='highlight' href='/text/'>, <Element 'a' href='/history/'>, <Element 'a' href='/pic/'>, <Element 'a' href='/textnew/'>]
['有一次，几位大城市的朋友来家里玩，我招待他们吃风干羊肉做臊子的饸饹面，这是我们老家最具特色的美食！饭快熟的时候，老婆让我在园子里摘点“芫荽”，朋友问我，“芫荽”是什么东东？我给他们翻译解释说：我们本地土话叫“芫荽”，你们城里人讲普通话叫香菜，他们还大笑了一场。\n 前天下雨没事儿干，翻看新华字典，突然发现“芫荽”才是香菜的学名，Tm 香菜才是土话！而且我们地方方言就这两个字发音还特别标准！', '昨天晚上跟老婆吵架，他抓起我的手机就摔了。我立马摔了他的，结果我的还能用，他的坏了。高潮是人家立刻出门买了个新的！我艹，是不是中计了？？', '小姨要去高铁站，我看着大大小小的箱子说：坐公交车要转车，转来转去要一个多小时，太不方便了，不如我开车送你吧。\n 小姨迟疑了一下，同意了。\n 我准时把小姨送到了高铁站，正好赶上检票。\n 小姨高兴地说：自己开车就是方便，不过幸好你妈聪明，让我们提前两个多小时就出发了！'

然后是 XPATH 语法，这需要另一个函数 xpath 的支持，它有 4 个参数如下：

selector，要用的 XPATH 选择器；
clean，布尔值，如果为真会忽略 HTML 中 style 和 script 标签造成的影响（原文是 sanitize，大概这么理解）;
first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
_encoding，编码格式。

还是上面的例子，不过这次使用 XPATH 语法：

print(r.html.xpath("//div[@id='menu']", first=True).text)
print(r.html.xpath("//div[@id='menu']/a"))
print(r.html.xpath("//div[@class='content']/span/text()"))

输出和上面那个几乎一样，之所以说是“几乎”，因为第三个输出会多出几个换行符，不知道什么原因。需要注意的一点是如果 XPATH 中包含 text() 或 @href 这样的子属性，那么结果相应的会变成简单的字符串类型，而不是 HTML 元素。

['\n\n\n 我一份文件忘家里了，又懒得回家取，就给小姨子发短信息:   帮我把文件送来，晚上我谢谢你。等半天也没送来文件，我只好打个车回家自己拿，到家一进屋，我就发现气氛不对劲，老婆铁青着脸，两手掐着腰，小姨子站旁边对我怒目而视。']

有些网站是使用 JavaScript 渲染的，这样的网站爬取到的结果只有一堆 JS 代码，这样的网站 requests-html 也可以处理，关键一步就是在 HTML 结果上调用一下 render 函数，它会在用户目录（默认是~/.pyppeteer/）中下载一个 chromium，然后用它来执行 JS 代码。下载过程只在第一次执行，以后就可以直接使用 chromium 来执行了。唯一缺点就是 chromium 下载实在太太太太太太慢了，没有科学上网的同学可能无法使用该功能了。

>>> r = session.get('http://python-requests.org/')

>>> r.html.render()
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
[W:pyppeteer.chromium_downloader] chromium download done.
[W:pyppeteer.chromium_downloader] chromium extracted to: C:\Users\xxxx\.pyppeteer\local-chromium\571375
>>> r.html.search('Python 2 will retire in only {months} months!')['months']
'<time>25</time>'

render 函数还有一些参数，顺便介绍一下（这些参数有的还有默认值，直接看源代码方法参数列表即可）：

retries: 加载页面失败的次数
script: 页面上需要执行的 JS 脚本（可选）
wait: 加载页面钱的等待时间（秒），防止超时（可选）
scrolldown: 页面向下滚动的次数
sleep: 在页面初次渲染之后的等待时间
reload: 如果为假，那么页面不会从浏览器中加载，而是从内存中加载
keep_page: 如果为真，允许你用 r.html.page 访问页面

比如说简书的用户页面上用户的文章列表就是一个异步加载的例子，初始只显示最近几篇文章，如果想爬取所有文章，就需要使用 scrolldown 配合 sleep 参数模拟下滑页面，促使 JS 代码加载所有文章。

有些网站会分页显示内容，例如 reddit。

>>> r = session.get('https://reddit.com')
>>> for html in r.html:
...     print(html)
<HTML url='https://www.reddit.com/'>
<HTML url='https://www.reddit.com/?count=25&after=t3_81puu5'>
<HTML url='https://www.reddit.com/?count=50&after=t3_81nevg'>
<HTML url='https://www.reddit.com/?count=75&after=t3_81lqtp'>
<HTML url='https://www.reddit.com/?count=100&after=t3_81k1c8'>
<HTML url='https://www.reddit.com/?count=125&after=t3_81p438'>
<HTML url='https://www.reddit.com/?count=150&after=t3_81nrcd'>
…

这样的话，请求下一个网页就很容易了。

>>> r = session.get('https://reddit.com')
>>> r.html.next()
'https://www.reddit.com/?count=25&after=t3_81pm82'

前面介绍的都是通过网络请求 HTML 内容，其实 requests-html 当然可以直接使用，只需要直接构造 HTML 对象即可：

>>> from requests_html import HTML
>>> doc = """<a href='https://httpbin.org'>"""

>>> html = HTML(html=doc)
>>> html.links
{'https://httpbin.org'}

直接渲染 JS 代码也可以：

# 和上面一段代码接起来
>>> script = """
        () => {
            return {
                width: document.documentElement.clientWidth,
                height: document.documentElement.clientHeight,
                deviceScaleFactor: window.devicePixelRatio,
            }
        }
    """
>>> val = html.render(script=script, reload=False)

>>> print(val)
{'width': 800, 'height': 600, 'deviceScaleFactor': 1}

>>> print(html.html)
<html><head></head><body><a href="https://httpbin.org"></a></body></html>

前面都是简单的用 GET 方法获取请求，如果需要登录等比较复杂的过程，就不能用 get 方法了。HTMLSession 类包含了丰富的方法，可以帮助我们完成需求。下面介绍一下这些方法。

有些网站会使用 UA 来识别客户端类型，有时候需要伪造 UA 来实现某些操作。如果查看文档的话会发现 HTMLSession 上的很多请求方法都有一个额外的参数 **kwargs，这个参数用来向底层的请求传递额外参数。我们先向网站发送一个请求，看看返回的网站信息。

from pprint import pprint
r = session.get('http://httpbin.org/get')
pprint(json.loads(r.html.html))

返回的结果如下：

{'args': {},
 'headers': {'Accept': '*/*',
             'Accept-Encoding': 'gzip, deflate',
             'Connection': 'close',
             'Host': 'httpbin.org',
             'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6)'
                           'AppleWebKit/603.3.8 (KHTML, like Gecko)'
                           'Version/10.1.2 Safari/603.3.8'},
 'origin': '110.18.237.233',
 'url': 'http://httpbin.org/get'}

可以看到 UA 是 requests-html 自带的 UA，下面换一个 UA：

ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
r = session.get('http://httpbin.org/get', headers={'user-agent': ua})
pprint(json.loads(r.html.html))

可以看到 UA 确实发生了变化：

{'args': {},
 'headers': {'Accept': '*/*',
             'Accept-Encoding': 'gzip, deflate',
             'Connection': 'close',
             'Host': 'httpbin.org',
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0)'
                           'Gecko/20100101 Firefox/62.0'},
 'origin': '110.18.237.233',
 'url': 'http://httpbin.org/get'}

安装

基本使用

获取网页

获取元素

进阶用法

JavaScript 支持

智能分页

直接使用 HTML

自定义请求

自定义用户代理

Just My Socks（注册教程内含优惠码）