共计 2376 个字符，预计需要花费 6 分钟才能阅读完成。
大家好，我是陈程。
谈及 Pandas 的 read.xxx 系列的函数，大家的第一反馈会想到比拟罕用的 pd.read_csv()和 pd.read_excel()，大多数人预计没用过 pd.read_html()这个函数。尽管它低调，但性能十分弱小，用于抓取 Table 表格型数据时，几乎是个神器。
是的，这个神器能够用来爬虫！
01 定 义
pd.read_html()这个函数功能强大，无需把握正则表达式或者 xpath 等工具，短短的几行代码就能够轻松实现抓取 Table 表格型网页数据。
02 原 理
一.Table 表格型数据网页构造
为了理解 Table 网页构造，咱们看个简略例子。
没错，简略！
另一个例子：
新浪财经网
法则：以 Table 构造展现的表格数据，网页构造长这样：
<table class="..." id="...">
<thead>
<tr>
<th>...</th>
</tr>
</thead>
<tbody>
<tr>
<td>...</td>
</tr>
<tr>...</tr>
<tr>...</tr>
...
<tr>...</tr>
<tr>...</tr>
</tbody>
</table>
二.pandas 申请表格数据原理
根本流程
其实，pd.read_html 能够将网页上的表格数据都抓取下来，并以 DataFrame 的模式装在一个 list 中返回。
三.pd.read_html 语法及参数
根本语法：
pandas.read_html(io, match='.+', flavor=None,
header=None,index_col=None,skiprows=None,
attrs=None, parse_dates=False, thousands=',',
encoding=None, decimal='.', converters=None, na_values=None,
keep_default_na=True, displayed_only=True）主要参数：
io：接管网址、文件、字符串；parse_dates：解析日期；flavor：解析器；header：题目行；skiprows：跳过的行；attrs：属性，比方 attrs = {'id': 'table'}
实 战
一. 案例 1：抓取世界大学排名（1 页数据）
1import pandas as pd
2import csv
3url1 = 'http://www.compassedu.hk/qs'
4df1 = pd.read_html(url1)[0] #0 示意网页中的第一个 Table
5df1.to_csv('世界大学综合排名.csv',index=0)5 行代码，几秒钟就搞定，数据预览：
二. 案例 2：抓取新浪财经基金重仓股数据（6 页数据）
1import pandas as pd
2import csv
3df2 = pd.DataFrame()
4for i in range(6):
5 url2 = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)
6 df2 = pd.concat([df2,pd.read_html(url2)[0]])
7 print('第 {page} 页抓取实现'.format(page = i + 1))
8df2.to_csv('./ 新浪财经数据.csv',encoding='utf-8',index=0)8 行代码搞定，还是那么简略。
咱们来预览下爬取到的数据：
三. 案例 3：抓取证监会披露的 IPO 数据（217 页数据）
1import pandas as pd
2from pandas import DataFrame
3import csv
4import time
5start = time.time() #计时
6df3 = DataFrame(data=None,columns=['公司名称','披露日期','上市地和板块','披露类型','查看 PDF 材料']) #增加列名
7for i in range(1,218):
8 url3 ='http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime'%str(i)
9 df3_1 = pd.read_html(url3,encoding='utf-8')[2] #必须加 utf-8，否则乱码
10 df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1] #过滤掉最初一行和最初一列（NaN 列）11 df3_2.columns=['公司名称','披露日期','上市地和板块','披露类型','查看 PDF 材料'] #新的 df 增加列名
12 df3 = pd.concat([df3,df3_2]) #数据合并
13 print('第 {page} 页抓取实现'.format(page=i))
14df3.to_csv('./ 上市公司 IPO 信息.csv', encoding='utf-8',index=0) #保留数据到 csv 文件
15end = time.time()
16print ('共抓取',len(df3),'家公司,' + '用时',round((end-start)/60,2),'分钟')
这里留神要对抓下来的 Table 数据进行过滤，次要用到 iloc 办法。另外，我还加了个程序计时，不便查看爬取速度。
2 分钟爬下 217 页 4334 条数据，相当 nice 了。咱们来预览下爬取到的数据：
上市公司 IPO 数据：
留神，并不是所有表格都能够用 pd.read_html 爬取，有的网站外表上看起来是表格，但在网页源代码中不是 table 格局，而是 list 列表格局。这种表格则不实用 read_html 爬取，得用其余的办法，比方 selenium。
