谈及Pandas的read.xxx系列的函数，大家的第一反馈会想到比拟罕用的pd.read_csv()和pd.read_excel()，大多数人预计没用过pd.read_html()这个函数。尽管它低调，但性能十分弱小，用于抓取Table表格型数据时，几乎是个神器。

是的，这个神器能够用来爬虫！

本文目录

定 义

pd.read_html()这个函数功能强大，无需把握正则表达式或者xpath等工具，短短的几行代码就能够轻松实现抓取Table表格型网页数据。

原 理

一.Table表格型数据网页构造

为了理解Table网页构造，咱们看个简略例子。

指南者留学网

没错，简略！

另一个例子：

新浪财经网

法则：以Table构造展现的表格数据，网页构造长这样：

<table class="..." id="...">     <thead>     <tr>     <th>...</th>     </tr>     </thead>     <tbody>        <tr>            <td>...</td>        </tr>        <tr>...</tr>        <tr>...</tr>        ...        <tr>...</tr>        <tr>...</tr>            </tbody></table>

Table表格个别网页构造

二.pandas申请表格数据原理

根本流程

其实，pd.read_html能够将网页上的表格数据都抓取下来，并以DataFrame的模式装在一个list中返回。

三.pd.read_html语法及参数

pandas.read_html(io, match='.+', flavor=None, header=None,index_col=None,skiprows=None, attrs=None, parse_dates=False, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True）

根本语法

io ：接管网址、文件、字符串；

parse_dates：解析日期；

flavor：解析器；

header：题目行；

skiprows：跳过的行；

attrs：属性，比方 attrs = {'id': 'table'}

主要参数

实 战

一.案例1：抓取世界大学排名（1页数据）

1import pandas as pd 2import csv3url1 = 'http://www.compassedu.hk/qs'4df1 = pd.read_html(url1)[0]  #0示意网页中的第一个Table5df1.to_csv('世界大学综合排名.csv',index=0)

5行代码，几秒钟就搞定，数据预览：

世界大学排行榜

二.案例2： 抓取新浪财经基金重仓股数据（6页数据）

1import pandas as pd2import csv3df2 = pd.DataFrame()4for i in range(6):5    url2 = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)6    df2 = pd.concat([df2,pd.read_html(url2)[0]])7    print('第{page}页抓取实现'.format(page = i + 1))8df2.to_csv('./新浪财经数据.csv',encoding='utf-8',index=0)

8行代码搞定，还是那么简略。

咱们来预览下爬取到的数据：

基金重仓股数据

三.案例3： 抓取证监会披露的IPO数据（217页数据）

 1import pandas as pd 2from pandas import DataFrame 3import csv 4import time 5start = time.time() #计时 6df3 = DataFrame(data=None,columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF材料']) #增加列名 7for i in range(1,218):   8    url3 ='http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime'%str(i) 9    df3_1 = pd.read_html(url3,encoding='utf-8')[2]  #必须加utf-8，否则乱码10    df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1]  #过滤掉最初一行和最初一列（NaN列）11    df3_2.columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF材料'] #新的df增加列名12    df3 = pd.concat([df3,df3_2])  #数据合并13    print('第{page}页抓取实现'.format(page=i))14df3.to_csv('./上市公司IPO信息.csv', encoding='utf-8',index=0) #保留数据到csv文件15end = time.time()16print ('共抓取',len(df3),'家公司,' + '用时',round((end-start)/60,2),'分钟')

这里留神要对抓下来的Table数据进行过滤，次要用到iloc办法。另外，我还加了个程序计时，不便查看爬取速度。

2分钟爬下217页4334条数据，相当nice了。咱们来预览下爬取到的数据 ：

上市公司IPO数据

留神，并不是所有表格都能够用pd.read_html爬取，有的网站外表上看起来是表格，但在网页源代码中不是table格局，而是list列表格局，这种表格则不实用read_html爬取，得用其余的办法，比方：selenium等。

以上就是本次分享的所有内容，如果你感觉文章还不错，欢送关注公众号：Python编程学习圈，每日干货分享，发送“J”还可支付大量学习材料。或是返回编程学习网，理解更多编程技术常识。