乐趣区

关于爬虫:秀Pandas-也能爬虫

谈及 Pandas 的 read.xxx 系列的函数,大家的第一反馈会想到比拟罕用的 pd.read_csv()和 pd.read_excel(),大多数人预计没用过 pd.read_html()这个函数。尽管它低调,但性能十分弱小,用于抓取 Table 表格型数据时,几乎是个神器。

是的,这个神器能够用来爬虫!

本文目录

定 义

pd.read_html()这个函数功能强大,无需把握正则表达式或者 xpath 等工具,短短的几行代码就能够轻松实现抓取 Table 表格型网页数据。

原 理

一.Table 表格型数据网页构造

为了理解 Table 网页构造,咱们看个简略例子。

指南者留学网

没错,简略!

另一个例子:

新浪财经网

法则:以 Table 构造展现的表格数据,网页构造长这样:

<table class="..." id="...">

     <thead>

     <tr>

     <th>...</th>

     </tr>

     </thead>

     <tbody>

        <tr>

            <td>...</td>

        </tr>

        <tr>...</tr>

        <tr>...</tr>

        ...

        <tr>...</tr>

        <tr>...</tr>        

    </tbody>

</table>

Table 表格个别网页构造

二.pandas 申请表格数据原理

根本流程

其实,pd.read_html 能够将网页上的表格数据都抓取下来,并以 DataFrame 的模式装在一个 list 中返回。

三.pd.read_html 语法及参数

pandas.read_html(io, match='.+', flavor=None, 

header=None,index_col=None,skiprows=None, 

attrs=None, parse_dates=False, thousands=',', 

encoding=None, decimal='.', converters=None, na_values=None, 

keep_default_na=True, displayed_only=True)

根本语法

io:接管网址、文件、字符串;

parse_dates:解析日期;

flavor:解析器;

header:题目行;

skiprows:跳过的行;

attrs:属性,比方 attrs = {‘id’: ‘table’}

主要参数

实 战

一. 案例 1:抓取世界大学排名(1 页数据)

1import pandas as pd 
2import csv
3url1 = 'http://www.compassedu.hk/qs'
4df1 = pd.read_html(url1)[0]  #0 示意网页中的第一个 Table
5df1.to_csv('世界大学综合排名.csv',index=0)

5 行代码,几秒钟就搞定,数据预览:

世界大学排行榜

二. 案例 2: 抓取新浪财经基金重仓股数据(6 页数据)

1import pandas as pd
2import csv
3df2 = pd.DataFrame()
4for i in range(6):
5    url2 = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)
6    df2 = pd.concat([df2,pd.read_html(url2)[0]])
7    print('第 {page} 页抓取实现'.format(page = i + 1))
8df2.to_csv('./ 新浪财经数据.csv',encoding='utf-8',index=0)

8 行代码搞定,还是那么简略。

咱们来预览下爬取到的数据:

基金重仓股数据

三. 案例 3: 抓取证监会披露的 IPO 数据(217 页数据)

 1import pandas as pd
 2from pandas import DataFrame
 3import csv
 4import time
 5start = time.time() #计时
 6df3 = DataFrame(data=None,columns=['公司名称','披露日期','上市地和板块','披露类型','查看 PDF 材料']) #增加列名
 7for i in range(1,218):  
 8    url3 ='http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime'%str(i)
 9    df3_1 = pd.read_html(url3,encoding='utf-8')[2]  #必须加 utf-8,否则乱码
10    df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1]  #过滤掉最初一行和最初一列(NaN 列)11    df3_2.columns=['公司名称','披露日期','上市地和板块','披露类型','查看 PDF 材料'] #新的 df 增加列名
12    df3 = pd.concat([df3,df3_2])  #数据合并
13    print('第 {page} 页抓取实现'.format(page=i))
14df3.to_csv('./ 上市公司 IPO 信息.csv', encoding='utf-8',index=0) #保留数据到 csv 文件
15end = time.time()
16print ('共抓取',len(df3),'家公司,' + '用时',round((end-start)/60,2),'分钟')

这里留神要对抓下来的 Table 数据进行过滤,次要用到 iloc 办法。另外,我还加了个程序计时,不便查看爬取速度。

2 分钟爬下 217 页 4334 条数据,相当 nice 了。咱们来预览下爬取到的数据

上市公司 IPO 数据

留神,并不是所有表格都能够用 pd.read_html 爬取,有的网站外表上看起来是表格,但在网页源代码中不是 table 格局,而是 list 列表格局,这种表格则不实用 read_html 爬取,得用其余的办法,比方:selenium 等。

以上就是本次分享的所有内容,如果你感觉文章还不错,欢送关注公众号:Python 编程学习圈,每日干货分享,发送“J”还可支付大量学习材料。或是返回编程学习网,理解更多编程技术常识。

退出移动版