作者：韩信子@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/33
本文地址：http://www.showmeai.tech/article-detail/148
申明：版权所有，转载请分割平台与作者并注明出处

当咱们提到python数据分析的时候，大部分状况下都会应用Pandas进行操作。pandas整个系列笼罩以下内容：

  • 图解Pandas外围操作函数大全
  • 图解Pandas数据变换高级函数
  • Pandas数据分组与操作

一、Pandas数据分组与操作

在咱们进行业务数据分析时，常常要对数据依据1个或多个字段分为不同的组（group）进行剖析解决。如电商畛域可能会依据地理位置分组，社交畛域会依据用户画像（性别、年龄）进行分组，再进行后续的剖析解决。

Pandas中能够借助groupby操作对Dataframe分组操作，本文介绍groupby的基本原理及对应的agg、transform和apply办法与操作。

咱们先模仿产出1个Dataframe：

import numpy as npimport pandas as pdcompany=["A","B","C"]data=pd.DataFrame({    "company":[company[x] for x in np.random.randint(0,len(company),10)],    "salary":np.random.randint(5,50,10),    "age":np.random.randint(15,50,10)})

二、Groupby分组及利用

2.1 分组

pandas实现分组操作的很简略，只须要把分组的根据(字段)放入groupby中，例如上面示例代码基于company分组：

group = data.groupby("company")

通过groupby解决之后咱们会失去一个DataFrameGroupBy对象：

group
# 输入<pandas.core.groupby.generic.DataFrameGroupBy object at 0x000001C67C072BE0>

这个生成的DataFrameGroupBy是什么？data通过groupby解决后产生了什么？

下面返回的Groupby处理结果是内存地址，并不利于直观地了解，咱们能够把group转换成list的模式来看一看外部数据和整个过程：

list(group)

转换成列表的模式后，能够看到，列表由三个元组组成，每个元组中：

  • 第一个元素是组别（这里是依照company进行分组，所以最初分为了A,B,C）
  • 第二个元素的是对应组别下的DataFrame

总结一下，groupby将原有的DataFrame依照指定的字段（这里是company），划分为若干个分组DataFrame。groupby之后能够进行下一步操作，留神，在groupby之后的一系列操作（如agg、apply等），均是基于子DataFrame的操作。

上面咱们一起看看groupby之后的常见操作。

2.2 agg 聚合操作

聚合统计操作是groupby后最常见的操作，类比于SQL中咱们会对数据依照group做聚合，pandas中通过agg来实现。聚合操作能够用来求和、均值、最大值、最小值等，下表为Pandas中常见的聚合操作：

例如，计算不同公司员工的平均年龄和均匀薪水，示例代码如下：

data.groupby("company").agg('mean')

或者针对不同字段做不同的计算解决，例如，要计算不同公司员工的平均年龄、薪水的中位数。能够利用字典进行聚合操作：

data.groupby('company').agg({'salary':'median','age':'mean'})

咱们对agg聚合过程进行图解，如下所示：

2.3 transform变换

transform是另外一个pandas分组后会应用到的办法，咱们举例来说明它的用法。

上述agg利用例子中，咱们计算了不同公司员工的均匀薪水，如果当初须要新增一列avg\_salary，代表员工所在的公司的均匀薪水（雷同公司的员工具备一样的均匀薪水），咱们就能够借助transform来实现。

要实现上述工作，咱们须要先求得不同公司的均匀薪水，再依照员工和公司的对应关系填充到对应的地位，应用之前学到的map办法能够拆解实现如下：

avg_salary_dict = data.groupby('company')['salary'].mean().to_dict()data['avg_salary'] = data['company'].map(avg_salary_dict)data

而transform办法能够帮忙咱们一行实现全过程：

data['avg_salary'] = data.groupby('company')['salary'].transform('mean')data

上面对groupby+transform的过程做图解帮忙了解：

留神图中大方框，展现了transform和agg不一样的计算过程：

  • agg：会计算失去A，B，C公司对应的均值并间接返回
  • transform：会对每一条数据求得相应的后果，同一组内的样本会有雷同的值，组内求完均值后会依照原索引的程序返回后果

2.4 apply办法

之前咱们介绍过对Dataframe应用apply进行灵便数据变换操作解决的办法，它反对传入自定义函数，实现简单数据操作。apply除了之前介绍的用法，也能够用在groupby后，咱们一起来学习一下。

对于groupby后的apply，实际上是以分组后的子DataFrame作为参数传入指定函数的，基本操作单位是DataFrame，而之前介绍的apply的基本操作单位是Series。咱们通过一个案例来了解一下。

退出咱们须要获取各个公司年龄最大的员工的数据，能够通过以下代码实现：

def get_oldest_staff(x):     df = x.sort_values(by = 'age',ascending=True)     return df.iloc[-1,:]oldest_staff = data.groupby('company',as_index=False).apply(get_oldest_staff)oldest_staff

咱们对下面的过程图解帮忙了解：

本例中的apply传入函数的参数由Series变成这里的分组DataFrame。相比于agg和transform，apply办法领有更大的灵活性，但它的运行效率会比agg和transform慢。所以，groupby之后怼数据做操作，优先应用agg和transform，其次再思考应用apply进行操作。

材料与代码下载

本教程系列的代码能够在ShowMeAI对应的github中下载，可本地python环境运行，能迷信上网的宝宝也能够间接借助google colab一键运行与交互操作学习哦！

本系列教程波及的速查表能够在以下地址下载获取

  • Pandas速查表
  • NumPy速查表
  • Matplotlib速查表
  • Seaborn速查表

拓展参考资料

  • Pandas官网教程
  • Pandas中文教程

ShowMeAI相干文章举荐

  • 数据分析介绍
  • 数据分析思维
  • 数据分析的数学根底
  • 业务认知与数据初探
  • 数据荡涤与预处理
  • 业务剖析与数据挖掘
  • 数据分析工具地图
  • 统计与数据科学计算工具库Numpy介绍
  • Numpy与1维数组操作
  • Numpy与2维数组操作
  • Numpy与高维数组操作
  • 数据分析工具库Pandas介绍
  • 图解Pandas外围操作函数大全
  • 图解Pandas数据变换高级函数
  • Pandas数据分组与操作
  • 数据可视化准则与办法
  • 基于Pandas的数据可视化
  • seaborn工具与数据可视化

ShowMeAI系列教程举荐

  • 图解Python编程：从入门到精通系列教程
  • 图解数据分析：从入门到精通系列教程
  • 图解AI数学根底：从入门到精通系列教程
  • 图解大数据技术：从入门到精通系列教程