groupby是Pandas在数据分析中最罕用的函数之一。它用于依据给定列中的不同值对数据点(即行)进行分组,分组后的数据能够计算生成组的聚合值。
如果咱们有一个蕴含汽车品牌和价格信息的数据集,那么能够应用groupby性能来计算每个品牌的平均价格。
在本文中,咱们将应用25个示例来具体介绍groupby函数的用法。这25个示例中还蕴含了一些不太罕用但在各种工作中都能派上用场的操作。
这里应用的数据集是随机生成的,咱们把它当作一个销售的数据集。
import pandas as pd sales = pd.read_csv("sales_data.csv") sales.head()
1、单列聚合
咱们能够计算出每个店铺的均匀库存数量如下:
sales.groupby("store")["stock_qty"].mean() #输入 store Daisy 1811.861702 Rose 1677.680000 Violet 14622.406061 Name: stock_qty, dtype: float64
2、多列聚合
在一个操作中进行多个聚合。以下是咱们如何计算每个商店的均匀库存数量和价格。
sales.groupby("store")[["stock_qty","price"]].mean()
3、多列多个聚合
咱们还能够应用agg函数来计算多个聚合值。
sales.groupby("store")["stock_qty"].agg(["mean", "max"])
4、对聚合后果进行命名
在后面的两个示例中,聚合列示意什么还不分明。例如,“mean”并没有通知咱们它是什么的均值。在这种状况下,咱们能够对聚合的后果进行命名。
sales.groupby("store").agg( avg_stock_qty = ("stock_qty", "mean"), max_stock_qty = ("stock_qty", "max") )
要聚合的列和函数名须要写在元组中。
5、多个聚合和多个函数
sales.groupby("store")[["stock_qty","price"]].agg(["mean", "max"])
6、对不同列的聚合进行命名
sales.groupby("store").agg( avg_stock_qty = ("stock_qty", "mean"), avg_price = ("price", "mean") )
7、as_index参数
如果groupby操作的输入是DataFrame,能够应用as_index参数使它们成为DataFrame中的一列。
sales.groupby("store", as_index=False).agg( avg_stock_qty = ("stock_qty", "mean"), avg_price = ("price", "mean") )
8、用于分组的多列
就像咱们能够聚合多个列一样,咱们也能够应用多个列进行分组。
sales.groupby(["store","product_group"], as_index=False).agg( avg_sales = ("last_week_sales", "mean") ).head()
每个商店和产品的组合都会生成一个组。
9、排序输入
能够应用sort_values函数依据聚合列对输入进行排序。
sales.groupby(["store","product_group"], as_index=False).agg( avg_sales = ("last_week_sales", "mean") ).sort_values(by="avg_sales", ascending=False).head()
这些行依据均匀销售值按降序排序。
10、最大的Top N
max函数返回每个组的最大值。如果咱们须要n个最大的值,能够用上面的办法:
sales.groupby("store")["last_week_sales"].nlargest(2) store Daisy 413 1883 231 947 Rose 948 883 263 623 Violet 991 3222 339 2690 Name: last_week_sales, dtype: int64
11、最小的Top N
与最大值类似,也能够求最小值
sales.groupby("store")["last_week_sales"].nsmallest(2)
12、第n个值
除下面2个以外,还能够找到一组中的第n个值。
sales_sorted = sales.sort_values(by=["store","last_month_sales"], ascending=False, ignore_index=True)
找到每个店铺上个月销售排名第五的产品如下:
sales_sorted.groupby("store").nth(4)
输入蕴含每个组的第5行。因为行是依据上个月的销售值排序的,所以咱们将取得上个月销售额排名第五的行。
13、第n个值,倒排序
也能够用负的第n项。例如," nth(-2) "返回从开端开始的第二行。
sales_sorted.groupby("store").nth(-2)
14、惟一值
unique函数可用于查找每组中惟一的值。例如,能够找到每个组中惟一的产品代码如下:
sales.groupby("store", as_index=False).agg( unique_values = ("product_code","unique") )
15、惟一值的数量
还能够应用nunique函数找到每组中惟一值的数量。
sales.groupby("store", as_index=False).agg( number_of_unique_values = ("product_code","nunique") )
16、Lambda表达式
能够在agg函数中应用lambda表达式作为自定义聚合操作。
sales.groupby("store").agg( total_sales_in_thousands = ( "last_month_sales", lambda x: round(x.sum() / 1000, 1) ) )
17、apply函数
应用apply函数将Lambda表达式利用到每个组。例如,咱们能够计算每家店上周销售额与上个月四分之一销售额的差值的平均值,如下:
sales.groupby("store").apply( lambda x: (x.last_week_sales - x.last_month_sales / 4).mean() ) store Daisy 5.094149 Rose 5.326250 Violet 8.965152 dtype: float64
18、dropna
缺省状况下,groupby函数疏忽缺失值。如果用于分组的列中短少一个值,那么它将不蕴含在任何组中,也不会独自显示。所以能够应用dropna参数来扭转这个行为。
让咱们首先增加一个短少存储值的新行。
sales.loc[1000] = [None, "PG2", 10000, 120, 64, 96, 15, 53]
而后计算带有dropna参数和不带有dropna参数的每个商店的平均价格,以查看差别。
sales.groupby("store")["price"].mean() store Daisy 69.327426 Rose 60.513700 Violet 67.808727 Name: price, dtype: float64
看看设置了缺失值参数的后果:
sales.groupby("store", dropna=False)["price"].mean() store Daisy 69.327426 Rose 60.513700 Violet 67.808727 NaN 96.000000 Name: price, dtype: float64
groupby函数的dropna参数,应用pandas版本1.1.0或更高版本。
19、求组的个数
有时须要晓得生成了多少组,这能够应用ngroups。
sales.groupby(["store", "product_group"]).ngroups 18
在商店和产品组列中有18种不同值的不同组合。
20、取得一个特定分组
get_group函数可获取特定组并且返回DataFrame。
例如,咱们能够取得属于存储“Daisy”和产品组“PG1”的行如下:
aisy_pg1 = sales.groupby( ["store", "product_group"]).get_group(("Daisy","PG1") ) daisy_pg1.head()
21、rank函数
rank函数用于依据给定列中的值为行调配秩。咱们能够应用rank和groupby函数别离对每个组中的行进行排序。
sales["rank"] = sales.groupby("store"["price"].rank( ascending=False, method="dense" ) sales.head()
22、累计操作
们能够计算出每组的累计总和。
import numpy as npdf = pd.DataFrame( { "date": pd.date_range(start="2022-08-01", periods=8, freq="D"), "category": list("AAAABBBB"), "value": np.random.randint(10, 30, size=8) } )
咱们能够独自创立一个列,蕴含值列的累计总和,如下所示:
df["cum_sum"] = df.groupby("category")["value"].cumsum()
23、expanding函数
expanding函数提供开展转换。然而对于开展当前的操作还是须要一个累计函数来堆区操作。例如它与cumsum 函数一起应用,后果将与与sum函数雷同。
df["cum_sum_2"] = df.groupby( "category" )["value"].expanding().sum().values
24、累积均匀
利用开展函数和均值函数计算累积均匀。
df["cum_mean"] = df.groupby( "category" )["value"].expanding().mean().values
25、开展后的最大值
能够应用expand和max函数记录组以后最大值。
df["current_highest"] = df.groupby( "category" )["value"].expanding().max().values
在Pandas中groupby函数与aggregate函数独特形成了高效的数据分析工具。在本文中所做的示例涵盖了groupby性能的大多数用例,心愿对你有所帮忙。
https://avoid.overfit.cn/post/eb6cd15ec5134397842f580f383ac712
作者:Soner Yıldırım