关于人工智能:25个例子学会Pandas-Groupby-操作

groupby 是 Pandas 在数据分析中最罕用的函数之一。它用于依据给定列中的不同值对数据点 (即行) 进行分组，分组后的数据能够计算生成组的聚合值。

如果咱们有一个蕴含汽车品牌和价格信息的数据集，那么能够应用 groupby 性能来计算每个品牌的平均价格。

在本文中，咱们将应用 25 个示例来具体介绍 groupby 函数的用法。这 25 个示例中还蕴含了一些不太罕用但在各种工作中都能派上用场的操作。

这里应用的数据集是随机生成的，咱们把它当作一个销售的数据集。

 import pandas as pd
 sales = pd.read_csv("sales_data.csv")
 sales.head()

1、单列聚合

咱们能够计算出每个店铺的均匀库存数量如下:

 sales.groupby("store")["stock_qty"].mean()
 
 #输入
 store
 Daisy      1811.861702
 Rose       1677.680000
 Violet    14622.406061
 Name: stock_qty, dtype: float64

2、多列聚合

在一个操作中进行多个聚合。以下是咱们如何计算每个商店的均匀库存数量和价格。

 sales.groupby("store")[["stock_qty","price"]].mean()

3、多列多个聚合

咱们还能够应用 agg 函数来计算多个聚合值。

 sales.groupby("store")["stock_qty"].agg(["mean", "max"])

4、对聚合后果进行命名

在后面的两个示例中，聚合列示意什么还不分明。例如，“mean”并没有通知咱们它是什么的均值。在这种状况下，咱们能够对聚合的后果进行命名。

 sales.groupby("store").agg(avg_stock_qty = ("stock_qty", "mean"),
     max_stock_qty = ("stock_qty", "max")
     )

要聚合的列和函数名须要写在元组中。

5、多个聚合和多个函数

 sales.groupby("store")[["stock_qty","price"]].agg(["mean", "max"])

6、对不同列的聚合进行命名

 sales.groupby("store").agg(avg_stock_qty = ("stock_qty", "mean"),
     avg_price = ("price", "mean")
     )

7、as_index 参数

如果 groupby 操作的输入是 DataFrame，能够应用 as_index 参数使它们成为 DataFrame 中的一列。

 sales.groupby("store", as_index=False).agg(avg_stock_qty = ("stock_qty", "mean"),
     avg_price = ("price", "mean")
     )

8、用于分组的多列

就像咱们能够聚合多个列一样，咱们也能够应用多个列进行分组。

 sales.groupby(["store","product_group"], as_index=False).agg(avg_sales = ("last_week_sales", "mean")
     
 ).head()

每个商店和产品的组合都会生成一个组。

9、排序输入

能够应用 sort_values 函数依据聚合列对输入进行排序。

 sales.groupby(["store","product_group"], as_index=False).agg(avg_sales = ("last_week_sales", "mean")
     
 ).sort_values(by="avg_sales", ascending=False).head()

这些行依据均匀销售值按降序排序。

10、最大的 Top N

max 函数返回每个组的最大值。如果咱们须要 n 个最大的值，能够用上面的办法：

 sales.groupby("store")["last_week_sales"].nlargest(2)
 
 store      
 Daisy   413    1883
         231     947
 Rose    948     883
         263     623
 Violet  991    3222
         339    2690
 Name: last_week_sales, dtype: int64

11、最小的 Top N

与最大值类似，也能够求最小值

 sales.groupby("store")["last_week_sales"].nsmallest(2)

12、第 n 个值

除下面 2 个以外，还能够找到一组中的第 n 个值。

 sales_sorted = sales.sort_values(by=["store","last_month_sales"], ascending=False, ignore_index=True)

找到每个店铺上个月销售排名第五的产品如下:

 sales_sorted.groupby("store").nth(4)

输入蕴含每个组的第 5 行。因为行是依据上个月的销售值排序的，所以咱们将取得上个月销售额排名第五的行。

13、第 n 个值，倒排序

也能够用负的第 n 项。例如，” nth(-2) “ 返回从开端开始的第二行。

 sales_sorted.groupby("store").nth(-2)

14、惟一值

unique 函数可用于查找每组中惟一的值。例如，能够找到每个组中惟一的产品代码如下:

 sales.groupby("store", as_index=False).agg(unique_values = ("product_code","unique")
 )

15、惟一值的数量

还能够应用 nunique 函数找到每组中惟一值的数量。

 sales.groupby("store", as_index=False).agg(number_of_unique_values = ("product_code","nunique")
 )

16、Lambda 表达式

能够在 agg 函数中应用 lambda 表达式作为自定义聚合操作。

 sales.groupby("store").agg(
     total_sales_in_thousands = (
         "last_month_sales", 
         lambda x: round(x.sum() / 1000, 1)
     )
 )

17、apply 函数

应用 apply 函数将 Lambda 表达式利用到每个组。例如，咱们能够计算每家店上周销售额与上个月四分之一销售额的差值的平均值，如下:

 sales.groupby("store").apply(lambda x: (x.last_week_sales - x.last_month_sales / 4).mean())
 
 store
 Daisy     5.094149
 Rose      5.326250
 Violet    8.965152
 dtype: float64

18、dropna

缺省状况下，groupby 函数疏忽缺失值。如果用于分组的列中短少一个值，那么它将不蕴含在任何组中，也不会独自显示。所以能够应用 dropna 参数来扭转这个行为。

让咱们首先增加一个短少存储值的新行。

 sales.loc[1000] = [None, "PG2", 10000, 120, 64, 96, 15, 53]

而后计算带有 dropna 参数和不带有 dropna 参数的每个商店的平均价格，以查看差别。

 sales.groupby("store")["price"].mean()
 
 store
 Daisy     69.327426
 Rose      60.513700
 Violet    67.808727
 Name: price, dtype: float64

看看设置了缺失值参数的后果：

 sales.groupby("store", dropna=False)["price"].mean()
 
 store
 Daisy     69.327426
 Rose      60.513700
 Violet    67.808727
 NaN       96.000000
 Name: price, dtype: float64

groupby 函数的 dropna 参数，应用 pandas 版本 1.1.0 或更高版本。

19、求组的个数

有时须要晓得生成了多少组，这能够应用 ngroups。

 sales.groupby(["store", "product_group"]).ngroups
 
 18

在商店和产品组列中有 18 种不同值的不同组合。

20、取得一个特定分组

get_group 函数可获取特定组并且返回 DataFrame。

例如，咱们能够取得属于存储“Daisy”和产品组“PG1”的行如下:

 aisy_pg1 = sales.groupby(["store", "product_group"]).get_group(("Daisy","PG1")
 )
 daisy_pg1.head()

21、rank 函数

rank 函数用于依据给定列中的值为行调配秩。咱们能够应用 rank 和 groupby 函数别离对每个组中的行进行排序。

 sales["rank"] = sales.groupby("store"["price"].rank(ascending=False, method="dense")
 
 sales.head()

22、累计操作

们能够计算出每组的累计总和。

 import numpy as npdf = pd.DataFrame(
    {"date": pd.date_range(start="2022-08-01", periods=8, freq="D"),
      "category": list("AAAABBBB"),
      "value": np.random.randint(10, 30, size=8)
    }
 )

咱们能够独自创立一个列，蕴含值列的累计总和，如下所示:

 df["cum_sum"] = df.groupby("category")["value"].cumsum()

23、expanding 函数

expanding 函数提供开展转换。然而对于开展当前的操作还是须要一个累计函数来堆区操作。例如它与 cumsum 函数一起应用，后果将与与 sum 函数雷同。

 df["cum_sum_2"] = df.groupby("category")["value"].expanding().sum().values

24、累积均匀

利用开展函数和均值函数计算累积均匀。

 df["cum_mean"] = df.groupby("category")["value"].expanding().mean().values

25、开展后的最大值

能够应用 expand 和 max 函数记录组以后最大值。

 df["current_highest"] = df.groupby("category")["value"].expanding().max().values

在 Pandas 中 groupby 函数与 aggregate 函数独特形成了高效的数据分析工具。在本文中所做的示例涵盖了 groupby 性能的大多数用例，心愿对你有所帮忙。

https://avoid.overfit.cn/post/eb6cd15ec5134397842f580f383ac712

作者：Soner Yıldırım

关于人工智能:25个例子学会Pandas-Groupby-操作

Just My Socks（注册教程 内含优惠码）

Just My Socks（注册教程内含优惠码）