关于数据挖掘:从Pandas快速切换到Polars-数据的ETL和查询

47次阅读

共计 3065 个字符,预计需要花费 8 分钟才能阅读完成。

对于咱们日常的数据清理、预处理和剖析方面的大多数工作,Pandas 曾经入不敷出。然而当数据量变得十分大时,它的性能开始降落。

咱们以前的两篇文章来测试 Pandas 1.5.3、polar 和 Pandas 2.0.0 之间的性能了,Polars 正好能够解决大数据量是解决的问题,所以本文将介绍如何将日常的数据 ETL 和查问过滤的 Pandas 转换成 polars。

Polars 的劣势

Polars 是一个用于 Rust 和 Python 的 DataFrame 库。

  • Polars 利用机器上所有可用的内核,而 pandas 应用单个 CPU 内核来执行操作。
  • Polars 比 pandas 绝对轻量级,没有依赖关系,这使得导入 Polars 的速度更快。导入 Polars 只须要 70 毫秒,而导入 pandas 须要 520 毫秒。
  • Polars 进行查问优化缩小了不必要的内存调配。它还可能以流形式局部或全副地解决查问。
  • Polars 能够解决比机器可用 RAM 更大的数据集。

ETL

Extract, Transform, and Load (ETL)的过程是怎么的:

“提取、转换和加载 (ETL) 是将来自多个数据源的数据组合到称为数据仓库的过程。ETL 应用一组业务规定来清理和组织原始数据,并为存储、数据分析和机器学习 (ML) 做好筹备。能够通过数据分析解决特定的业务智能需要(例如预测业务决策的后果、生成报告、缩小操作效率低下,等等)。(起源:AWS)

Polars 和 Pandas 都反对从各种起源读取数据,包含 CSV、Parquet 和 JSON。

 df=pl.read_csv('data.csv')
 df=pl.read_parquet('data.parquet')
 df=pl.read_json('data.json')

对于数据的读取方面和 Pandas 基本一致。

转换是 ETL 中最重要、最艰难和最耗时的步骤。

polar 反对 Pandas 函数的一个子集,所以咱们能够应用相熟的 Pandas 函数来执行数据转换。

 df=df.select(['A', 'C'])
 df=df.rename({‘A’:‘ID’,‘C’:‘Total’})
 df=df.filter(pl.col('A') >2)
 df=df.groupby('A').agg({'C': 'sum'})

这些 Pandas 函数都能够间接应用。

创立新列:

 df = df.with_column(pl.col(‘Total’) / 2,‘Half Total’)

解决空值:

 df=df.fill_null(0)
 df_filled=df.fill_null('backward')
 df=df.fillna(method='ffill')

Dataframe 的合并

 #pandas
 df_join=pd.merge(df1, df2, on='A')
 #polars
 df_join=df1.join(df2, on='A')

连贯两个 DF

 #pandas
 df_union=pd.concat([df1, df2], ignore_index=True)
 #polars
 df_union=pl.vstack([df1, df2])

polar 应用与 Pandas 雷同的函数来将数据保留到 CSV、JSON 和 Parquet 文件中。

 # CSV
 df.to_csv(file)
 # JSON
 df.to_json(file)
 # Parquet
 df.to_parquet(file)

最初,如果你还须要应用 Pandas 做一些非凡的操作,能够应用:

 df.to_pandas()

这能够将 polar 的 DF 转换成 pandas 的 DF。

最初咱们整顿一个简略的表格:

数据的查问过滤

咱们的日常工作中,数据的查问是最重要,也是用的最多的,所以在这里咱们再整顿下查问过滤的操作。

首先创立一个要解决的 DataFrame。

 # pandas
 import pandas as pd
 
 # read csv
 df_pd = pd.read_csv("datasets/sales_data_with_stores.csv")
 
 # display the first 5 rows
 df_pd.head()

 # polars
 import polars as pl
 
 # read_csv
 df_pl = pl.read_csv("datasets/sales_data_with_stores.csv")
 
 # display the first 5 rows
 df_pl.head()

polars 首先显示了列的数据类型和输入的形态,这对咱们来说十分好。上面咱们进行一些查问,咱们这里只显示一个输入,因为后果都是一样的:

1、按数值筛选

 # pandas
 df_pd[df_pd["cost"] >750]
 df_pd.query('cost > 750')
 
 # polars
 df_pl.filter(pl.col("cost") >750)

2、多个条件查问

pandas 和 polar 都反对依据多个条件进行过滤。咱们能够用“and”和“or”逻辑组合条件。

 # pandas
 df_pd[(df_pd["cost"] >750) & (df_pd["store"] =="Violet")]
 
 # polars
 df_pl.filter((pl.col("cost") >750) & (pl.col("store") =="Violet"))

3、isin

pandas 的 isin 办法可用于将行值与值列表进行比拟。当条件蕴含多个值时,它十分有用。这个办法的 polar 版本是 ” is_in “。

 # pandas
 df_pd[df_pd["product_group"].isin(["PG1", "PG2", "PG5"])]
 
 # polars
 df_pl.filter(pl.col("product_group").is_in(["PG1", "PG2", "PG5"]))

4、抉择列的子集

为了抉择列的子集,咱们能够将列名传递给 pandas 和 polar,如下所示:

 cols= ["product_code", "cost", "price"]
 
 # pandas (both of the following do the job)
 df_pd[cols]
 df_pd.loc[:, cols]
 
 # polars
 df_pl.select(pl.col(cols))

5、抉择行子集

pandas 中能够应用 loc 或 iloc 办法抉择行。在 polar 则更简略。

 # pandas
 df_pd.iloc[10:20]
 
 # polars
 df_pl[10:20]

抉择雷同的行,但只抉择前三列:

 # pandas
 df_pd.iloc[10:20, :3]
 
 # polars
 df_pl[10:20, :3]

如果要按名称抉择列:

 # pandas
 df_pd.loc[10:20, ["store", "product_group", "price"]]
 
 # polars
 df_pl[10:20, ["store", "product_group", "price"]]

按数据类型抉择列:

咱们还能够抉择具备特定数据类型的列。

 # pandas
 df_pd.select_dtypes(include="int64")
 
 # polars
 df_pl.select(pl.col(pl.Int64))

总结

能够看到 polar 与 pandas 十分类似,所以如果在解决大数据集的时候,咱们能够尝试应用 polar,因为它在解决大型数据集时的效率要比 pandas 高,咱们这里只介绍了一些简略的操作,如果你想理解更多,请看 polar 的官网文档:

https://avoid.overfit.cn/post/de7324ae4d3541d184e1c5eb579273db

正文完
 0