对于咱们日常的数据清理、预处理和剖析方面的大多数工作，Pandas曾经入不敷出。然而当数据量变得十分大时，它的性能开始降落。
咱们以前的两篇文章来测试Pandas 1.5.3、polar和Pandas 2.0.0之间的性能了，Polars 正好能够解决大数据量是解决的问题，所以本文将介绍如何将日常的数据ETL和查问过滤的Pandas转换成polars。
Polars的劣势
Polars是一个用于Rust和Python的DataFrame库。
- Polars利用机器上所有可用的内核，而pandas应用单个CPU内核来执行操作。
- Polars比pandas绝对轻量级，没有依赖关系，这使得导入Polars的速度更快。导入Polars只须要70毫秒，而导入pandas须要520毫秒。
- Polars进行查问优化缩小了不必要的内存调配。它还可能以流形式局部或全副地解决查问。
- Polars能够解决比机器可用RAM更大的数据集。
ETL
Extract, Transform, and Load (ETL)的过程是怎么的:
“提取、转换和加载(ETL)是将来自多个数据源的数据组合到称为数据仓库的过程。ETL应用一组业务规定来清理和组织原始数据，并为存储、数据分析和机器学习(ML)做好筹备。能够通过数据分析解决特定的业务智能需要(例如预测业务决策的后果、生成报告、缩小操作效率低下，等等)。(起源:AWS)
Polars和Pandas都反对从各种起源读取数据，包含CSV、Parquet和JSON。
df=pl.read_csv('data.csv') df=pl.read_parquet('data.parquet') df=pl.read_json('data.json')对于数据的读取方面和Pandas基本一致。
转换是ETL中最重要、最艰难和最耗时的步骤。
polar反对Pandas函数的一个子集，所以咱们能够应用相熟的Pandas函数来执行数据转换。
df=df.select(['A', 'C']) df=df.rename({‘A’: ‘ID’, ‘C’: ‘Total’}) df=df.filter(pl.col('A') >2) df=df.groupby('A').agg({'C': 'sum'})这些Pandas函数都能够间接应用。
创立新列：
df = df.with_column(pl.col(‘Total’) / 2, ‘Half Total’)解决空值：
df=df.fill_null(0) df_filled=df.fill_null('backward') df=df.fillna(method='ffill')Dataframe 的合并
#pandas df_join=pd.merge(df1, df2, on='A') #polars df_join=df1.join(df2, on='A')连贯两个DF
#pandas df_union=pd.concat([df1, df2], ignore_index=True) #polars df_union=pl.vstack([df1, df2])polar应用与Pandas雷同的函数来将数据保留到CSV、JSON和Parquet文件中。
# CSV df.to_csv(file) # JSON df.to_json(file) # Parquet df.to_parquet(file)最初，如果你还须要应用Pandas做一些非凡的操作，能够应用:
df.to_pandas()这能够将polar的DF转换成pandas的DF。
最初咱们整顿一个简略的表格：
数据的查问过滤
咱们的日常工作中，数据的查问是最重要，也是用的最多的，所以在这里咱们再整顿下查问过滤的操作。
首先创立一个要解决的DataFrame。
# pandas import pandas as pd # read csv df_pd = pd.read_csv("datasets/sales_data_with_stores.csv") # display the first 5 rows df_pd.head() # polars import polars as pl # read_csv df_pl = pl.read_csv("datasets/sales_data_with_stores.csv") # display the first 5 rows df_pl.head()polars首先显示了列的数据类型和输入的形态，这对咱们来说十分好。上面咱们进行一些查问，咱们这里只显示一个输入，因为后果都是一样的：
1、按数值筛选
# pandas df_pd[df_pd["cost"] >750] df_pd.query('cost > 750') # polars df_pl.filter(pl.col("cost") >750)2、多个条件查问
pandas和polar都反对依据多个条件进行过滤。咱们能够用“and”和“or”逻辑组合条件。
# pandas df_pd[(df_pd["cost"] >750) & (df_pd["store"] =="Violet")] # polars df_pl.filter((pl.col("cost") >750) & (pl.col("store") =="Violet"))3、isin
pandas的isin办法可用于将行值与值列表进行比拟。当条件蕴含多个值时，它十分有用。这个办法的polar版本是" is_in "。
# pandas df_pd[df_pd["product_group"].isin(["PG1", "PG2", "PG5"])] # polars df_pl.filter(pl.col("product_group").is_in(["PG1", "PG2", "PG5"]))4、抉择列的子集
为了抉择列的子集，咱们能够将列名传递给pandas和polar，如下所示:
cols= ["product_code", "cost", "price"] # pandas (both of the following do the job) df_pd[cols] df_pd.loc[:, cols] # polars df_pl.select(pl.col(cols))5、抉择行子集
pandas中能够应用loc或iloc办法抉择行。在polar则更简略。
# pandas df_pd.iloc[10:20] # polars df_pl[10:20]抉择雷同的行，但只抉择前三列:
# pandas df_pd.iloc[10:20, :3] # polars df_pl[10:20, :3]如果要按名称抉择列：
# pandas df_pd.loc[10:20, ["store", "product_group", "price"]] # polars df_pl[10:20, ["store", "product_group", "price"]]按数据类型抉择列：
咱们还能够抉择具备特定数据类型的列。
# pandas df_pd.select_dtypes(include="int64") # polars df_pl.select(pl.col(pl.Int64))总结
能够看到polar与pandas十分类似，所以如果在解决大数据集的时候，咱们能够尝试应用polar，因为它在解决大型数据集时的效率要比pandas高，咱们这里只介绍了一些简略的操作，如果你想理解更多，请看polar的官网文档:
https://avoid.overfit.cn/post/de7324ae4d3541d184e1c5eb579273db