Pandas 2.0正式版在4月3日曾经公布了，当前咱们pip install默认装置的就是2.0版了，Polars 是最近比拟火的一个DataFrame 库，最近在kaggle上常常应用，所以这里咱们将比照下 Pandas 1.5，Polars，Pandas 2.0 。看看在速度上 Pandas 2.0有没有劣势。

Polars

Polars 是一个 Rust 和 Python 中的疾速多线程 DataFrame 库/内存查问引擎。它应用 Apache Arrow作为内存模型在 Rust 中实现。它在2021年3月公布。

Polars的一些次要特点如下：

  1. 疾速：Polars在解决大型数据集时十分高效。它应用Rust编写，利用Rust的内存平安和零老本形象，能够在不就义性能的状况下解决大规模数据集。
  2. 可扩大：Polars反对并行化和分布式计算，因而能够解决十分大的数据集。它还具备可插拔的数据源接口，能够从不同的数据源读取和写入数据。
  3. 易于应用：Polars具备相似于Pandas的API，因而相熟Pandas的用户能够很容易地开始应用Polars。它还具备残缺的文档和示例，可帮忙用户疾速入门。
  4. 反对多种数据类型：Polars反对许多常见的数据类型，包含数字，布尔值，字符串和日期工夫。它还反对相似于DataFrame的表格构造，能够进行列操作和过滤等操作。

Polars的一个最大益处是，它不仅有Python的包，Nodejs，Rust等也能够不便的进行继承应用，并且通过各方的验证，它确实要比Pandas1.x快很多。

Pandas 2.0

在之前的文章咱们曾经介绍了 Pandas 2.0，“它要快得多”(还不是稳固版本)。并且它也有了Apache Arrow的后端。

当初，他的正式版公布了，对于Pandas 2.0 的更新请看官网阐明：

https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html

上面咱们就要开始进行简略的测试了，咱们要测试这3个库的性能，所以须要应用一些比拟大型的数据集。这里咱们应用纽约出租车数据集。

简略ETL

从Data Talks Club下载csv数据集，NYC.gov下载parquet数据集。

 !wget https://github.com/DataTalksClub/nyc-tlc-data/releases/download/yellow/yellow_tripdata_2021-01.csv.gz !wget  https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2021-01.parquet

还须要纽约市区域。

 !wget https://s3.amazonaws.com/nyc-tlc/misc/taxi+_zone_lookup.csv

1、E 提取

把csv文件和parquet文件转换为DF，测试提取的性能。

上面是pandas的

 def pd_read_csv(path, engine_pd,):     """     Converting csv file into Pandas dataframe     """     df= pd.read_csv(path, engine=engine_pd)     return df def pd_read_parquet(path, ):     """     Converting parquet file into Pandas dataframe     """     df= pd.read_parquet(path,)     return df

这里是Polars的

 def pl_read_csv(path, ):     """     Converting csv file into Pandas dataframe     """     df= pl.read_csv(path,)     return df def pl_read_parquet(path, ):     """     Converting parquet file into Pandas dataframe     """     df= pl.read_parquet(path,)     return df

读取代码如下：

 path1="yellow_tripdata_2021-01.csv.gz" df_trips= pd_read_csv(path1, engine_pd) path2="taxi+_zone_lookup.csv" df_zone= pd_read_csv(path2, engine_pd) path1="yellow_tripdata_2021-01.parquet" df_trips= pd_read_parquet(path1,) path2 = "taxi+_zone_lookup.csv" df_zone = pd_read_csv(path2, engine_pd)

2、T 转换

为了测试，咱们通过Pickup Id获取trip_distance的均值;

过滤查问性能所以获取以“East”结尾的区域。

Pandas代码：

 def mean_test_speed_pd(df_pd):     """     Getting Mean per PULocationID     """     df_pd = df_pd[['PULocationID', 'trip_distance']]     df_pd["PULocationID_column"] = df_pd[['PULocationID']].astype(int)     df_pd=df_pd.groupby('PULocationID').mean()     return df_pd  def endwith_test_speed_pd(df_pd):     """     Only getting Zones that end with East     """      df_pd = df_pd[df_pd.Zone.str.endswith('East')]      return df_pd

Polars

 def mean_test_speed_pl(df_pl):     """     Getting Mean per PULocationID     """     df_pl = df_pl[['PULocationID', 'trip_distance']].groupby('PULocationID').mean()     return df_pl  def endwith_test_speed_pd(df_pl):     """     Only getting Zones that end with East     """      df_pl = df_pl.filter(pl.col("Zone").str.ends_with('East'))      return df_pl

3、L 加载

将最终后果加载回parquet文件，能够测试写入性能：

pandas

 def loading_into_parquet(df_pd, engine):     """     Save dataframe in parquet     """     df_pd.to_parquet(f'yellow_tripdata_2021-01_pd_v{pd.__version__}.parquet',engine)

polars

 def loading_into_parquet(df_pl):     """     Save dataframe in parquet     """     df_pl.write_parquet(f'yellow_tripdata_2021-01_pl.parquet')

4、后果

运行ETL流程后，依据每个过程的秒平均值，测试性能的最终后果如下表所示。

能够看到POLARS很棒

然而下面代码是不是有问题呢？

对，还记得咱们在pandas2.0那篇文章中说过，read_csv取得Numpy数据类型，为read_parquet取得Pyarrow数据类型。而Polars中，当咱们执行read_csv和read_parquet时，咱们为所有列取得雷同的数据类型。所以咱们测试的并不精确。另外咱们也没有比拟比拟RAM和CPU的应用状况，所以没有全方位的测试。

上面咱们开始修复下面的问题，并增加RAM和CPU的应用状况，这样应该算是一个比较完善的测试了。

CPU和RAM剖析

咱们能够应用process.memory_info()查看每个函数之前、之后和之间的内存。而psutil.cpu_percent能够取得最近2秒内的CPU。所以就有了上面的装璜器：

 import os import psutil  def process_memory():     process = psutil.Process(os.getpid())     mem_info = process.memory_info()     return mem_info.rss  def process_cpu():     """     Getting cpu_percent in last 2 seconds     """     cpu_usage = psutil.cpu_percent(2)     return cpu_usage  # decorator function mem def profile_mem(func):     def wrapper(*args, **kwargs):          mem_before = process_memory()         result = func(*args, **kwargs)         mem_after = process_memory()         print("Consumed memory: {:,}".format(             mem_before, mem_after, mem_after - mem_before))          return result     return wrapper  # decorator function cpu def profile_cpu(func):     def wrapper(*args, **kwargs):         result = func(*args, **kwargs)         cpu_after = process_cpu()         print(f"Consumed cpu: {cpu_after}")                       return result     return wrapper

装璜器调用办法如下图所示

残缺测试后果

咱们就间接来看后果了(每个测试都运行了三次):

parquet文件提取的新脚本，最终的工夫后果与后面测试相似：

CPU后果

RAM的后果

后果难以解释，然而能够阐明rust确实内存占用高

然而咱们看到，POLARS确实还是要快一些，如果在解决工夫是一个十分重要的指标的时候能够试试POLARS（然而他的CPU占用高，阐明如果比较慢的CPU也不肯定能取得进步，还要具体测试），如果你不想学习POLARS的语法，那么Pandas 2.0应该是速度很快的一个折中的抉择了。

如果你想本人测试，残缺代码在这里：

https://avoid.overfit.cn/post/73c12c85ff124f9bb7947ac4d82316b8

作者：Luís Oliveira