关于机器学习:Pandas-20正式版发布-Pandas-15PolarsPandas-20-速度对比测试

Pandas 2.0 正式版在 4 月 3 日曾经公布了，当前咱们 pip install 默认装置的就是 2.0 版了，Polars 是最近比拟火的一个 DataFrame 库，最近在 kaggle 上常常应用，所以这里咱们将比照下 Pandas 1.5，Polars，Pandas 2.0。看看在速度上 Pandas 2.0 有没有劣势。

Polars 是一个 Rust 和 Python 中的疾速多线程 DataFrame 库 / 内存查问引擎。它应用 Apache Arrow 作为内存模型在 Rust 中实现。它在 2021 年 3 月公布。

Polars 的一些次要特点如下：

疾速：Polars 在解决大型数据集时十分高效。它应用 Rust 编写，利用 Rust 的内存平安和零老本形象，能够在不就义性能的状况下解决大规模数据集。
可扩大：Polars 反对并行化和分布式计算，因而能够解决十分大的数据集。它还具备可插拔的数据源接口，能够从不同的数据源读取和写入数据。
易于应用：Polars 具备相似于 Pandas 的 API，因而相熟 Pandas 的用户能够很容易地开始应用 Polars。它还具备残缺的文档和示例，可帮忙用户疾速入门。
反对多种数据类型：Polars 反对许多常见的数据类型，包含数字，布尔值，字符串和日期工夫。它还反对相似于 DataFrame 的表格构造，能够进行列操作和过滤等操作。

Polars 的一个最大益处是，它不仅有 Python 的包，Nodejs，Rust 等也能够不便的进行继承应用，并且通过各方的验证，它确实要比 Pandas1.x 快很多。

在之前的文章咱们曾经介绍了 Pandas 2.0，“它要快得多”(还不是稳固版本)。并且它也有了 Apache Arrow 的后端。

当初，他的正式版公布了，对于 Pandas 2.0 的更新请看官网阐明：

https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html

上面咱们就要开始进行简略的测试了，咱们要测试这 3 个库的性能，所以须要应用一些比拟大型的数据集。这里咱们应用纽约出租车数据集。

从 Data Talks Club 下载 csv 数据集，NYC.gov 下载 parquet 数据集。

 !wget https://github.com/DataTalksClub/nyc-tlc-data/releases/download/yellow/yellow_tripdata_2021-01.csv.gz
 !wget  https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2021-01.parquet

还须要纽约市区域。

 !wget https://s3.amazonaws.com/nyc-tlc/misc/taxi+_zone_lookup.csv

1、E 提取

把 csv 文件和 parquet 文件转换为 DF，测试提取的性能。

上面是 pandas 的

 def pd_read_csv(path, engine_pd,):
     """Converting csv file into Pandas dataframe"""
     df= pd.read_csv(path, engine=engine_pd)
     return df
 def pd_read_parquet(path,):
     """Converting parquet file into Pandas dataframe"""
     df= pd.read_parquet(path,)
     return df

这里是 Polars 的

 def pl_read_csv(path,):
     """Converting csv file into Pandas dataframe"""
     df= pl.read_csv(path,)
     return df
 def pl_read_parquet(path,):
     """Converting parquet file into Pandas dataframe"""
     df= pl.read_parquet(path,)
     return df

读取代码如下：

 path1="yellow_tripdata_2021-01.csv.gz"
 df_trips= pd_read_csv(path1, engine_pd)
 path2="taxi+_zone_lookup.csv"
 df_zone= pd_read_csv(path2, engine_pd)
 path1="yellow_tripdata_2021-01.parquet"
 df_trips= pd_read_parquet(path1,)
 path2 = "taxi+_zone_lookup.csv"
 df_zone = pd_read_csv(path2, engine_pd)

2、T 转换

为了测试，咱们通过 Pickup Id 获取 trip_distance 的均值;

过滤查问性能所以获取以“East”结尾的区域。

Pandas 代码：

 def mean_test_speed_pd(df_pd):
     """Getting Mean per PULocationID"""
     df_pd = df_pd[['PULocationID', 'trip_distance']]
     df_pd["PULocationID_column"] = df_pd[['PULocationID']].astype(int)
     df_pd=df_pd.groupby('PULocationID').mean()
     return df_pd
 
 def endwith_test_speed_pd(df_pd):
     """Only getting Zones that end with East"""
 
     df_pd = df_pd[df_pd.Zone.str.endswith('East')]
 
     return df_pd

Polars

 def mean_test_speed_pl(df_pl):
     """Getting Mean per PULocationID"""
     df_pl = df_pl[['PULocationID', 'trip_distance']].groupby('PULocationID').mean()
     return df_pl
 
 def endwith_test_speed_pd(df_pl):
     """Only getting Zones that end with East"""
 
     df_pl = df_pl.filter(pl.col("Zone").str.ends_with('East'))
 
     return df_pl

3、L 加载

将最终后果加载回 parquet 文件，能够测试写入性能：

pandas

 def loading_into_parquet(df_pd, engine):
     """Save dataframe in parquet"""
     df_pd.to_parquet(f'yellow_tripdata_2021-01_pd_v{pd.__version__}.parquet',engine)

polars

 def loading_into_parquet(df_pl):
     """Save dataframe in parquet"""
     df_pl.write_parquet(f'yellow_tripdata_2021-01_pl.parquet')

4、后果

运行 ETL 流程后，依据每个过程的秒平均值，测试性能的最终后果如下表所示。

能够看到 POLARS 很棒

然而下面代码是不是有问题呢？

对，还记得咱们在 pandas2.0 那篇文章中说过，read_csv 取得 Numpy 数据类型，为 read_parquet 取得 Pyarrow 数据类型。而 Polars 中，当咱们执行 read_csv 和 read_parquet 时，咱们为所有列取得雷同的数据类型。所以咱们测试的并不精确。另外咱们也没有比拟比拟 RAM 和 CPU 的应用状况，所以没有全方位的测试。

上面咱们开始修复下面的问题，并增加 RAM 和 CPU 的应用状况，这样应该算是一个比较完善的测试了。

咱们能够应用 process.memory_info() 查看每个函数之前、之后和之间的内存。而 psutil.cpu_percent 能够取得最近 2 秒内的 CPU。所以就有了上面的装璜器：

 import os
 import psutil
 
 def process_memory():
     process = psutil.Process(os.getpid())
     mem_info = process.memory_info()
     return mem_info.rss
 
 def process_cpu():
     """Getting cpu_percent in last 2 seconds"""
     cpu_usage = psutil.cpu_percent(2)
     return cpu_usage
 
 # decorator function mem
 def profile_mem(func):
     def wrapper(*args, **kwargs):
 
         mem_before = process_memory()
         result = func(*args, **kwargs)
         mem_after = process_memory()
         print("Consumed memory: {:,}".format(mem_before, mem_after, mem_after - mem_before))
 
         return result
     return wrapper
 
 # decorator function cpu
 def profile_cpu(func):
     def wrapper(*args, **kwargs):
         result = func(*args, **kwargs)
         cpu_after = process_cpu()
         print(f"Consumed cpu: {cpu_after}")
             
 
         return result
     return wrapper

装璜器调用办法如下图所示

咱们就间接来看后果了 (每个测试都运行了三次):

parquet 文件提取的新脚本，最终的工夫后果与后面测试相似：

CPU 后果

RAM 的后果

后果难以解释，然而能够阐明 rust 确实内存占用高😂

然而咱们看到，POLARS 确实还是要快一些，如果在解决工夫是一个十分重要的指标的时候能够试试 POLARS（然而他的 CPU 占用高，阐明如果比较慢的 CPU 也不肯定能取得进步，还要具体测试），如果你不想学习 POLARS 的语法，那么 Pandas 2.0 应该是速度很快的一个折中的抉择了。

如果你想本人测试，残缺代码在这里：

https://avoid.overfit.cn/post/73c12c85ff124f9bb7947ac4d82316b8

作者：Luís Oliveira

关于机器学习:Pandas-20正式版发布-Pandas-15PolarsPandas-20-速度对比测试

Polars

Pandas 2.0

简略 ETL

CPU 和 RAM 剖析

残缺测试后果