关于python:numexpr你以为-numpy-已经够快了其实它还可以更快

43次阅读

共计 1324 个字符,预计需要花费 4 分钟才能阅读完成。

开篇

python 语言被宽泛用于数据分析和机器学习。然而,因为 python 的底层个性,python 的运行速率低始终被宽泛诟病。其中,numpy 和 pandas 的宽泛应用曾经将数据处理和机器学习的速率晋升了几个品位。

然而,随着数据的越来越多,很多人曾经不再满足 numpy 和 pandas 的速度,从而退出了一批减速优化拓展包。这篇文章次要介绍一个轻量、然而功能强大的 python 扩大包”NumExpr”,看看它是如何高效解析数学公式的。

NumExpr

NumExpr 的应用及其简略,只须要将原来的 numpy 语句应用双引号框起来,并应用 numexpr 中的 evaluate 办法调用即可。

第一步:须要引入 numexpr 和 numpy 扩大包;

import numexpr as ne

import numpy as np

第二步:创立两个 numpy 的 array – a 和 b;

a 和 b 两个所蕴含的数据个数为 100 万个。

当咱们须要执行简略的加减乘除的时候,numexpr 的效率曾经失去了很好地体现。如上图所示,通过执行 2 a + 3 b,如果间接操作,须要 3.39 毫秒。然而,如果咱们是用 ne.evaluate 减速,能够将工夫缩短至 1.55 毫秒。

numexpr 在更加简单的数学表达式运算中,体现到底如何呢?

当咱们应用如上所示的数学表达式,失常执行须要 28.3 ms。而通过 numexpr 的减速,只须要 3.03 ms。

留神,numexpr 是能够辨认 sin 函数的,所以咱们不须要在 evaluate 外面写 np.sin,能够间接写 sin。

总结:解决数据量越大,数学计算越简单,则 numexpr 的减速成果越显著。

numpy 和 numexpr 比拟

咱们能够看到,当 np.array 的元素个数超过 10e8,减速成果更加显著。

numexpr 也反对逻辑表达式和复数表达式的减速,有趣味的读者敌人能够自行比拟。

numexpr 多线程减速

numexpr 还有一个重要的减速利器,多线程操作。通过 ne.set_num_threads(1) 能够设置线程的数量,更多的线程示意程序能够同时对数学表达式进行计算。

如上所示,如果咱们设置单线程,程序运行须要 13.4 ms。设置了双线程,速度则能够晋升一倍。

numexpr 对 pandas 的减速

numexpr 的设计次要针对的是 numpy。同样的,咱们晓得 pandas 也是基于 numpy 开发的。天然,numexpr 同样能够被用来对 pandas 减速。

pandas 中有一个 eval 办法就是使用了 numexpr,对 pandas 代码进行优化减速。

当咱们构建几个 pandas 的 dataframe,而后对它们进行运算的时候,pd.eval 能够将程序从原先的 47.4 ms 减速到 17.6 ms。

总结

通过以上的实例,numexpr 对于 numpy 和 pandas 的减速是很显著的,尤其当数据量比拟大和计算比较复杂的状况下。同时,numexpr 的应用非常简单。然而,咱们须要留神的是,任何减速工具都会有局限性的,并不是所有的工作都能够应用 numexpr 进行减速。

看完别走还有惊喜!

我精心整顿了计算机 /Python/ 机器学习 / 深度学习相干的 2TB 视频课与书籍,价值 1W 元。关注微信公众号“计算机与 AI”,点击下方菜单即可获取网盘链接。

正文完
 0