关于intel:机器学习模型太慢来看看英特尔R-扩展加速-⛵

30次阅读

共计 5132 个字符,预计需要花费 13 分钟才能阅读完成。

💡 作者:韩信子 @ShowMeAI
📘 机器学习实战系列:https://www.showmeai.tech/tutorials/41
📘 本文地址:https://www.showmeai.tech/article-detail/295
📢 申明:版权所有,转载请分割平台与作者并注明出处
📢 珍藏 ShowMeAI 查看更多精彩内容

咱们在利用机器学习模型时,除了最终成果,也十分关注它们的性能。而机器学习模型的性能,不仅仅取决于咱们的利用形式(特色多少、模型复杂度),也和硬件非亲非故。

在本篇内容中,ShowMeAI 要给大家介绍到的是 Intel 针对 Scikit-Learn 机器学习工具库做的减速不定,能够十分大程度减速咱们的模型训练与预测速度。

在咱们的机器学习利用案例中,应用 intel 拓展减速的形式,仅仅破费原始建模形式 1 / 5 的工夫,能够实现一样的工作达到统一的成果。

💡 Scikit-Learn(SKlearn) 机器学习工具库

Scikit-Learn(Sklearn) 是 Python 中最有用和最弱小的机器学习库。它通过 Python 中的接口为机器学习和统计建模提供了一系列无效工具,包含分类、回归、聚类和降维。

  • 📘 SKLearn 官网
  • 📘 SKLearn Github

SKLearn 的疾速应用办法也举荐大家查看 [ShowMeAI](https://www.showmeai.tech/) 的文章和速查手册:

  • 机器学习实战 | SKLearn 入门与简略利用案例
  • 机器学习实战 | SKLearn 最全利用指南
  • AI 垂直畛域工具库速查表 | Scikit-Learn 速查表

💡 面向 Scikit-Learn 的英特尔扩大

Scikit-Learn 是一个大而全的工具库,但它的性能并不总是最佳的,有时候一些 ML 算法可能须要数小时能力运行,工夫老本很高。

面向 Scikit-Learn 的英特尔扩大(Intel(R) Extension for Scikit-learn)只需在大家相熟的建模办法根底上,增加几行代码,就能显着晋升性能,而且它也是开源的。

📌 scikit-learn-intelex 提速成果

通过 📘 scikit-learn-intelex 优化算法运行形式,能够取得 1-3 个数量级的效率改良,最终取决于应用到的数据集和算法。

  • Intel Extension for Scikit-Learn 提供了许多 Scikit-Learn 算法(下表)的优化实现,这些算法与原始版本统一,有一样的最终后果。
  • 即便大家应用到了以后拓展不反对的算法或参数,工具包也会主动退回到原始 Scikit-Learn,保障大家无缝连接,大部分代码能够维持原来的模式,无需重写代码。

利用英特尔® Extension for Scikit-learn 能够对上述 Scikit-Learn 算法效率优化,具体的能够参考 官网介绍

💡 工具库装置 & 配置

Intel Extension for Scikit-Learn 反对 x86 架构上的 Linux、Windows 和 Mac 零碎。它能够应用 PyPI 或 Anaconda Cloud 下载:

📌 从 PyPI 装置

只需在命令行运行 pip 命令进行装置:

pip install scikit-learn-intelex 

📌 从 Anaconda 装置

◉ Conda-Forge 形式:

сonda install scikit-learn-intelex -c conda-forge 

◉ 英特尔渠道:

conda install scikit-learn-intelex -c intel 

◉ 默认形式:

conda install scikit-learn-intelex 

📌 从容器装置

请留神,正确拜访链接须要 DockerHub 帐户。

大家能够通过以下命令,将最新的英特尔® Scikit-Learn 扩大装置为 Docker 容器:

docker pull intel/intel-optimized-ml:scikit-learn 

💡 英特尔® Scikit-Learn 扩大应用办法:

📌 打补丁 patch_sklearn

patch是一种保留 Scikit-Learn 库存版本以供应用的办法,大家能够在代码结尾增加它(patch_sklearn()函数调用),如下所示:

############### 在此处插入补丁 ########################## 
from sklearnex import patch_sklearn
patch_sklearn()
################################################################## 

◉ 这个补丁之后的所有 import 语句导入的来自 sklearn 的算法,都会优先导入 Scikit-Learn 优化版本

# Importing sklearn optimised version of LogisticRegression
from sklearn.linear_model import LogisticRegression

# Creating an object for model and fitting it on training data set
logmodel =  LogisticRegression()
logmodel.fit(X_train_sm, y_train_sm) 
  
# Predicting the Target variable                 
predicted = logmodel.predict(X_test)# Classification Report
report = metrics.classification_report(y_test, predicted)

🕯️ 留神:导入程序十分重要,请大家肯定记得在导入 Scikit-Learn 工具库之前打补丁!

如果大家不想应用补丁,能够随时通过 sklearnex.unpatch_sklearn() 勾销 intel 的补丁。

📌 其余代替计划

大家有很多代替计划,同样能够启用英特尔® Extension for Scikit-Learn 优化:

◉ 在命令行间接应用拓展运行原始 Scikit-Learn 利用程序代码获取减速:

python -m sklearnex my_application.py 

◉ 指定算法导入减速:

# 指定某个算法减速
from sklearnex import patch_sklearn
patch_sklearn("SVC")

# 指定若干个算法减速
patch_sklearn(["SVC", "PCA"])

# 撤销对于算法的减速补丁
from sklearnex import unpatch_sklearn 
unpatch_sklearn("SVC")

📌 查看优化算法列表

# 能够间接查看可减速算法列表
from sklearnex import get_patch_names
get_patch_names()

>>
['pca','kmeans','dbscan', 'distances','linear','ridge','elasticnet','lasso',
 'logistic','log_reg','knn_classifier','nearest_neighbors',
'knn_regressor', 'random_forest_classifier','random_forest_regressor',
 'train_test_split', 'fin_check','roc_auc_score', 'tsne', 'logisticregression',
 'kneighborsclassifier', 'nearestneighbors','kneighborsregressor',
 'randomrorestclassifier', 'randomforestregressor','svr', 'svc', 'nusvr',
 'nusvc','set_config', 'get_config','config_context']

📌 全局补丁

如果大家想应用全局补丁来优化所有 Scikit-Learn 应用程序,无需任何额定操作,只须要在命令行运行:

python sklearnex.glob patch_sklearn 

💡 案例

咱们用一个案例来阐明一下,应用英特尔® Extension for Scikit-Learn,相比原始版本,有多大程度的晋升,这里应用到的业务场景是 信用卡欺诈辨认场景

数据能够在 🏆 Kaggle 场景数据 下载,也能够在 ShowMeAI 的百度网盘地址间接下载。

🏆 实战数据集下载(百度网盘):公众号『ShowMeAI 钻研核心』回复『实战 』,或者点击 这里 获取本文 [[8] 面向 Scikit-Learn 的英特尔减速扩大补丁](https://www.showmeai.tech/art…)『creditcard 信用卡欺诈场景数据集

ShowMeAI 官网 GitHub:https://github.com/ShowMeAI-Hub

📌 勾销补丁的原始版本

因为咱们的电脑上进行了配置,intel 优化的算法会全局失效,为了比照原始版本的 sklearn 速度,咱们这里应用 unpatch_sklearn() 函数勾销补丁,整个逻辑回归模型训练与测试破费了 35.5 秒。

################ Insert Patch here ############################
from sklearnex import unpatch_sklearn
unpatch_sklearn()
##########################################################
# 导入
from sklearn.linear_model import LogisticRegression

# 开始工夫
start_time = time.time()

# 初始化模型并你和数据集
logmodel = LogisticRegression()
logmodel.fit(X_train_sm, y_train_sm)   

# 测试集预估                 
predicted = logmodel.predict(X_test)
patched_time = time.time() - start_time
print("Time to calculate \033[1m logmodel.predict in Unpatched scikit-learn {:4.1f}\033[0m seconds".format(patched_time))

# 成果评估
report = metrics.classification_report(y_test, predicted)
print(f"Classification report for Logistic Regression with SMOTE:\n{report}\n")

运行后果截图如下所示:

📌 增加补丁的减速版本

上面是咱们测试 Intel 优化版 Logistic Regression 算法,代码应用 patch_sklearn() 增加补丁,最初 执行工夫 7.1秒,能够看到,只破费了原始版本 20% 的工夫,却获得了齐全一样的成果!

💡 总结

本文介绍了英特尔针对 Scikit-Learn 的减速扩大,它的一些特点包含:

  • 优化常见 ML 算法的性能
  • 缩小 ML 训练和推理工夫
  • 提供无缝体验(只需增加两行代码即可启用减速)

参考资料

  • 🏆 实战数据集下载(百度网盘):公众号『ShowMeAI 钻研核心』回复『实战 』,或者点击 这里 获取本文 [[8] 面向 Scikit-Learn 的英特尔减速扩大补丁](https://www.showmeai.tech/art…)『creditcard 信用卡欺诈场景数据集
  • ShowMeAI 官网 GitHub:https://github.com/ShowMeAI-Hub
  • 📘 SKLearn 官网:https://scikit-learn.org/stable/
  • 📘 SKLearn Github:https://github.com/scikit-learn/scikit-learn
  • 📘 scikit-learn-intelex:https://github.com/intel/scikit-learn-intelex
  • 📘 机器学习实战 | SKLearn 入门与简略利用案例:https://www.showmeai.tech/article-detail/202
  • 📘 机器学习实战 | SKLearn 最全利用指南:https://www.showmeai.tech/article-detail/203
  • 📘 AI 垂直畛域工具库速查表 | Scikit-Learn 速查表:https://www.showmeai.tech/article-detail/108

正文完
 0