共计 3344 个字符,预计需要花费 9 分钟才能阅读完成。
作者 |Kaushik Choudhury
编译 |VK
起源 |Towards Data Science
大概 13 年前,David Cournapeau 的 Scikit learn 作为 Google Summer of Code 我的项目的一部分开始。随着工夫的推移,Scikit learn 成为 Python 中最驰名的机器学习库之一。它提供了几种分类、回归和聚类算法,在我看来,它的要害劣势是与 Numpy、Pandas 和 Scipy 无缝集成。
在本文中,我将用 excel 比拟 Scikit-learn 多元线性回归的预测精度。Scikit-learn 提供了许多参数(称为预计器(estimator)的超参数)来微调模型的训练并进步预测的准确性。
在 excel 中,咱们没有太多的货色能够调整回归算法。为了偏心比拟,我将应用默认参数训练 sklearn 回归模型。
目标
此比拟旨在理解 excel 和 Scikit learn 中线性回归的预测精度。另外,我将简要介绍在 excel 中执行线性回归的过程。
示例数据文件
为了进行比拟,咱们将应用 10 万个降水量、最低温度、最高温度和风速的数据集。工作人员在 8 年中的每一天进行测量屡次从而失去了这些数据。
咱们将利用降水量、最低气温和最高气温来预测风速。因而,风速是因变量,其余数据是自变量。
咱们将首先在 excel 上建设和预测风速的线性回归模型。而后咱们将应用 Scikit learn 进行雷同的练习,最初,咱们将比拟预测后果。
要在 excel 中执行线性回归,咱们将关上示例数据文件并单击 excel 功能区中的“Data”选项卡。在“Data”选项卡中,抉择数据分析选项。
提醒:如果看不到“数据分析”选项,请单击 File > Options> Add-ins。抉择“AnalysisToolPak”并单击“Go”按钮,如下所示
单击“Data Analysis”选项,将关上一个弹出窗口,显示 excel 中可用的不同剖析工具。咱们将抉择 Regression 回归,而后单击“OK”。
将显示另一个弹出窗口。“Input Y range 字段中填写风速(因变量)的 Excel 单元格参考。在“Input X Range”中,咱们将为独立变量(即降水量、最低温度和最高温度)提供单元参考。
咱们须要选中复选框“Label”,因为示例数据中的第一行有变量名。
在指定数据后单击“确定”按钮,excel 将建设一个线性回归模型。你能够将其视为 Scikit learn 中的训练(fit 函数)。
Excel 进行计算,并以良好的格局显示信息。在咱们的例子中,excel 能够拟合 R 方为 0.953 的线性回归模型。思考到训练数据集中的 100000 条记录,excel 在不到 7 秒的工夫内执行了线性回归。与其余统计信息一起,它还显示了不同自变量的截距和系数。
基于 excel 线性回归输入,咱们能够把上面的数学关系组合起来。
风速 =2.438+(降水量 *0.026)+(最小温度 *0.393)+(最大温度 *0.395)
咱们将用这个公式来预测测试数据集的风速,测试集数据是 excel 没有用于训练的数据。
例如,对于第一个测试数据集,风速 =2.438+(0.51*0.026)+(17.78*0.393)+(25.56*0.395)=19.55
此外,咱们还计算了预测的残差并绘制了图,以理解其趋势。咱们能够看到,在简直所有的状况下,风速预测值都低于理论值,而风速越快,预测的误差就越大。
让咱们在 Scikit learn 中钻研线性回归。
第 1 步 - 咱们将导入要用于剖析的包。独立变量的值散布在不同的值范畴内,并且不是规范正态分布的,因而咱们须要 StandardScaler 来实现自变量的标准化。
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
第 2 步 - 将训练数据和测试数据别离从 excel 文件读取到 PandasDataframe 作为训练数据和测试数据。
Training_data=pd.read_excel(“Weather.xlsx”, sheet_name=”Sheet1")
Test_data=pd.read_excel(“Weather Test.xlsx”, sheet_name=”Sheet1")
在本文中,我将不着重于初步的数据质量检查,如空白值、离群值等以及相应的校对办法
第 3 步 - 在上面的代码中,咱们申明了除“风速”外的所有列数据为自变量,只有“风速”作为因变量用于训练和测试数据。请留神,咱们不会应用“SourceData_test_dependent”进行线性回归,而是将预测值与其进行比拟。
SourceData_train_independent= Training_data.drop(["WindSpeed"], axis=1) # 从训练数据集中删除 WindSpeed 变量
SourceData_train_dependent=Training_data["WindSpeed"].copy() # 训练数据集只有自变量
SourceData_test_independent=Test_data.drop(["WindSpeed"], axis=1)
SourceData_test_dependent=Test_data["WindSpeed"].copy()
第 4 步 - 因为独立变量的范畴是齐全不同的,因而咱们须要调整它以防止有些变量范畴大,有些变量范畴小导致的性能影响。在上面的代码中,自变量被缩放,并别离保留到 X -train 和 X_test。在 y_train 中,相干训练变量被保留而不缩放。
sc_X = StandardScaler()
X_train=sc_X.fit_transform(SourceData_train_independent.values) #缩放自变量
y_train=SourceData_train_dependent # 因变量不须要缩放
X_test=sc_X.transform(SourceData_test_independent)
y_test=SourceData_test_dependent
第 5 步 - 当初咱们将别离输出独立和因变量数据,即 X_train 和 y_train,以训练线性回归模型。出于本文结尾提到的起因,咱们将应用默认参数执行模型拟合。
reg = LinearRegression().fit(X_train, y_train)
print("The Linear regression score on training data is", round(reg.score(X_train, y_train),2))
训练数据的线性回归得分与咱们用 excel 察看到的后果统一。
第 6 步 - 最初,咱们将依据测试集预测风速。
predict=reg.predict(X_test)
从预测风速值和残差散点图能够看出,Sklean 预测值更靠近理论值。
将 Sklearn 和 Excel 残差并行比拟,能够看出随着风速的减少,模型与理论值的偏差都比拟大,但 Sklearn 比 Excel 好。
另一方面,excel 的确预测了相似 sklearn 的风速值范畴。如果一个近似的线性回归模型对你的商业案例来说足够好的话,那么疾速预测方面 excel 是一个不错的抉择。
Excel 能够在与 sklearn 雷同的精度程度上执行线性回归预测。因为 sklearn 能够通过对参数的微调,能够大幅度提高 sklearn 线性回归预测精度,并且更适宜解决简单模型。对于疾速和近似的预测,excel 是一个十分好的抉择,具备可承受的精确度。
原文链接:https://towardsdatascience.co…
欢送关注磐创 AI 博客站:
http://panchuang.net/
sklearn 机器学习中文官网文档:
http://sklearn123.com/
欢送关注磐创博客资源汇总站:
http://docs.panchuang.net/