原文链接:http://tecdat.cn/?p=23178
回归算法最小角回归(LARS)通过高维数据的线性组合提供变量。它与正向逐步回归无关。在这种办法中,在每个步骤中抉择最相干的变量,其方向在两个预测因子之间是等角的。
在本教程中,咱们将学习如何用 Python 中的 LARS 和 Lasso Lars 算法拟合回归数据。咱们将在本教程中预计住房数据集。这篇文章包含
- 筹备数据
- 如何应用 LARS
- 如何应用 Lasso LARS
让咱们从加载所需的包开始。
from sklearn import linear_model
筹备数据
咱们将加载波士顿的数据集,并将其分成训练和测试两局部。
boston = load_boston()
xtrain, xtest, ytrain, ytest=train\_test\_split(x, y, test_size=0.15)
如何应用 LARS
咱们将用 Lars()类定义模型(有默认参数),并用训练数据来拟合它。
Lars().fit(xtrain, ytrain)
并查看模型的系数。
print(lars.coef_)
\[-1.16800795e-01 1.02016954e-02 -2.99472206e-01 4.21380667e+00
-2.18450214e+01 4.01430635e+00 -9.90351759e-03 -1.60916999e+00
-2.32195752e-01 2.80140313e-02 -1.08077980e+00 1.07377184e-02
-5.02331702e-01\]
接下来,咱们将预测测试数据并查看 MSE 和 RMSE 指标。
mean\_squared\_error(ytest, ypred)
print("MSE: %.2f" % mse)
MSE: 36.96
print("RMSE: %.2f" % sqrt(mse))
RMSE: 6.08
最初,咱们将创立绘图,使原始数据和预测数据可视化。
plt.show()
如何应用 Lasso Lars
LassoLars 是 LARS 算法与 Lasso 模型的一个实现。咱们将用 LassoLars()类定义模型,将 α 参数设置为 0.1,并在训练数据上拟合模型。
LassoLars(alpha =.1).fit(xtrain, ytrain)
咱们能够查看系数。
print(coef_)
\[ 0. 0. 0. 0. 0. 3.00873485
0. 0. 0. 0. -0.28423008 0.
-0.42849354\]
接下来,咱们将预测测试数据并查看 MSE 和 RMSE 指标。
predict(xtest)
print("MSE: %.2f" % mse)
MSE: 45.59
print("RMSE: %.2f" % sqrt(mse))
RMSE: 6.75
最初,咱们将创立绘图,使原始数据和预测数据可视化。
plt.show()
在本教程中,咱们曾经简略理解了如何用 LARS 和 Lasso Lars 算法来拟合和预测回归数据。
参考文献
- Least Angle Regression, _by Efron Bradley; Hastie Trevor; Johnstone Iain; Tibshirani Robert (2004)_
- Least-Angel Regression, Wikipedia
最受欢迎的见解
1.R 语言多元 Logistic 逻辑回归 利用案例
2. 面板平滑转移回归 (PSTR) 剖析案例实现
3.matlab 中的偏最小二乘回归(PLSR)和主成分回归(PCR)
4.R 语言泊松 Poisson 回归模型剖析案例
5.R 语言回归中的 Hosmer-Lemeshow 拟合优度测验
6.r 语言中对 LASSO 回归,Ridge 岭回归和 Elastic Net 模型实现
7. 在 R 语言中实现 Logistic 逻辑回归
8.python 用线性回归预测股票价格
9.R 语言如何在生存剖析与 Cox 回归中计算 IDI,NRI 指标