原文链接:http://tecdat.cn/?p=20379
假如咱们冀望因变量由潜在协变量子集的线性组合确定。而后,LARS算法提供了一种办法,可用于预计要蕴含的变量及其系数。
LARS解决方案没有给出矢量后果,而是由一条曲线组成,该曲线示意针对参数矢量L1范数的每个值的解决方案。该算法相似于逐步回归,但不是在每个步骤中都蕴含变量,而是在与每个变量的相关性与残差相干的方向上减少了预计的参数。
长处:
1.计算速度与逐步回归一样快。
2.它会生成残缺的分段线性求解门路,这在穿插验证或相似的模型调整尝试中很有用。
3.如果两个变量与因变量简直等同相干,则它们的系数应以大致相同的速率减少。该算法因而更加稳固。
4.能够轻松对其进行批改为其余估算模型(例如LASSO)提供解决方案。
5.在_p_ >> _n的_状况下无效 (即,当维数显著大于样本数时)。
毛病:
1.因变量中有任何数量的噪声,并且自变量具备 多重共线性 ,无奈确定选定的变量很有可能成为理论的潜在因果变量。这个问题不是LARS独有的,因为它是变量抉择办法的广泛问题。然而,因为LARS基于残差的迭代拟合,因而它仿佛对噪声的影响特地敏感。
2.因为事实世界中简直所有高维数据都会偶尔地在某些变量上体现出肯定水平的共线性,因而LARS具备相干变量的问题可能会限度其在高维数据中的利用。
Python代码:
import matplotlib.pyplot as plt # 绘图diabetes
查看数据
x /= np.sqrt(np.sum((x)**2, axis=0)) # 归一化 xlars.steps() # 执行的步骤数est = lars.est() # 返回所有LARS估算值plt.show()
最受欢迎的见解
1.R语言多元Logistic逻辑回归 利用案例
2.面板平滑转移回归(PSTR)剖析案例实现
3.matlab中的偏最小二乘回归(PLSR)和主成分回归(PCR)
4.R语言泊松Poisson回归模型剖析案例
5.R语言回归中的Hosmer-Lemeshow拟合优度测验
6.r语言中对LASSO回归,Ridge岭回归和Elastic Net模型实现
7.在R语言中实现Logistic逻辑回归
8.python用线性回归预测股票价格
9.R语言如何在生存剖析与Cox回归中计算IDI,NRI指标