共计 4990 个字符,预计需要花费 13 分钟才能阅读完成。
原文链接:http://tecdat.cn/?p=9706
总览
在这里,咱们放宽了风行的线性办法的假如。有时线性假如只是一个很差的近似值。有许多办法能够解决此问题,其中一些办法能够通过应用正则化办法升高模型复杂性来 解决。然而,这些技术依然应用线性模型,到目前为止只能进行改良。本文本专一于线性模型的扩大
- _多项式回归_ 这是对数据提供非线性拟合的简略办法。
- _阶跃函数_ 将变量的范畴划分为 _K 个_ 不同的区域,以生成定性变量。这具备拟合分段常数函数的成果。
- _回归样条_ 比多项式和阶跃函数更灵便,并且实际上是两者的扩大。
- _部分样条曲线_ 相似于回归样条曲线,然而容许区域重叠,并且能够平滑地重叠。
- _平滑样条曲线_ 也相似于回归样条曲线,然而它们最小化平滑度惩办的残差平方和准则。
- _狭义加性模型_ 容许扩大上述办法以解决多个预测变量。
多项式回归
这是扩大线性模型的最传统办法。随着咱们减少 多项式的项,多项式回归使咱们可能生成非线性的曲线,同时仍应用最小二乘法预计系数。
逐步回归
它常常用于生物统计学和流行病学中。
回归样条
回归样条是 扩大多项式和逐步回归技术的许多_根本_函数之一。事实上。多项式和逐步回归函数只是_基_ 函数的特定状况。
这是分段三次拟合的示例(左上图)。
为了解决此问题,更好的解决方案是采纳束缚,使拟合曲线必须间断。
抉择结的地位和数量
一种抉择是在咱们认为变动最快的中央搁置更多的结,而在更稳固的中央搁置更少的结。然而在实践中,通常以对立的形式搁置结。
要分明的是,在这种状况下,实际上有 5 个结,包含边界结。
那么咱们应该应用多少个结?一个简略的抉择是尝试许多个结,而后看哪个会产生最好的曲线。然而,更主观的办法是应用穿插验证。
与多项式回归相比,样条曲线能够显示出更稳固的成果。
平滑样条线
咱们探讨了回归样条曲线,该样条曲线是通过指定一组结,生成一系列基函数,而后应用最小二乘法预计样条系数而创立的。平滑样条曲线是创立样条曲线的另一种办法。让咱们回忆一下,咱们的指标是找到一些非常适合察看到的数据的函数,即最大限度地缩小 RSS。然而,如果对咱们的函数没有任何限度,咱们能够通过抉择准确内插所有数据的函数来使 RSS 设为零。
抉择平滑参数 Lambda
同样,咱们求助于穿插验证。事实证明,咱们实际上能够十分无效地计算 LOOCV,以平滑样条曲线,回归样条曲线和其余任意基函数。
平滑样条线通常比回归样条线更可取,因为它们通常会创立更简略的模型并具备可比的拟合度。
部分回归
部分回归波及仅应用左近的训练观测值来计算指标点_x_ 0 处的拟合度。
能够通过各种形式执行部分回归,尤其是在波及拟合_p_ 线性回归模型的多变量计划中尤为显著,因而某些变量能够全局拟合,而某些部分拟合。
狭义加性模型
GAM 模型提供了一个通用框架,可通过容许每个变量的非线性函数扩大线性模型,同时放弃可加性。
具备平滑样条的 GAM 并不是那么简略,因为不能应用最小二乘。取而代之的 是应用一种称为_反向拟合_的办法。
GAM 的优缺点
长处
- GAM 容许将非线性函数拟合到每个预测变量,以便咱们能够主动对规范线性回归会脱漏的非线性关系进行建模。咱们不须要对每个变量别离尝试许多不同的转换。
- 非线性拟合能够潜在地对因变量_Y_做出更精确的预测。
- 因为模型是可加的,所以咱们依然能够查看每个预测变量对_Y_的影响,同时放弃其余变量不变。
毛病
- 次要局限性在于该模型仅限于累加模型,因而可能会错过重要的交互作用。
范例
多项式回归和阶跃函数
library(ISLR)
attach(Wage)
咱们能够轻松地应用来拟合多项式函数,而后指定多项式的变量和次数。该函数返回正交多项式的矩阵,这意味着每列是变量的变量的线性组合 age
,age^2
,age^3
,和 age^4
。如果要间接获取变量,能够指定 raw=TRUE
,但这不会影响预测后果。它可用于查看所需的系数预计。
fit = lm(wage~poly(age, 4), data=Wage)
kable(coef(summary(fit)))
当初让咱们创立一个ages
咱们要预测的向量。最初,咱们将要绘制数据和拟合的 4 次多项式。
ageLims <- range(age)
age.grid <- seq(from=ageLims[1], to=ageLims[2])
pred <- predict(fit, newdata = list(age = age.grid),
se=TRUE)
plot(age,wage,xlim=ageLims ,cex=.5,col="darkgrey")
lines(age.grid,pred$fit,lwd=2,col="blue")
matlines(age.grid,se.bands,lwd=2,col="blue",lty=3)
在这个简略的示例中,咱们能够应用 ANOVA 测验。
## Analysis of Variance Table
##
## Model 1: wage ~ age
## Model 2: wage ~ poly(age, 2)
## Model 3: wage ~ poly(age, 3)
## Model 4: wage ~ poly(age, 4)
## Model 5: wage ~ poly(age, 5)
## Res.Df RSS Df Sum of Sq F Pr(>F)
## 1 2998 5022216
## 2 2997 4793430 1 228786 143.59 <2e-16 ***
## 3 2996 4777674 1 15756 9.89 0.0017 **
## 4 2995 4771604 1 6070 3.81 0.0510 .
## 5 2994 4770322 1 1283 0.80 0.3697
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
咱们看到,_M_1
与二次模型 相比,p 值 _M_2
本质上为零,这表明线性拟合是不够的。因而,咱们能够得出结论,二次方或三次模型可能更适宜于此数据,并且偏差于简略模型。
咱们也能够应用穿插验证来抉择多项式次数。
在这里,咱们实际上看到的最小穿插验证误差是针对 4 次多项式的,然而抉择 3 次或 2 次模型并不会造成太大损失。接下来,咱们思考预测集体是否每年支出超过 25 万。
然而,概率的置信区间是不合理的,因为咱们最终失去了一些负概率。为了生成置信区间,更有意义的是转换对 _数_ 预测。
绘制:
plot(age,I(wage>250),xlim=ageLims ,type="n",ylim=c(0,.2))
lines(age.grid,pfit,lwd=2, col="blue")
matlines(age.grid,se.bands,lwd=1,col="blue",lty=3)
逐步回归函数
在这里,咱们须要拆分数据。
table(cut(age, 4))
##
## (17.9,33.5] (33.5,49] (49,64.5] (64.5,80.1]
## 750 1399 779 72
fit <- lm(wage~cut(age, 4), data=Wage)
coef(summary(fit))
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 94.158 1.476 63.790 0.000e+00
## cut(age, 4)(33.5,49] 24.053 1.829 13.148 1.982e-38
## cut(age, 4)(49,64.5] 23.665 2.068 11.443 1.041e-29
## cut(age, 4)(64.5,80.1] 7.641 4.987 1.532 1.256e-01
splines
样条函数
在这里,咱们将应用三次样条。
因为咱们应用的是三个结的三次样条,因而生成的样条具备六个基函数。
## [1] 3000 6
dim(bs(age, df=6))
## [1] 3000 6
## 25% 50% 75%
## 33.75 42.00 51.00
拟合样条曲线。
咱们也能够拟合平滑样条。在这里,咱们拟合具备 16 个自由度的样条曲线,而后通过穿插验证抉择样条曲线,从而产生 6.8 个自由度。
fit2$df
## [1] 6.795
lines(fit, col='red', lwd=2)
lines(fit2, col='blue', lwd=1)
legend('topright', legend=c('16 DF', '6.8 DF'),
col=c('red','blue'), lty=1, lwd=2, cex=0.8)
部分回归
执行部分回归。
GAMs
当初,咱们应用 GAM 通过年份,年龄和受教育水平的样条来预测工资。因为这只是具备多个根本函数的线性回归模型,因而咱们仅应用 lm()
函数。
为了拟合更简单的样条曲线,咱们须要应用平滑样条曲线。
绘制这两个模型
year
是线性的。咱们能够创立一个新模型,而后应用 ANOVA 测验。
## Analysis of Variance Table
##
## Model 1: wage ~ ns(age, 5) + education
## Model 2: wage ~ year + s(age, 5) + education
## Model 3: wage ~ s(year, 4) + s(age, 5) + education
## Res.Df RSS Df Sum of Sq F Pr(>F)
## 1 2990 3712881
## 2 2989 3693842 1 19040 15.4 8.9e-05 ***
## 3 2986 3689770 3 4071 1.1 0.35
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
仿佛增加线性year
成分要比不增加线性 成分的 GAM 好得多。
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -119.43 -19.70 -3.33 14.17 213.48
##
## (Dispersion Parameter for gaussian family taken to be 1236)
##
## Null Deviance: 5222086 on 2999 degrees of freedom
## Residual Deviance: 3689770 on 2986 degrees of freedom
## AIC: 29888
##
## Number of Local Scoring Iterations: 2
##
## Anova for Parametric Effects
## Df Sum Sq Mean Sq F value Pr(>F)
## s(year, 4) 1 27162 27162 22 2.9e-06 ***
## s(age, 5) 1 195338 195338 158 < 2e-16 ***
## education 4 1069726 267432 216 < 2e-16 ***
## Residuals 2986 3689770 1236
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Anova for Nonparametric Effects
## Npar Df Npar F Pr(F)
## (Intercept)
## s(year, 4) 3 1.1 0.35
## s(age, 5) 4 32.4 <2e-16 ***
## education
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
在具备非线性关系的模型中,咱们能够再次确认year
对模型没有奉献。
接下来,咱们 将部分回归拟合 GAM。
在调用 GAM 之前,咱们还能够应用部分回归来创立交互项。
咱们能够 绘制后果曲面图。
参考文献
1.R 语言多元 Logistic 逻辑回归 利用案例
2. 面板平滑转移回归 (PSTR) 剖析案例实现
3.matlab 中的偏最小二乘回归(PLSR)和主成分回归(PCR)
4.R 语言泊松 Poisson 回归模型剖析案例
5.R 语言回归中的 Hosmer-Lemeshow 拟合优度测验
6.r 语言中对 LASSO 回归,Ridge 岭回归和 Elastic Net 模型实现
7. 在 R 语言中实现 Logistic 逻辑回归
8.python 用线性回归预测股票价格
9.R 语言如何在生存剖析与 Cox 回归中计算 IDI,NRI 指标