对于线性模型，特征值差别很大时，比如说LR，我有两个特征，一个是(0,1)的，一个是(0,10000)的，运用梯度下降的时候，损失等高线是椭圆形，需要进行多次迭代才能到达最优点。
但是如果进行了归一化，那么等高线就是圆形的，促使SGD往原点迭代，从而导致需要的迭代次数较少。
所以说是因为梯度下降的算法需要进行归一化，归一化后加快了梯度下降求解最优解的速度
树模型（回归树）寻找最优点时是通过寻找最优分裂点完成的，可以看下决策树ID3算法python实现理解。因为求导没意义，也就不需要归一化
作者：
在
对于线性模型，特征值差别很大时，比如说LR，我有两个特征，一个是(0,1)的，一个是(0,10000)的，运用梯度下降的时候，损失等高线是椭圆形，需要进行多次迭代才能到达最优点。
但是如果进行了归一化，那么等高线就是圆形的，促使SGD往原点迭代，从而导致需要的迭代次数较少。
所以说是因为梯度下降的算法需要进行归一化，归一化后加快了梯度下降求解最优解的速度
树模型（回归树）寻找最优点时是通过寻找最优分裂点完成的，可以看下决策树ID3算法python实现理解。因为求导没意义，也就不需要归一化
发表回复