乐趣区

为什么要对数值类型的特征做归一化树形算法为啥不需要归一化

对于线性模型,特征值差别很大时,比如说 LR,我有两个特征,一个是 (0,1) 的,一个是 (0,10000) 的,运用梯度下降的时候,损失等高线是椭圆形,需要进行多次迭代才能到达最优点。

但是如果进行了归一化,那么等高线就是圆形的,促使 SGD 往原点迭代,从而导致需要的迭代次数较少。

所以说是因为梯度下降的算法需要进行归一化,归一化后加快了梯度下降求解最优解的速度

树模型(回归树)寻找最优点时是通过寻找最优分裂点完成的,可以看下决策树 ID3 算法 python 实现理解。因为求导没意义,也就不需要归一化

退出移动版