Boosting 是一种涣散的策略，它将多个简略模型组合成一个复合模型。这个想法的实践来自于随着咱们引入更多的简略模型，整个模型会变得越来越弱小。在 boosting 中，简略模型称为弱模型或弱学习器。在回归的背景下，第一个简略模型只是一个常数，而随后的简略模型是“回归树”。
什么是回归树呢？它是用于回归的决策树！最简略艰深的解释就是决策树是一些 if 语句组成的树型构造，这些 if 的判断条件并不是咱们人工手动指定的而是通过应用数据训练主动生成的。
梯度晋升通过将一个个回归树进行整合能够使模型预测变得更好
通过下图的执行流程整个过程形成了解决回归问题的根本架构
最初总结：
1、通过简略的最小化失去“最弱的学习者”。通常状况下，最弱的学习者是咱们训练最终学习者的数据集中所有值的平均值
2、而后依据须要向最弱的学习器增加尽可能多的回归树，并在增加这些回归树学习器时改良预测（计算相似于梯度降落中的学习率的乘数，并且该乘数与回归树相乘）
3、一旦取得了足够数量的树，就会计算整合成最终的“强学习器”。
https://www.overfit.cn/post/b2607080c4854157a1c711835cbb11ce
作者：Saumik Dana