关于人工智能:4Bagging和boosting

38次阅读

共计 467 个字符,预计需要花费 2 分钟才能阅读完成。

Bagging 和 Boosting

集成学习的两个代表作

1.Bagging

算法过程:通过对训练样本中从新采样的办法失去不同的训练样本集,失去 k 个训练集(k 个训练集之间是互相独立的);训练每一个训练集失去 k 个模型,分类问题采纳 votes 形式,回归模型采纳 mean 形式失去最初的后果。

2.Boosting

算法流程:将一个弱分类器一直强化成一个强分类器。初始时每个样本的权重是相等的,首先第一个学习器依据全量样本集进行学习,第二个学习器增大分错样本的权重,缩小分对样本的权重,顺次进行训练,最终对 k 个模型进行加权的组合。

bagging 和 boosting 的区别

  • 1)样本抉择和权重

bagging:有放回的抽样,各训练集之间互相独立

boosting:全量样本集,只是权重产生了变动,分错样本权重更大

  • 2)弱模型组合

bagging:弱模型权重相等

boosting:误差分类小的模型会有更大的权重

  • 3)并行计算

bagging:并行生成

boosting:只能是串行生成

  • 4)侧重点

bagging:缩小方差(variance)

boosting:缩小偏差(bias)

正文完
 0