文章来自公众号【机器学习炼丹术】

1 stochastic weight averaging（swa）

  • 随机权值均匀
  • 这是一种全新的优化器，目前常见的有SGB，ADAM，

【概述】：这是一种通过梯度降落改善深度学习泛化能力的办法，而且不会要求额定的计算量，能够用到Pytorch的优化器中。

随机权重均匀和随机梯度降落SGD类似，所以我个别吧SWa看成SGD的进阶版本。

1.1 原理与算法

swa算法流程：

【怎么了解】：

  • 对$w_{swa}$做了一个周期为c的滑动均匀。每迭代c次，就会对这个$w_{swa}$做一次滑动均匀。其余的工夫应用SGD进行更新。
  • 简略的说，整个流程是模型初始化参数之后，应用SGD进行梯度降落，迭代了c个epoch之后，将模型的参数用加权均匀，失去$w_{SWA}$,而后当初模型的参数就是$w_{SWA}$,而后再用SGD去梯度降落c个epoch，而后再加权均匀进去一个新的$w_{SWA}$.

SWA退出了周期性滑动均匀来限度权重的变动，解决了传统SGD在反向过程中的权重震荡问题。SGD是依附以后的batch数据进行更新，寻找随机梯度降落随机寻找的样本的梯度降落方向很可能并不是咱们想要的方向。

论文中给出了一个图片：

  • 绿线是恒定学习率的SGD，成果并不好，直到SGD在训练的过程中所见了学习率，才能够失去一个收敛的后果；
  • 而应用Stochastic weight averaging能够在学习率恒定的状况下，疾速收敛，而且过程安稳。

1.2 python与实现

这里讲如何在pytorch深度学习框架中退出swa作为优化器：

from torchcontrib.optim import SWA# training loopbase_opt = torch.optim.SGD(model.parameters(), lr=0.1)opt = torchcontrib.optim.SWA(base_opt, swa_start=10, swa_freq=5, swa_lr=0.05)for _ in range(100):     opt.zero_grad()     loss_fn(model(input), target).backward()     opt.step()opt.swap_swa_sgd()

如果应用了swa的话，那么lr_schedule这个办法就不须要在应用了，十分的不便。

【对于参数】：
应用swa的时候，就间接通过

torchcontrib.optim.SWA(base_opt,swa_start,swa_greq,swa_lr)

来封装原来的优化器。

  • swa_start:是一个整数，示意通过swa_start个steps后，将学习率切换为固定值swa_lr。（在swa_start之前的step中，lr是0.1，在10个steps之后，lr变成0.05）
  • swa_freq:在swa_freq个step优化之后，会将对应的权重加到swa滑动均匀的后果上，相当于算法中的c；
  • 应用opt.swap_swa_sgd()之后，能够将模型的权重替换为swa的滑动均匀的权重。

1.3 对于BN

这里有一个问题就是在BatchNorm层训练的时候，BN层中也是有两个训练参数的，应用$w_{swa}$重置了模型参数，然而并没有更新BN层的参数，所以如果有bn层的话，还须要加上：

opt.bn_update(train_loader,model)

2 Pseudo-Label

  • 伪标签
  • 这是一种半监督的办法。其实非常简单，就是对于未标记的数据，许纳泽预测概率最大的标记作为该样本的pseudo-label，而后给未标记数据设置一个权重，在训练过程中缓缓减少未标记数据的权重。

这个办法的loss如下：

十分好了解了，后面一项就是训练集的loss，前面是测试集的loss，而后用一个$\alpha(t)$来做权重。

而后这个$\alpha(t)$就是随着训练的迭代次数减少而缓缓的线性减少（如果依照原来的论文中的形容）：

【一些对于pseudo-label的杂谈】

这个办法提出在2013年，而后再2015年作者用entropy信息熵来证实这个办法的有效性。然而证实过程较为牵强。这个伪标签我在2017年的一个我的项目中想到了，然而不晓得可行不可行本人过后也无奈进行证实，就作罢了，没想到当初看到同样的办法在2013年就提出来了。有点五味杂陈哈哈。

参考文献：

  1. Izmailov, Pavel, et al. "Averaging weights leads to wider optima and better generalization." arXiv preprint arXiv:1803.05407 (2018).
  2. Grandvalet, Yves, and Yoshua Bengio. "Semi-supervised learning by entropy minimization." Advances in neural information processing systems. 2005.