关于机器学习:2021MM-PSR解读

6次阅读

共计 1020 个字符,预计需要花费 3 分钟才能阅读完成。

Pairwise Similarity Regularization for Adversarial Domain Adaptation

动机:

现有基于反抗的办法会应用源域分类器伪标记指标域样本来实现条件散布的域对齐。但指标域构造比源域简单的时候,假标签不牢靠。

举的例子是 office-31 ResNet DANN, CDAN.A- W 能达到八九十准确度,而 W - A 只有六七十。同时验证每个 batch 里的假标签准确率,CDAN 在 W -Abatch 准确率只有 50% 左右也不牢靠(不过 CDAN 不是有 Entropy 加权吗)

Pairwise Similarity Regularization (PSR)

办法

使得同一个簇外面的两个指标域样本具备雷同的预测。总体框架如下。框架上半局部是学生模型,上面是老师模型。老师模型用于聚类,打 pair 标签。学生模型就是一般的反抗网络,但加上了 pair 束缚。

Source-aided Target Clustering(Teacher Model)

应用 DeepCluster model【1】(18 年的深度聚类构造),

优化应用两个 loss,首先是 clustering loss:

A 是形心举证,ycl 是聚类标签。这个 loss 对应的是 Kmeans 里指派形心和归类的过程。能够看出这里是不优化任何网络参数的。

另外一个 loss 是 source-aided loss:

loss 由(1)从刚刚失去的指标域聚类假标签计算的分类损失和(2)源域实在标签的分类损失组成。β 是均衡因子。

Guiding Adversarial Training with Pairwise Similarity Regularization

每个训练迭代,聚类标签 ycl 由 Teacher Model 给出,而后构建 pair 关系图Rcl,同时学生模型也依据预测构建 pair 关系图。计算一个 MSE loss。

而后加上分类损失和反抗损失,根本跟 CDAN,DANN 一样。
【1】Deep clustering for unsupervised learning of visual features

试验

在 office31,office-home,visda,digit 进行验证,成果差不多就是现有最好的了。

评论

看完一个感觉是,办法咋跟我投 ICCV 的这么像,我赌咒投之前相对没看过他的。主观来说,我的跟他还是很多不同的,但思维很相似,创新性也很难说谁高谁低。然而它这个成果有点夸大了,D-A,W- A 到了 80+?其它都在 5% 以上,没开源不好说。

正文完
 0