关于机器学习:2021MM-PSR解读

Pairwise Similarity Regularization for Adversarial Domain Adaptation

动机:

现有基于反抗的办法会应用源域分类器伪标记指标域样本来实现条件散布的域对齐。但指标域构造比源域简单的时候,假标签不牢靠。

举的例子是office-31 ResNet DANN, CDAN.A-W能达到八九十准确度,而W-A只有六七十。同时验证每个batch里的假标签准确率,CDAN在W-Abatch准确率只有50%左右也不牢靠(不过CDAN不是有Entropy加权吗)

Pairwise Similarity Regularization (PSR)

办法

使得同一个簇外面的两个指标域样本具备雷同的预测。总体框架如下。框架上半局部是学生模型,上面是老师模型。老师模型用于聚类,打pair标签。学生模型就是一般的反抗网络,但加上了pair束缚。

Source-aided Target Clustering(Teacher Model)

应用DeepCluster model【1】(18年的深度聚类构造),

优化应用两个loss,首先是clustering loss:

A是形心举证,ycl是聚类标签。这个loss对应的是Kmeans里指派形心和归类的过程。能够看出这里是不优化任何网络参数的。

另外一个loss是source-aided loss:

loss由(1)从刚刚失去的指标域聚类假标签计算的分类损失和(2)源域实在标签的分类损失组成。β是均衡因子。

Guiding Adversarial Training with Pairwise Similarity Regularization

每个训练迭代,聚类标签ycl由Teacher Model给出,而后构建pair关系图Rcl,同时学生模型也依据预测构建pair关系图。计算一个MSE loss。

而后加上分类损失和反抗损失,根本跟CDAN,DANN一样。
【1】 Deep clustering for unsupervised learning of visual features

试验

在office31,office-home,visda,digit进行验证,成果差不多就是现有最好的了。

评论

看完一个感觉是,办法咋跟我投ICCV的这么像,我赌咒投之前相对没看过他的。主观来说,我的跟他还是很多不同的,但思维很相似,创新性也很难说谁高谁低。然而它这个成果有点夸大了,D-A,W-A到了80+?其它都在5%以上,没开源不好说。

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据