Which Is Plagiarism: Fashion Image Retrieval Based on Regional Representation for Design Protection
作者 | Yining Lang, Yuan He, Fan Yang, Jianfeng Dong, Hui Xue单位 | 阿里；浙江工商大学；AZFT
会议｜CVPR2020
paper地址
概述
在服装畛域，尽管打假始终一直，但盗版剽窃问题仍旧普遍存在，而且从线上线下，剽窃伎俩越来越刁钻。目前来看，服装畛域的剽窃有以下三类
•图片盗用
剽窃老本很低，很容易被平台的图片检索系统锁定
•创意盗版
剽窃老本稍高，但基于类似度度量的算法，能够对它们进行召回和治理
•对服装的某些区域进行批改
剽窃老本高，须要人工审核发现，打假老本也高
两组盗版示例，其中每组中左图为正版服装，右图为盗版服装
盗版服装检索的难点
盗版服装的模式层出不穷，有些盗版服装跟原图比拟类似，然而有些并不类似
而且有些盗版服装与原创服装属于不同的类型，进步了网络训练时的要求
盗版服装的定义
作为盗版服装检索畛域的首次工作，作者对盗版服装的定义是整体上剽窃原版服装设计和格调，服装批改的部分区域数小于等于2
将图像中的服装分为五个区域，包含领子、胸部、腰部和两个袖子区域
办法
基于三元组的损失函数（for 相似性检索）
$$\begin{array}{c}\mathcal{L}_{t r i}\left(I, I^{+}, I^{-}\right)=\sum_{r=1}^{R} \max \left(D_{r}^{I, I^{+}}-D_{r}^{I, I^{-}}+m, 0\right) \\\mathcal{L}_{t r a}=\sum_{n=1}^{N} \mathcal{L}_{t r i}\left(I, I^{+}, I^{-}\right)\end{array}$$
基于三元组的损失函数（for 盗版检索）
$$\begin{array}{c}\mathcal{L}_{t r i}^{\prime}\left(I, I^{+}, I^{-}\right)=\sum_{r=1}^{R} \max \left(D_{r}^{I, I^{+}}-D_{r}^{I, I^{-}}+m, 0\right) \cdot \lambda_{r} \\\alpha_{t r i}=\frac{\operatorname{avg}\left\{\left\|f_{r}(I)-f_{r}\left(I^{+}\right)\right\|_{2} ; r=1,2, \ldots R\right\}}{\max \left\{\left\|f_{r}(I)-f_{r}\left(I^{+}\right)\right\|_{2} ; r=1,2, \ldots R\right\}} \\\mathcal{L}_{p l a}=\sum_{n=1}^{N}\left[\mathcal{L}_{t r i}^{\prime}\left(I, I^{+}, I^{-}\right) \cdot \alpha_{t r i}\right]\end{array}$$
网络框架
PS-Net总体框架
Network Backbone
HR-Net提取图片的特色
HR-Net 的多分辨率子网并行连贯，使得每一个高分辨率到低分辨率的表征都从其它并行示意中重复承受信息，从而失去丰盛的高分辨率表征
但HR-Net不是必须的，能够用ResNet、VGG-Net 等代替
Landmark Branch
关键点预计分支，为划分区域做筹备，通过反卷积进行上采样
Retrieval Branch
聚合部分区域的特色进行检索
依据 Landmark Branch 失去的关键点预测和 输入的热力求，失去特定部分区域在特色图上的地位
再依据特定区域在特色图上的地位，通过ROI pooling失去 Retrieval Branch 的特色图中该区域相应的部分特色图
Plagiarized Fashion 数据集
•总共60,000张图片,其中40,000用于训练 20,000用于测试
•包含4类服装：短袖T恤、长袖上衣、外套以及连衣裙
•图片从淘宝网爬取并通过专家标注
总结
•提出了一个新的剽窃服装检索问题
•建设了新的用于剽窃服装检索的数据集Plagiarism Fashion
•提出了一种基于区域示意的多任务网络PS-Net且达到了SOTA
•PS-Net还能够用于传统的服装检索和关键点预计工作