Explainable Fashion Recommendation: A Semantic Attribute Region Guided Approach, In IJCAI,2019.
1. 简介
本文主要是提出了一种基于语义属性的可解释个性化服装推荐模型，即根据用户的喜好推荐服装，并从服装语义属性（袖长，领口等属性）的角度对推荐结果给出合理的解释。本文的 motivation 是：用户往往会有一些对服装属性的偏好，如下图展示了两个用户的购买记录，第一个用户明显倾向于购买有 V 领的衣服，第二个用户倾向于购买鞋头比较尖以及鞋跟比较高的鞋。
2. 挑战
- 由于许多大规模的电商数据缺少细粒度的服装属性标注，所以服装属性的语义特征表示难以学习；
- 用户的偏好比较复杂，传统的方法是将服装图片映射成一个特征表示去建模，这难以生成可解释性的推荐。
3. 方法
为了解决以上两个挑战，文中提出了一种基于与语义属性的可解释系统（Semantic Attribute Explainable Recommender System，SAERS)。该系统包含两部分，第一部分是语义提取网络（Semantic Extraction Network，SEN), 它利用无监督的方式定位属性相关区域并进一步提取特征；第二部分是基于注意力机制的细粒度偏好建模机制（Fine-grained Preferences Attention，FPA)，该模块主要是匹配用户的偏好和细粒度的服装属性；最后利用贝叶斯个性化排序（Bayesian Personalized Rank, BPR）算法来进行优化（由于文本的实验室将用户购买记录中的上品作为正例，其余没购买的商品作为负例，因此相当于利用了隐反馈，所以采用 BPR 进行建模）。
模型框架图：
1）. 语义提取网络：
利用了两个附属数据集训练，通过属性分类和 grad-AAM (AAM 的改进版）的思想来生成属性激活图（Attribute Activation Map, AAM），并通过对 AAM 进行简单的阈值操作定位与属性最相关的区域（这里只考虑属性分类结果概率最大的属性值），然后利用得到的相关区域对最后一层卷积层得到的特征图进行 ROI pooling（其实就是只对特征图中相关区域的激活值进行全局平均池化），最后提取出属性的特征表示。
2）