阿里妹导读：提起买家秀和卖家秀，相信大家脑中会立刻浮现出诸多画面。同一件衣服在不同人、光线、角度下，会呈现完全不同的状态。运营小二需从大量的买家秀中挑选出高质量的图片。如果单纯靠人工来完成，工作量过于巨大。下面，我们看看如何使用算法，从海量图片里找出高质量内容。
说到淘宝优质买家秀内容挖掘，必须从买家秀和卖家秀说起。我们总是能在卖家秀和买家秀中找到强烈反差，比如这样：
这样：
又或者这样：
买家秀和卖家秀对比这么一言难尽，那还怎么让运营小二们愉快地玩耍？出于运营社区的需要，运营的小二们得从当前的买家秀中抽取出一批高质量的内容，作为社区的启动数据。
找到高质量的买家秀有那么难吗？就是这么难！这不，运营的小二们碰到了以下几个问题：
买家秀质量良莠不齐
淘宝海量的买家秀无疑都很难入得了运营小二们的法眼，以业务维度进行筛选的买家秀，审核通过率普遍不足三成。这意味着，在海量的买家秀中，能被运营小二们看对眼的，无疑是凤毛麟角。
审核标准严苛
咨询了运营小二，他们要求图片视频必须要美观，有调性，背景不凌乱，不得挡脸，光线充足，构图和谐，不得带有明显的广告意图，以及等等等等……
这么多要求，难怪挑不着！
审核工作量巨大
由于运营小二们审核的买家秀中优质买家秀很少，不得不将大量的时间和精力花费在了审核低质量买家秀上。
有鉴于此，用机器帮助挖掘优质内容刻不容缓。
优质内容挖掘方案
优质内容挖掘的整体方案如下：
全量 UGC（User Generated Content）是指所有含图或含视频的买家秀。过审 UGC 是指最终审核通过的高质量买家秀，加精 UGC 是指商家认可的买家秀，普通 UGC 则是上述两种情况以外的其他买家秀。
我们的核心目标就是要挖掘出丰富而多样的优质 UGC。
UGC 质量评估模型
运营人员在审核买家秀时，通过综合判断买家秀的图片质量和文本内容等方面的因素，来决定是否审核通过。这促使我们直观地将将问题转化为一个分类问题。
1、特征的选择
我们首先采用了 UGC 的用户特征、商品特征和反馈特征等统计特征（详见下表），通过 GBDT 模型来预估 UGC 的内容质量，并初步验证了将 UGC 质量评估任务转化为分类问题是可行的。
2、分类问题的转化
一个非常直观地感受是，将审核通过的数据标记为 1，审核未通过的数据标记为 0，将问题转化为二分类问题。但在实际训练中，我们发现，将审核通过的数据标记为 2，将运营审核未通过（商家已加精）的数据标记为 1，将商家未加精的数据标记为 0，把问题转为三分类问题比把问题转化为二分类问题得到了更好的效果。原因在于，审核人员在原来的链路中只审核了商家加精的数据，在此基础上审核通过与否；而为数众多的商家未加精的数据没有审核到，因此三分类更贴近于真实场景，因此表现更佳。
通过 GBDT 模型的训练，在全量 UGC 数据中进行预测，挖掘出了约 400 万优质 UGC。自查后发现，这一批数据能挖掘出部分优质 UGC，准确率在 50% 左右，缺点在于图片质量往往不够美观（即使较为贴近用户的生活场景）。
3、图片语义特征的引入
在与业务同学的交流过程中，我们发现，业务同学需要极高质量的 UGC 内容，以便营造出良好的社区氛围，让用户在洋葱圈中找到对于美好生活的向往，其核心标准就是宁缺毋滥。在充分理解了业务同学的要求，拿到图片数据后，对于图片质量的评估势在必行。
一个较为直观的方案就是，通过 CNN 模型训练，进行图片质量的评估。
增加图像特征后，通过对 ImageNet 预训练的 ResNet50 进行 fine-tuning，模型表现有了极大提升，与原有链路相比，审核通过率提升了 100% 以上。
其中含小姐姐的 UGC 业务同学的认可程度较高（小姐姐们更乐意晒单，更乐意发买家秀，质量也更高），而针对不含小姐姐的长尾类目，业务同学认为主要存在图片无美感和图片不相关两类问题。
图片无美感的问题主要是由于，CNN 更擅长捕捉图片的语义信息，而对于美学信息不敏感。
4、美学特征的引入
在图片美感方面，目前有一份较为优秀的数据集——AVA Database（A Large-Scale Databasefor Aesthetic Visual Analysis，参见 Perronnin F ,Marchesotti L , Murray N . AVA: A large-scale database for aesthetic visualanalysis[C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society, 2012.）。
AVA Database 是一个美学相关的数据库，包含 25 万余张图片，每张图片包含语义标注（如自然风光、天空等）、图片风格标注（如互补色、双色调等）和图片美感评分（由数十到数百人评出 1 -10 分）。
在 Zhangyang Wang, Shiyu Chang, Florin Dolcos, Diane Beck, DingLiu, and Thomas S. Huang. 2016. Brain-Inspired Deep Networks for ImageAesthetics Assessment. Michigan Law Review 52, 1 (2016) 一文中提出了 Brain-inspired Deep Network，其网络结构如下：
其核心思想是，通过 AVA 数据集提供的图片风格标签，学习图片风格的隐藏层特征，将图片风格的隐藏层特征和图片经过 HSV 变换后的特征结合起来，以 AVA 数据集提供的图片美感分为监督，学习图片的美感特征。
在此基础上，最终在 UGC 质量审核模型中采用下述结构评判 UGC 的质量：
以 AVA 数据集提供的图片风格标签和美感评分进行预训练，通过 Brain-inspiredDeep Network 提取图片的美感特征；通过 ResNet 提取图片的语义特征；通过深度模型刻画统计特征；最后将三种特征拼接起来综合预测 UGC 的质量。
引入美学特征后，验证集上模型的准确率、召回率和 F1 值均得到了提升，ABTest 显示，与原有模型相比，审核通过率提升 6% 以上。
脏数据处理
除了业务同学提出的问题，在自查过程中，发现目前挖掘出来的 UGC 内容中仍有以下脏数据：
1、评论倾向判定
针对差评 UGC，利用现有的组件进行情感分析，发现并不能很好地挖掘出差评评论，容易误伤。基于此，取过审 UGC 的评论和 UGC 中的差评进行训练，在验证集上 F1 值高于 0.9，但由于实际预测的数据不同（忽视了中评等），导致容易误判（如将商品名称等判断为差评）。在此基础上取过审 UGC 的评论、UGC 好评、中评、差评分为四档进行训练，在验证集上 F1 值稍低，但由于训练数据更贴近于真实场景，在实际预测中效果更好；目前基本解决了差评 UGC 的问题，实际自查过程中，没有再看见差评 UGC。
在实际的模型选择上，Attn-BiLSTM（带 attention 的双向 LSTM）效果好于 TextCNN（F1score 约相差 3%），分析原因在于：TextCNN 的优势主要在于捕捉局部特征，而很多文本虽然含有吐槽性段落（如批评物流慢等），但整体仍然是对卖家商品的肯定。
2、N-Gram 过滤
针对套路评价 UGC，通过全局比较 UGC 的文本内容，将被多名用户重复使用的模板 UGC 过滤掉。
针对重复评价 UGC，通过判断 UGC 文本内容中重复的 2 -gram、3-gram、4-gram，结合文本长度和文本信息熵进行过滤。
3、OCR 及图像 Hash 过滤
针对牛皮藓图片，一部分采用了 OCR 识别和牛皮藓识别进行过滤。
针对盗图、网图 UGC，将图片表示为哈希值，通过全局判断哈希值在不同买家、不同卖家间的重复次数，进行过滤。在过滤此项的过程中，我们也发现，买家秀中盗图、网络图的现象较为普遍，很多肉眼看似原创的内容也涉及盗图和网图；此项过滤掉了大多数的 UGC。
无关图识别
解决了上述问题后，仍然较为显著的问题是无关图的问题。
无关图的出现原因较为复杂，表现类型也非常多样；既有上述提到的盗图和网络图，也有用户随手拍的风景图，还包括动漫截图等各式各样和商品无关的图片。
一方面，无关图以盗图、表情包、网络图等为主，通过哈希值过滤，能够过滤掉一批无关图；另一方面，即使过滤以后，预估仍然存在 10%-15% 左右的无关图。这部分无关图的解决较为复杂。
目前所采用的方案是，将盗图、表情包、网络图等重复图片作为负样本，将过审 UGC 图片作为正样本，通过 ResNet 提取图片特征，将类目通过 embedding 作为类目特征，将用户行为（发表重复图的数量和比例）作为用户特征，判断该 UGC 的图片是否是无关图。
就这样，大家终于又能愉快地欣赏美美的买家秀了~~
划重点
在此分享一些心得体会，希望能对大家有帮助：
数据强于特征，特征强于模型；贴近真实场景的数据对提升任务表现贡献巨大；
如果确实缺乏数据，不妨尝试快速标注数千条数据，可能取得超出预期的效果；
对 ImageNet 等数据集预训练的模型进行 fine-tuning 可以在小数据集往往能取得更好的问题；
通过图像翻转、旋转、随机裁剪等方法进行数据增强，可以提升模型泛化能力。
本文作者：晓鸿阅读原文
本文来自云栖社区合作伙伴“阿里技术”，如需转载请联系原作者。