关于javascript:闲鱼的商品结构化是如何演进的超详细

作者：闲鱼技术 - 吴白

引言

商品的信息结构化水平在某种意义上来说决定导购效率的天花板。闲鱼商品结构化和淘宝 / 天猫最大的区别在于闲鱼卖家都是个人用户，无论是业余水平还是口头力远不迭淘宝卖家。为了不妨碍商品公布，闲鱼始终提倡轻公布，现实情况用户拍完照片输出一段形容即可实现公布。然而这和商品结构化相悖：卖家输出信息越多，越有利于商品结构化，然而用户公布商品的志愿就会越低。
咱们要做的就是在不妨碍用户公布商品的前提下进步商品结构化水平。

结构化历程

闲鱼商品结构化的摸索始终没有停过。目前为止，能够划分出四个阶段

• 2016 年及以前：利用文本开掘算法，从用户输出的题目 / 形容中提取出结构化信息。
• 2017 年：文本属性依赖用户输出。遗憾的是大部分闲鱼用户输出相当 ” 简洁 ”。于是咱们把眼光转向图片：1）从商品图片中提取结构化信息。2）依据商品图片预测商品类目。
• 2018 年：2018 年以前闲鱼类目处于刀耕火种的原始状态，公布时须要抉择商品应该在哪个类目之下。所以咱们建设了闲鱼渠道类目，将类目映射到渠道类目。另一个尝试就是将闲鱼商品间接与天猫的 SPU(Standar Product Unit, 规范产品单元)映射。
• 2019 年：启动了哥伦布我的项目，进一步开掘图像后劲。通过图像类似度辨认，间接将闲鱼商品和淘宝 / 天猫商品进行关联，通过对淘宝同款的结构化信息荡涤失去闲鱼商品的结构化信息。

以后结构化策略

目前围绕着算法，咱们在商品公布的各个环节都提供了同款关联的入口：从智能公布到公布实现之后的算法辨认以及售卖体系。

现阶段闲鱼商品结构化围绕着算法，在商品公布的各个环节都提供了同款关联的入口：从智能公布到公布实现之后的算法辨认以及售卖体系。

• 端侧智能公布。商品公布过程中，充分利用端侧计算能力，将商品结构化的产品问题，转变成同款商品匹配这样的技术问题。含糊检测，类似度检测，主体辨认这些算法都是在端侧实现的。
• 算法图像识别。商品公布实现后，借助图像识别算法，对于精度较高的辨认后果间接和商品建设映射关系。
• 售卖我的项目。当图像识别算法只能放大范畴而无奈准确给出后果时，借助于售卖工作体系，能够让用户抉择实现同款关联。

通过同款关联，闲鱼商品结构化往前走了一大步，使得闲鱼商品结构化的比例有将近 47% 的晋升。尽管如此闲鱼商品结构化现状仍不容乐观，次要体现在

1. 同款覆盖率。笼罩尽管晋升比例较大，但离指标还有肯定的间隔。
2. 同款精度。1）局部类目精度低，比方手机和手机壳在图像上类似，但理论是不同的商品。2）整体精度离指标仍有较大 gap。
3. 结构化信息利用。目前只利用在了搜寻场景的商品扩招回，结构化信息的利用仍有待充沛开掘。

将来的打法

以后结构化策略面临着一个问题：当算法能力达到下限后，如何持续推动结构化笼罩 & 精度晋升？目前为止起码有三种伎俩

• 算法多模态。团体有着泛滥在各自畛域深耕的图像算法团队，比方在女装等垂直类目上积淀深厚的专家系统。交融多算法团队能在肯定水平上晋升算法能力的天花板。
• 文本辨认。在上面的 case 中，单纯凭借图片无奈辨认是否是同款，因为图像的确十分类似，这个时候就须要文本的辅助。
• 输出辅助。文本辨认模型依赖用户的输出。输出辅助疏导用户输出更多高质量文本的同时升高用户形容老本。另一方面输出辅助也能够承当局部属性补全的能力。

然而在现阶段以算法为核心的工程体系中，下面的策略利用上会面临很多痛点

• 如何定义结构化。实质上是结构化规范的问题，一方面雷同的商品算法辨认进去的后果千差万别，雷同的商品不同算法辨认进去的后果最终如何归一化成雷同的同款。另一方面对于算法笼罩不到的畛域如何通过其余伎俩来实现结构化。
• 算法多模态接入老本飙升。如何抹平多算法之间的差别，算法对大盘的奉献，各个算法之间的成果疾速上线比照？
• 输出辅助。输出辅助须要解决 2 个问题：1）输出联想素材池起源。2）用户体验，输出辅助对实时响应有着十分高的要求。

这些问题大部分实质还是工程问题（结构化定义，多算法交融，输出辅助等）。所以转换一下结构化思路：以算法为核心转向以工程为核心，把算法当作能力补齐插件。结构化围绕着属性补齐做如下形象

总体策略

总结起来做这几件事

1. 闲鱼 vid 体系从新定义结构化规范。
2. 算法多模态接入，晋升笼罩 & 精度。
3. 引入规定引擎，服务于输出辅助等场景。
4. 结构化数据长久化 & 特色计算，晋升搜寻举荐等导购场景的匹配效率。

从新定义结构化

定义结构化的规范，一方面能够抹平多算法接入带来的差别, 另一方面对于拓展算法边界也有重要意义。所以从新给商品结构化下一个定义：如果一个商品的要害属性都有，那咱们认为这个商品就是结构化的。

这套规范称为闲鱼 vid（想好名字前暂且叫 vid）体系，基于闲鱼渠道类目 + 属性组成。这套规范有两种形式生成

1. 天猫 spu 体系。天猫的 spu 经营到当初，数据体系曾经较为欠缺，规范品类和闲鱼有很大重叠局部，这部分能够间接实现 spu 互通。
2. 对于非标品，从需要侧剖析而来。通过搜寻举荐等导购场景反向剖析能够拿到以后买家关怀的品类 + 属性。这部分能够补齐 SPU 缺失的数据。

基于这套规范体系，能够很好的解决多算法接入问题：间接以 vid 体系对应的种子商品集为候选池，实现同款挂靠。除此之外，算法没法笼罩的商品 (图文品质较差) 如果能确定类目和属性，也能实现 vid 挂靠。

算法多模态

工程上次要解决算法接入效率问题。当从商品公布到最初的导购主链路搭建实现，算法以插件化的形式运行在主链路之上。

这里多模态次要包含两方面：1）辨认能力从图像扩大到文本，图文联合。2）算法模型从单团队拓展到多团队，能力互补。
解决的问题次要包含

1. 屏蔽数据差别。不同算法数据产生形式的差别，实时 / 准实时 / 离线。
2. 数据交融。算法疾速上线 / 数据成果比照 / 结构化信息入引擎。
3. 算法后果对齐。依据定义的结构化规范，抹平算法后果差别。如果辨认出的同款商品实质上是同一个商品，那多算法的辨认后果最终该当能归一化。

输出辅助

输出辅助须要解决两个问题：

1. 联想素材池起源：用户输出具备持续时间很短的特色，所以在较短时间内辅助用户进行有价值的输出很要害。
2. 用户体验：严苛的实时性要求。用户输出是一个间断且对时效要求极高的过程，所有数据的交互需在极短时间内实现。

第一个问题很好解决，素材池提炼能够包含：

1. 搜寻逆向剖析产出。依据用户 query 统计分析，能够失去买家关怀的属性。
2. 算法产出：算法对动销高的商品进行特征提取失去，并归到对应的渠道类目上。
3. 经营行业教训产出。

第二个问题最好的解法必定是把所有的逻辑全副下放到端上本地执行防止响应问题。然而不可能把所有的逻辑放到端上，比方须要算法染指时，咱们不可能把简单的算法模型运行在端上。所以把素材池分成两局部：

1. 须要算法染指的逻辑放在服务端来实现。
2. 其余逻辑抉择适当机会下发给端上执行，这部分须要保障良好的扩大能力。

通过对输出辅助的执行逻辑进行形象发现其存在模式相似于规定引擎中的规定。在规定引擎中规定个别蕴含三要素：事实，规定，模式。

这里的事实对应着用户的输出，module 对应着单个断定条件，rule 则对应着条件断定以及对应的 action。以经营的行业教训产出为例，手机类目下有两个很重要的属性：1）是否培修过。2）是否过保。那这条教训能够翻译成两条规定：1）IF 类目 = 手机 AND 属性不蕴含 是否培修过 THEN 疏导用户抉择。2）IF 类目 = 手机 AND 属性不蕴含 是否过保 THEN 疏导用户抉择。
当执行逻辑被形象成若干条规定时，就能够在适当的机会下发到客户端侧本地执行。整个流程形象如下

当新的经营教训或者剖析数据产生时，通过翻译成规定能够很好的实现辅助输入的扩展性。通过规定的共享，客户端的逻辑能够无感知的在服务端执行。

上线成果

商品结构化的指标围绕着结构化信息的笼罩 & 精度进行，目前曾经上线了局部性能（文本同款以及算法多模态），从数据上看获得了不错的成果：1）算法多模态接入能对结构化笼罩占比 8% 相对晋升。2）文本同款正在分桶测试中，从分桶数据来看笼罩上涨 13% 绝对值晋升。

瞻望

结构化的愿景是在不影响公布体验的前提下实现商品结构化工作。现实状况下只须要一张照片，一段形容就能实现商品公布，其余工作通通移交给算法以及工程同学。当图像和文本内容能被充沛开掘了解，标签成色甚至类目这些都能够去掉，用户只须要点确认公布按钮即可。咱们会一直朝着这个指标致力。

原文链接：https://developer.aliyun.com/…_content=g_1000168250
本文为阿里云原创内容，未经容许不得转载。