乐趣区

关于人工智能:从跨模态和上升通道谈富媒体内容的冷启动

图片起源:https://marketing.chron.com/w…

作者:刘森茂

富媒体内容冷启动的意义

富媒体内容(Rich Media Content,简称富内容),是指具备视频、声音、文字等多种载体的综合性信息模式,次要包含短视频、直播等等。相比于传统的文章、图片、音乐等繁多载体的内容,在“注意力经济”的时代,富内容是可能最大限度传递信息、吸引消费者注意力的内容模式。并且因其丰盛的出现模式(图文声并茂,可搭配各种玩法、特效),成为平台创作者(达人、艺人等)最佳的表白工具。

相比起音乐、影视等“经典”内容,富内容,尤其是 UGC 向的富内容,对冷启动有着极高的要求,次要有以下起因:

  • 生产门槛低、周期短。具体表现为,短视频生产者或者直播主,根本可能做到一周一次甚至数次的内容生产。这其中,上一个视频 / 直播的播放、点赞、评论等数据,对生产者而言是至关重要的反馈,生产者能够借此更好的把握内容生产的方向。只有把新内容的散发做好,生产者才违心陪一个平台去玩,并且保持下来,生产者本人也会缓缓成长,为平台粘性更好的做奉献。
  • 生产新鲜感高。高生产节奏也带来了内容风行趋势的疾速演进。新的玩法、特效、热点,简直层出不穷,而消费者永远都是第一工夫谋求最陈腐事物的。如果一个平台举荐的内容总是比别的平台晚几天,心智也就很难构建起来。
    基于此,散发富内容的举荐零碎,对内容冷启动的考量,达到了前所未有的高度,甚至能够说整个零碎都是围绕着冷启动和新内容回升进行的构建。

冷启动问题的检测

想要针对性的解决问题,首先须要查看一个举荐零碎是否对新内容有系统性的偏差。这里列举两种罕用的办法:
(一)工夫维度的校准剖析
校准(Calibration)是广告举荐中罕用的剖析技术,次要用来查看特定人群 / 物料下的模型评分与实在转化成果是否有系统性偏差。在冷启动问题这里,也能够用来查看对新 / 老内容的模型评分是否有系统性偏差。

上图为咱们对云音乐短视频举荐所做的新视频校准剖析,依照新 / 老内容和新 / 老用户进行模型评分与理论转化率的穿插剖析。咱们能够看到,在纠偏之前,新内容存在重大的系统性偏差,其打分是被系统性低估的。

(二)内容生命周期曲线
冷启动问题也可通过对特定内容的散发生命周期进行监控发现。具体讲,一个内容如果在晚期阶段维持较高的转化率,然而散发量却始终处于较低水平,直到很长时间才实现无效的大量散发,那么零碎很可能存在冷启动问题。

上图为某条内容散发量(蓝色)与 CTR(橙色)随工夫的变动。能够看到,在专门构建冷启动策略之前,优质内容的天然散发量是迟缓俯冲的。

冷启动的解决办法

互联网上对于冷启动办法的介绍曾经较为丰盛了,许多经典办法(比方 Bandit 策略、基于标签的新内容召回等等),在此也不再赘述。本文次要针对富内容特有的两个冷启动技术进行介绍:冷启动与回升通道在富内容上人造的联合;以及基于跨模态技术的内容了解。

回升通道

举荐零碎中的内容回升通道是为了最大限度催生出优质内容,而对内容进行的层层提拔、回升,直至推出爆款内容的散发策略。

上图为某平台的内容回升通道(图片来自网络)。咱们以此为例进行阐明:举荐零碎首先从内容池中选取内容进行第一阶段的散发测试,提供 300 左右的曝光量,之后依照数据规范进行筛选,符合标准的会进入第二阶段并且取得更大曝光量,以此类推,直至成为全网爆款。

对富内容的举荐零碎而言,如前所述,为了强化平台新陈代谢的效应,个别只会对最新公布的内容进行回升。因而新内容冷启与回升通道便天然的联合起来。

与抖音相似,网易云音乐短视频业务也构建了相似的内容回升通道,并且依据网易云音乐的特点,还能够依据热门歌曲进行辅助回升。上面介绍几点实践经验:
(1)从晚期的个性化到最初阶段的“破圈”。回升通道晚期的海选阶段,内容数量宏大而品质参差不齐,该当尽量走个性化散发。到了前期,回升出的爆款开始具备“破圈”属性,对个性化的需要开始升高,必须大胆的把内容举荐给更多的用户群体。
(2)新内容该当优先分发给高活用户,防止不确定性的新内容劝退心智本就不强的低活用户。在流式生产体验下(不论是单列全屏流还是双列瀑布流),越往深处的曝光越属于高活跃度用户,算法在散发上按比例扩充流量地位深处的新视频散发量,便可实现这一点。

回升通道技术,互联网上最先由抖音等短视频平台提出,时至今日,曾经成为各大富内容平台必不可少的技术框架,某种程度上代表了一个平台对内容的价值观:新陈代谢、激励原创。回升通道的散发效率高下,也成为了冷启动成败的要害。

跨模态内容了解

如果说回升通道是新内容冷启动流量的保障,内容了解则是流量利用效率的要害,是新内容个性化散发的次要依附。这其中,富内容因其逾越图片、视频、文字等多个类型,对内容了解有着最高的要求,也成为跨模态技术利用的舞台。

跨模态技术的次要作用是将不同模态的内容进行信息提取(表征),并且依据上游举荐零碎进行信息整合。

第一:信息提取。之前风行的技术是各个模态独自进行内容向量的表征(比方图片模态采纳 ResNet 或者 Swin Transformer,文本模态采纳 Bert),最近的技术提前到信息压缩阶段,就开始对各个模态的信息进行整合。比方当初风行的框架 CLIP,将图片与文字构建 pairwise sample,并且采纳 matching loss 进行模型的训练,对立产出图片和文本的向量表征。

上图为 CLIP 等框架下的 matching loss:将相互配对的图片和文字进行打乱,构建正负样本

第二:与上游举荐的信息整合。举荐零碎上游的行为数据在跨模态信息整合中起到了要害的监督作用。这里简述几种信息整合的框架:

  • 基于向量拟合的信息整合:核心思想是将一条内容的跨模态内容向量表征去尽可能拟合基于行为数据计算出的向量表征。这方面有代表性的是 CB2CF 技术。
  • 基于用户偏好双塔模型的信息整合:核心思想是通过构建双塔模型预测用户的内容偏好,其中内容塔只应用跨模态的原始向量。这种办法相比 CB2CF 的长处在于,双塔模型的构造可能让用户行为数据对内容表征产生更粗浅的影响,防止 CF 对行为数据表征过程中的信息损失。

具体到云音乐的跨模态停顿,咱们在多个方面都进行了实际,并且获得了肯定的正向后果:

  • 基于 CB2CF 的 I2I 召回,将新内容(短视频)的散发效率晋升了 25% 左右
  • 基于双塔模型框架的 I2I 召回,点击率相比 CB2CF 又晋升了 20%+
  • 基于 CLIP 技术的图文跨模态表征,在离线验证阶段,可能将对应召回源的准确度(依照 NDCG 掂量)晋升 15%+
  • 通过跨模态技术联合用户长期趣味,对视频回升通道进行优化,局部阶段的均匀点击率甚至能够有翻倍的晋升
  • 通过将跨模态内容了解技术利用于视频举荐审核,节俭了约 40% 的审核人力

云音乐视频举荐双塔模型框架相比于 CB2CF 的效率晋升,蓝色为基于双塔模型框架的 I2I 召回,绿色为基于 CB2CF 的 I2I 召回

最初总结

内容冷启动对一个举荐零碎的意义不仅仅局限于点击率的优化,更多是与一个平台对内容散发整体的价值观相关联。基于不同内容冷启动流量调配策略,对平台最终生态的影响,也是值得深入研究的方向。云音乐在这方面也获得了一些很有意义的后果。另外,跨模态技术的钻研,相比上游的举荐零碎,仍然处于初级阶段。通过技术手段升高内容入库(审核 + 打标 + 冷启动)对人工的依赖,还有广大的晋升空间。

本文公布自网易云音乐技术团队,文章未经受权禁止任何模式的转载。咱们长年招收各类技术岗位,如果你筹备换工作,又恰好喜爱云音乐,那就退出咱们 staff.musicrecruit@service.ne…。

退出移动版