作者:卉芸

1. 业务简介与剖析

1.1 业务分析

谈到搜寻,大家日常生活已离不开此性能,例如通用搜索引擎Google百度,购物时的电商搜寻,听歌时的音乐app搜寻等。在不同的业务场景下,搜寻的业务实质与指标也有着很大异同。在电商场景下,搜寻实质上是非精准导向的,因为满足用户query用意的商品候选量级极大,个性化的作用极大的被彰显,在query了解、召回及排序的各个环节,个性化都是必不可少的考量因素;此外,用户的query与商品的title存在显著的语义gap,商家多采纳属性堆砌的形式来形成题目,导致与用户的表达方式差别较大;最初,算法的优化指标也十分清晰繁多,即gmv及成交笔数。

在云音乐搜寻业务中,候选资源品种繁多,涵盖艺人、单曲、歌单、视频、播单等多种异构资源,混排面临更多的挑战;同时,对于艺人及歌曲的搜寻,更偏差于精准化导向,满足用户用意的候选往往个数较少,对准确性要求极高,但在视频及歌单搜寻中,又更具备非精准性,满足用户query的候选多,故后果的个性化与多样性更须要被保障;对于不同的资源类型,算法的优化指标也不尽相同。

视频资源作为一种多模态的资源类型,在音乐搜寻中,有着本人的独特性:
(1)内容了解难:视频的题目及形容并不能反馈视频的全部内容,视音频模态的信息补充十分要害;形容文本偏向于天然语句,而非结构化的属性标签,长度也长短不均;信息抽取与语义表征难度高,用户query与视频相关性建模更为艰巨。
(2)相关性要求高:当用户搜寻单曲无版权时,可能会到视频页查找资源。有些搜寻query存在歧义,例如抖音火爆的歌曲“会不会”,仅通过文本词级别的匹配,会失去大量不相干的视频资源,故须要联合用户的实在用意来确保后果的相关性。
(3)时效性强:用户对热点内容需要较大,新热回升视频应该具备更多的曝光流量,例如“蜜雪冰城”搜寻后果下,应该将最近较火的日文改编版往前排。搜寻后果的时新性对用户的体验至关重要,实时的特色对排序成果影响较大。
(4)优化指标多:视频总体指标如下图所示,其中点击率和有效率,是最根底的优化指标,视频的播放时长占比、点赞率、珍藏率、转发率也很重要,它们能更好的激励视频生产者创作,并和视频消费者造成更严密的互动,利好整个视频生态。

1.2 算法体系

如上图所示,视频搜寻的整体算法体系能够分为五大模块:query了解模块、召回&扩召回模块、相关性模块、排序模块及重排策略模块。

数据挖掘提供根底的数据撑持,包含新词发现、同义词开掘、标签开掘等,通过离线形式定时更新底层信息库,同时服务于视频了解模块。query了解作为初始环节,包揽了文本归一化、纠错、词权重剖析、实体及属性抽取、用意辨认等性能,从用户不规则的输出文本中,获取到外围结构化信息,送入后续模块进一步解决。

召回局部可细分为两块,根底的文本搜索引擎和多路扩召回,搜索引擎联合紧密度、热度、tf-idf等特色给出候选粗排分数。扩召回可细分为两大类型:query改写多路及向量召回,前者通过显式的构建同义query召回更多满足语义的视频,具备更好的可解释性和可控性,后者利用模型泛化性隐式的召回相干视频,会带来一些惊喜的后果。相关性模块用于掂量用户query和视频的相干水平,能保障用户的搜寻体验,搜寻query和视频文案存在人造的语义gap,同一query在不同的场景下存在歧义,如何定义云音乐场景下的相关性并进行语义消歧,非常重要。

排序局部蕴含特色与模型的构建,基于云音乐自研的snapshot平台,能够便捷的构建无特色穿梭的实时样本,进行在线特色抽取及数据落盘,模型经验了单指标到多指标的优化迭代。重排和策略是最初的一环,负责后果的多样性打散及可解释性文案的组装,也反对经营的case干涉。

云音乐的视频搜寻之前始终处于根底版本阶段,算法层面未经验迭代优化。文本将联合上述重难点,具体从搜寻相关性和排序来论述下优化的计划与功效。召回局部会提供一个简要的技术分享,不作为本文的重点。

2. 相关性

相关性是搜寻流程中非常重要的模块,它负责确保搜寻进去的后果和搜寻query是相干的,“相干”不仅体现在word-level的匹配上,也体现在semantic-level层面,它是一种用户的主观感触,不足一个通用的主观规范。
在不同业务场景下,搜寻相关性的定义是不同的,须要依据具体的业务认知,给出合乎用户体验的档位定义。有别于ctr工作,相关性人造缺失样本标签,是否点击不能用于间接掂量query与item的相关性,因为用户的点击行为还会受到流动、地位、离奇等其余因素的影响,因而须要依据相关性准则,进行人工数据的标注,然而深度模型的训练依赖大量的标注样本集,不可能全副由人工来标注。在模型层面,大家熟知的文本匹配畛域内的模型,比方representation-based和interaction-based模型,都能够迁徙用于query和item的相关性建模,但思考到线上inference的效率和rt限度,须要在成果和效率上进行折中。
如何利用无限的人工标注集,采纳弱监督的形式构建一个高效的线上模型,是该工作的挑战所在。

2.1 定义与评估

在云音乐搜寻场景下,咱们依据音乐畛域内关联常识和用户的常见的用意品种,将相关性分拆为以下三个子维度:

  • 文本相关性

    • 指搜寻后果中蕴含搜寻query,即term匹配,搜寻后果中蕴含query中的外围词汇
  • 语义相关性

    • 指搜寻后果与query语义相干,能够宽泛认为是常识相干,如歌手名和单曲名、专辑名、格调类型、国家语言、节目、平台等相干
    • 例如 “晴天” vs “周杰伦”、“刘德华” vs "四大天王"、“会不会” vs "小乐哥"、“会不会” vs "陈绮贞"、“刘聪” vs "中国有嘻哈"
  • 用意匹配

    • query中蕴含具体歌曲、艺人、歌单、专辑、歌词等实体用意时,资源中对应用意也该统一
    • 例如:”周杰伦 晴天” vs "视频(xx翻唱 晴天)",这种状况认为是用意不统一,用户想搜的应该是 周杰伦演唱或者出演的晴天

联合以上三个子维度,咱们将音乐相关性定义为四个档位,具体为:

  • good档位(最相干档位)

    • term匹配 & 语义相干 & 用意匹配:示例:query(周杰伦 晴天) | 单曲(周杰伦-叶惠美-晴天)、query(周杰伦 晴天) | video(周杰伦演唱会live现场演唱《晴天》
    • 非凡阐明:对于艺人,例如 hehe vs 田馥甄,尽管term不匹配,但确实是同一个人,这种case也属于good档位
  • fair-good档位(次相干档位)

    • term不匹配 & 语义相干 & 用意匹配:示例:query(hebe)| 艺人(S.H.E)
    • term不匹配 & 语义相干 & 用意不匹配:示例:query(周杰伦 晴天)| 视频(xx翻唱 晴天)
    • term匹配 & 语义相干 & 用意不匹配:示例:query(晴天)| 视频(xx翻唱 晴天)
  • fair-fair档位(中立档位)

    • term匹配 & 语义不相干 & 用意匹配:示例:query(晴天)| 单曲(我的陈腐女友晴天版)
    • term匹配 & 语义不相干 & 用意不匹配:示例:query(晴天)| 视频(冰菓动漫剪辑)
  • bad档位(齐全不相干档位)

    • term不匹配 & 语义不相干:示例:query(晴天)| 歌曲(阿桑-受了点伤-叶子)

有了明确的档位定义后,在用户的历史点击日志中,筛选了万级别的样本进行人工标注,这部分数据能够用来finetune模型,也能够用于评估相关性模型的成果。因为音乐场景下的item分为多种资源类型,在视频标注时,以文本题目作为次要考量因素,视频文本标签作为辅助因素。在实在的档位散布中,fair-fair档位占比拟低,在评估模型成果时,将good和fair-good视为1,bad视为0,则能够作为二分类问题来计算auc指标。

2.2 模型选型

相关性的建模在业内存在多种形式,如下图所示,大抵能够分为四种类型,根底的文本相关性模型、属性相关性模型、语义相关性模型和行为相关性模型。综合四种不同形式获取的相关性分数,还能够构建一个顶层的综合相关性模块,采纳集成的形式,获取最终的相关性分数或档位。

文本相关性,在词级别剖析query与doc间的相干水平。针对用户输出的query,进行分词,再基于如BM25等算法计算相关性,如紧密度是掂量term之间间隔的一种形式。这种形式能够无缝对接搜索引擎,启动快,然而无奈解决消歧和语义类似的问题。

属性文本相关性,是将query和doc进一步进行属性的抽取与剖析,在同属性维度下判断是否相干,而后综合各维度,失去最终相关性分数。这种形式可解释性强,然而对属性抽取的准确度要求高,同时须要开掘属性下的同义词表,能力获取更好的语义相关性。

语义相关性,采纳深度模型来对语义建模,突破term层面的字面匹配限度,并能肯定水平解决消歧问题,具备良好的泛化性。近年来NLP模型的迅猛发展,文本语义建模的计划层出不穷,文本匹配畛域内的模型都能够拿来借鉴应用。因为工业界对线上rt有较高的要求,简单的交互式模型太重,不适宜大规模上线应用,同时训练样本集的构建也非易事。

行为相关性,是指通过用户搜寻后的点击、无效生产等一系列行为,采纳无监督的学习形式,在点击图上进行信息的传递,来开掘query与doc的相关性。该形式由Yahoo在网页搜寻中率先提出[1],算法将query和doc通过词向量传递,将两者变换到同一语义空间中,从而不便失去相关性的类似度计算。点击图的成果鲁棒性强,在头部query和doc上体现较好,然而在长尾数据上体现不佳。

2.3 失效形式及实战

失去query与item的相关性分数或档位后,该如何利用到排序流程中呢。如下图所示,相关性模块除了输入相干分数外,还能够产出query向量、item向量(限于双塔模型),在召回中派上用场。能够用作一路语义向量召回,也能够在query改写的召回阶段用于寻找类似query候选。排序中,语义向量和相关性分数能够拿来作为特色应用。

在云音乐场景下,咱们在引擎粗排中融入了紧密度特色,并构建了交融属性维度的语义相关性模型,也尝试了点击图模型的试验,以下做以介绍。

  • 语义相关性模型 - Aspect Relevance Model

训练深度模型须要大量的样本数据集,单个用户的点击与否不能间接当成正负样本,参考电商语义相关性模型[2],咱们计算了query和item之间的均匀ctr,并划分为高ctr、中ctr和低ctr三个区间。咱们认为在同一query下,ctr高的item相关性是要好于低ctr的,因而失去了一个分档次的监督学习数据集。在构建负样本时,咱们采纳了随机采样的形式获取简略的负样本,同时,也通过正样本中某些NER词汇的替换改写,构建了一批难学的负样本,由此加强模型的辨别能力。

线上模型构造如上图所示,为了线上性能的优化,采纳根底的双塔构造。底层共享词的embedding,在每个encoder侧,不仅对query/item进行原始文本的信息编码,也对NER抽取的词组信息进行encoding。对于每个维度的语义信息,采纳基于CNN的self-attention形式获取深层的语义表征,如果采纳多个卷积核,能够失去多组的query或维度文本的向量示意。计算query与item的相关性分数时,采纳弱交互的形式,对向量进行求和、求差、拼接三个操作后,送入全连贯层,通过max-pooling和sigmoid获取最终的相关性分数。在视频场景下,除文本信息外,还有图像、音频信息,能够将图像向量视为一个语义维度,应用tensor fusion进行向量的外积交融,这种形式对于多模态信息的交融更充沛,成果优于间接concat。

在loss的构建上,依据分层的ctr样本定义了一种pointwise的loss模式

  • 点击图模型 - Click Graph Model

用户的点击日志蕴含着丰盛的信息,点击图模型利用二部图的信息传导,从类似的query/item中提取term来丰盛以后节点的term表白。咱们采纳近三月的搜寻点击日志,构建了query和item的图,其中item蕴含多种资源,单曲、艺人、歌单、视频等。针对不同的资源类型,选取不同的元字段信息来做文本的表征,比方视频类型,除了题目信息外,还采纳了内容形容标签信息,在分词阶段,接入了云音乐专属的业务词典,防止将歌曲名、艺人名切分谬误,同时过滤掉无意义的停用词。节点之间的权重采纳了点击率,相比点击次数,点击率更能反馈query与item的相干水平。

query和item间的向量迭代沿用了Yahoo文中的计算形式,每次迭代后在人工评测集上计算auc,选取最高auc对应的迭代向量,作为最终的词袋后果。下图给出了一个case后果,“陈奕迅”及两个对应的视频的最终的迭代向量中,蕴含了相干的歌曲词汇及艺人词,有肯定的可解释性。失去词袋向量后,须要⼀个适合的度量⽅法来计算类似度,咱们试验了两种种⽅式:cosine类似度和kl散度KL(Q||I)。为缩小计算量,对词袋向量作了⻓度截断,仅保留top20个词。在同一份人工评测集上,采纳kl散度的相关性分数,auc能够达到0.768,成果要好于finetune之前的语义相关性模型。

点击图办法计算简略无效,是一种鲁棒性很强的相关性算法,对于没有点击行为的query和item,Yahoo提出能够将文本拆解为n-grams,学习n-grams的向量表白和权重信息,解决中长尾无表白的问题。因为query侧的词袋向量表白中,会迭代出相关性较强的词汇,咱们选出了tag query下的词袋信息进行察看,如下图所示,第二列的词袋词汇中能够挖掘出很多相干词,这部分进行人工审核后,能够补充到同义词典中。

理论应用中,咱们将相关性利用到视频排序阶段,最终线上有点率晋升1.5%,无效有点率晋升2.3%。在视频8.0版本人工测评中,相关性及高质量召回case数量比7.0减少23%。以下给出一个相关性优化的后果展现。

3. 召回及排序


召回和排序是搜推算法中传统的两个模块。召回须要解决的候选集量级极大,线上响应的时效要求高,因而不能采纳简单构造的模型。排序阶段又能够细分为粗排和精排,在精排阶段,个别只需对上百个item进行打分,为了更准的出现用户想看的后果,对模型的准确性要求较高,故须要在特色上做更精细化的解决,并采纳更简单的模型来拟合数据分布。

3.1 多路召回

在视频召回中,咱们拟定了四大类召回形式:根底文本召回、query改写多路召回、向量召回、个性化召回。在根底的文本召回根底上,为了能召回更多语义相干的候选视频,构建了显式的query改写召回和隐式的向量召回。为了更好地满足用户个性化体验,也独自构建了个性化召回链路。

query改写的流程可细分为召回与判断两局部。在召回环节,可通过语义embedding相近、同session下query开掘、近义词替换等形式,寻找与query同义或近义的query候选。在判断环节,构建语义类似度模型,掂量两个query是否语义雷同,因为改写的数据能够离线生成好供应线上应用,所以简单的交互式模型如bert,都能够派上用场。业务中标注样本老本较高,往年发表的simCSE[3]和R-drop[4]模型,也非常适合用在工业场景中。

依据建模形式的差别,可将向量召回分为如下图几类。近年来的文献中,向量召回在举荐畛域内的停顿较多,对user和item的建模计划,能够酌情迁徙到query和item上。搜寻业务上,Facebook去年的工作EBR[5]和Baidu的Mobius[6]也有很强的借鉴意义,ebr从样本采样到零碎层面给出了具体的实践经验与试验剖析,mobius联合搜寻相关性优化ctr模型。召回的模型个别采纳双塔的构造,不便离线生成query和item侧的向量,接入线上的高效向量检索流程。

召回在模型上没有太多花色可玩,传言道,如果说排序是特色的艺术,那么召回就是样本的艺术,特地是负样本的艺术。召回层面的指标就是将与query相干的item召回,不相干的剔除,间接采纳ctr的点击与否作为学习样本,显然是不适合的,这是因为召回所面对的百万、千万级的候选item,绝大多数是从未被曝光过的。全局负样本采样也存在肯定问题,随机采样的样本过于简略,没有难负样本,模型难只能学习到粗粒度上的item区别,无奈感知轻微的差别。阿里在去年发表的ESAM[7],尝试用一种新的视角解决Sample Selection Bias问题,将曝光过的样本点击label,迁徙学习到未曝光的item域上,能够获取全局的item标签。

搜寻中的个性化召回局部,实践上有两种形式可做,一种是应用基于trigger的传统形式进行U2I的召回,接着过一个query的相关性判断;一种是将用户特色融入到深度召回模型中。前者的效率会比后者差,所以咱们先打算尝试用户特色的引入,向量召回局部目前仍在优化推动中,在此不作为重点具体开展论述。

3.2 排序

(1) 排序特色体系

视频精排用到的特色汇总如上,波及到query维度、视频维度和用户维度。除了动态类的属性特色外,还有T+1的统计类特色,以及基于实时计算平台magina开发的实时特色。时效性对视频排序尤为重要,实时类的特色必不可少,此外,借鉴Youtube在举荐零碎中的做法,引入视频example age特色(以后工夫-播放该视频的采样日志工夫)将新视频和训练视频进行辨别,能够进一步缓解新热问题。在视频内容的了解与表征上,咱们和行研的图像算法团队单干,提取视频的内容标签,比方艺人信息、格调信息等,用于欠缺视频信息。为了刻画视频的品质,采纳了分辨率、时长和审核状态特色。视频tab页中,单列流模式下,一屏只展现2个视频,用户的点击行为会因为position产生比拟大的偏差,为了打消地位偏差的影响,咱们也加上了position特色。

定义好特色并实现特色抽取算子后,基于云音乐自研的snapshot实时样本平台,能够便捷的获取线上样本的特色数据,并进行实时样本的落盘,用于模型的实时训练。snapshot平台能够防止特色穿梭问题,并保障线下与线上的一致性,为算法成果提供了强有力的保障[8]。

特色解决局部,也有一些技巧可言。对于id类型特色,为了缓解冷门id训练不充沛,咱们构建了id词典,将呈现频次少的id映射到同一编码上。解决间断数值型的统计类特色时,区间分桶受统计值变动影响较大,故采纳log软分桶,能够使间断特色离散化,同时受统计值变动影响小。计算率值特色时,如果间接计算点击率,对于统计数据较少的曝光和点击,容易呈现高估的问题,须要做统计平滑解决。常见的平滑形式有威尔逊区间法、EM平滑、贝叶斯平滑[9],实际中发现贝叶斯平滑成果最好,离线auc涨了千分之一个点。特色穿插在传统的机器学习中,往往通过人工的形式进行,近年来的深度模型已具备主动特色穿插的性能,能更高效的捕捉特色间的关联[10]。

(2) 排序模型:单指标到多指标

视频排序单模型,指标是晋升点击率ctr。咱们尝试了从无模型(策略分)到deepFM模型的演进,deepFM获得了离线最高auc,上线后点击率也晋升了5%。视频一期排序中,尚未思考个性化因素,用户建模的模型还有待摸索试验,基于attention思维的DIN和DIEN模型,是后续尝试的方向。

视频业务指标多,针对多指标优化的多指标模型必不可少,咱们的精排大模型框架如下所示。图中示意了两个搜寻的根底外围指标,点击率ctr和无效转化率cvr,视频场景下咱们认为视频生产时长大于肯定阈值则是无效生产。工作底层采纳特色共享,模型沿用了MMOE[11]的框架,专家和gate的构造能够由简到繁,咱们用多层全连贯来作为base构造。思考到postion bias,构建了一个shallow tower来做地位偏差的打消。繁多工作的学习局部,应用了全连贯层,为了加强模型的记忆能力,可将原始的输出特色通过sigmoid喂入到task顶层,通过线性逻辑来修改模型泛化的规定。最终计算loss时,参考阿里ESMM[12]的思维,在全空间样本上同时进行ctr和ctcvr的loss学习,能够缓解Sample Selection Bias问题。不同指标的loss在量级和降落水平上会有差别,采纳uncertainty weight loss[13]算法主动学习各指标的权重比例。

在敲定大模型构造之前,咱们进行了一系列的线下试验,尝试了多指标工作畛域内的一些经典模型,如简略的share-bottom形式,也试验了腾讯的PLE[14],下表给出了试验的指标成果。

Models训练形式Loss加权系数CTR-AUCCVR-AUC
Single-CTR0.810
Single-CVR0.690
Share-Bottom交替训练0.8170.707
ESMM联结训练ctr-loss:ctcvr-loss=0.04:10.8110.678
ESMM联结训练UWL主动调权0.8180.691
MMOE联结训练ctr-loss:ctcvr-loss=1:10.8230.721
MMOE联结训练UWL主动调权0.8220.720
PLE联结训练ctr-loss:ctcvr-loss=1:10.8220.714
PLE联结训练UWL主动调权0.8210.710
  • 通过试验数据,能够失去以下几个论断:

    • 不同工作loss相差很大时,UWL会比间接Loss加和成果好;loss靠近时,成果相当。
    • PLE设计的初衷是为了缓解seesaw phenomenon,当多任务关系简单时,效果显著;对于ctr&cvr是递进关系的工作,晋升成果不显著。
    • ESMM设计是为了解决样本选择性偏差和样本稠密问题,在视频场景下,cvr样本并非非常稠密,故cvr晋升不显著。
    • MMOE成果最佳,当工作关系简略或递进时,成果显著,将此作为后续上线模型。

对于不同的优化指标,应该酌情思考模型构造和loss加权形式,不能对立而论。排序二期会将用户的视频播放完成度思考进来,视频的播放时长占比和ctr、cvr的关系更为简单,属于回归工作,在模型选取和loss构建上,也会针对性优化。

(3) 排序模型:个性化模型

如后面所说,视频场景下的搜寻,跟单曲、艺人搜寻相比,更偏向于非精准的搜寻,满足用户query的视频候选往往较多,个性化排序的空间绝对较大。对于有歧义的query,个性化也能发挥作用,比方歌曲名“会不会”,能够对应到多个艺人用意上,依据用户的历史偏好,能够将用户偏好的艺人视频往前排,晋升用户体验。在用户建模中,行为序列是十分无效的特色,也是排序二期摸索的重点内容。

4. 小结与瞻望

云音乐视频搜寻以后面临四大痛点,视频内容的了解、相关性、时效性和多指标优化。本文作为第一篇章,论述了云音乐搜寻相关性模块的构建,也分享了精排一期中特色解决、多指标优化的一些教训。搜寻的优化任重道远,下半年将集中在更多指标的优化和个性化建模方向,晋升线上指标的同时,更好的保障用户的体验,让视频搜寻更智能化。

浏览材料

[1] Jiang S, Hu Y, Kang C, et al. Learning query and document relevance from a web-scale click graph[C]//Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. 2016: 185-194.

[2] Yao S, Tan J, Chen X, et al. Learning a Product Relevance Model from Click-Through Data in E-Commerce[C]//Proceedings of the Web Conference 2021. 2021: 2890-2899.

[3] Gao T, Yao X, Chen D. SimCSE: Simple Contrastive Learning of Sentence Embeddings[J]. arXiv preprint arXiv:2104.08821, 2021.

[4] Liang X, Wu L, Li J, et al. R-Drop: Regularized Dropout for Neural Networks[J]. arXiv preprint arXiv:2106.14448, 2021.

[5] Huang J T, Sharma A, Sun S, et al. Embedding-based retrieval in facebook search[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 2553-2561.

[6] Fan M, Guo J, Zhu S, et al. MOBIUS: towards the next generation of query-ad matching in baidu's sponsored search[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019: 2509-2517.

[7] Chen Z, Xiao R, Li C, et al. Esam: Discriminative domain adaptation with non-displayed items to improve long-tail performance[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020: 579-588.

[8] 云音乐模型实时化-基于snapshot的实时样本 https://kms.netease.com/artic...

[9] Wang X, Li W, Cui Y, et al. Click-through rate estimation for rare events in online advertising[M]//Online multimedia advertising: Techniques and technologies. IGI Global, 2011: 1-12.

[10] CTR神经网络特色穿插汇总https://mp.weixin.qq.com/s__b...

[11] Zhao Z, Hong L, Wei L, et al. Recommending what video to watch next: a multitask ranking system[C]//Proceedings of the 13th ACM Conference on Recommender Systems. 2019: 43-51.

[12] Ma X, Zhao L, Huang G, et al. Entire space multi-task model: An effective approach for estimating post-click conversion rate[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018: 1137-1140.

[13] Kendall A, Gal Y, Cipolla R. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7482-7491.

[14] Tang H, Liu J, Zhao M, et al. Progressive layered extraction (ple): A novel multi-task learning (mtl) model for personalized recommendations[C]//Fourteenth ACM Conference on Recommender Systems. 2020: 269-278.

本文公布自网易云音乐技术团队,文章未经受权禁止任何模式的转载。咱们长年招收各类技术岗位,如果你筹备换工作,又恰好喜爱云音乐,那就退出咱们 staff.musicrecruit@service.ne... 。