每当夜深人静时,你关上网易云音乐,或听歌刷乐评,或看直播闲聊,享受着以心交心的放松愉悦。在这背地,有一群技术人员苦思冥想地摸索着,只为让“云村”越来越懂你。
“不同于个别的聊天文本或图片,音乐自身是跨域数据,具备若干特色,数据维度十分多。而 1.8 亿月活海量用户的音乐相干数据,带来的计算量、举荐量、参数规模都微小无比。”网易云音乐机器学习平台技术团队意识到,在这样简单问题背后,传统机器学习办法慢慢无力招架。
此外,云音乐的直播业务衰亡,商业化体现良好,团队的担子更重了,“直播行为与音乐行为差别甚大,这意味着计算量与难度进一步减少。”压力之下,该团队将眼光瞄向“图神经网络”,并最终抉择利用百度飞桨 PGL 图神经网络技术来迭代降级云音乐的举荐零碎。
举荐零碎为何
须要图神经网络?
作为寰球出名音乐社区,网易云音乐在凋敝倒退的同时,其举荐零碎面临三大难题:囊括音乐、歌单、Mlog、直播、云圈、动静等的多域数据;海量用户产出的超大规模数据;超 30 万音乐人公布歌曲,超 28 亿用户产生歌单,27% 用户交换 / 生产内容形成的动态数据标签。
传统的机器学习办法须要严格制订一套标准来提取样本,逐项指定样本的各个特色。但云音乐用户产生的多域数据,可能会有若干个特色,加上近 2 亿的用户规模以及高频率的动静更新,必须进行巨量的计算,机器学习办法的训练效率因而大受限制,变得非常低效。
而图神经网络技术的约束性较小,把每个用户当做点,用户的标签作为边,不同用户之间基于点和边的关联造成网,在此基础上建模剖析,因而能更高效地表征、筛选某一类用户。比方,当两位素不相识的宝妈,同样爱听某些亲子歌曲时,她们在“图”中就有可触达的连贯,模型会依据这些连贯关系学习出适合的表征,并把这些亲子歌曲举荐给类似的用户群体。
事实上,图神经网络曾经成为目前互联网企业高效表征用户与内容构造的关键技术。既能基于用户在歌曲、歌单、动静、Mlog 等各方面的跨域行为联结建模;又能反对多种行为子图,如深挖用户在歌曲方面的播放、点赞行为;并反对载入用户节点的画像特色与内容节点的类型特色;还反对灵便扩大,如实用音乐业务场景的图神经网络应用能很不便地迁徙革新用来反对直播业务场景。
飞桨 PGL 图神经网络的
三大当先能力
市面上提供图神经网络技术的厂商不少,说起抉择百度飞桨 PGL 的起因,网易云音乐机器学习平台技术团队总结了三点:飞桨 PGL 反对超大规模数据的全图存储、子图检索、高效图学习三大当先能力。
团队已经尝试过多家国内外顶级厂商的图神经网络技术,其中两家国内大厂的产品没有现成的分布式编程范式,无奈高效地解决超大规模图模型训练当中遇到的图存储、分布式训练等问题,在单机层面顶多反对到千万级别或亿级别,而到了百亿甚至千亿级别,只有飞桨 PGL 挺住了。
据介绍,云音乐的数据规模十分宏大,数据关系即便通过裁剪也高达千亿级别以上。而飞桨 PGL 技术,原生反对分布式图存储和分布式采样,可将图的特色存储在不同的 Server 上,也反对将不同子图的采样分布式解决,并基于 PaddlePaddle Fleet API 来实现分布式训练,实现在分布式的“瘦计算节点”上减速计算,因此可能为云音乐解决高达百亿级别的大规模数据。
不仅如此,飞桨 PGL 实现了极低成本的大规模图存储,这让网易云音乐技术团队十分认可。“飞桨 PGL 的分布式图存储计划比拟灵便,适宜云音乐,能疾速搭起若干个分布式网络,无需业余数据库存储底层能力,存储老本升高 70%+。”在 4 亿节点与 400 亿边数据这样的场景下,飞桨 PGL 的分布式图引擎资源,以 60 弹性节点(4CPU,16GB)的配置,可提供比中心化数据库更简略、更灵便的存储服务。
再者,他们团队还体验到飞桨 PGL 的另一个长处,即灵便的子图检索模式。飞桨 PGL 不仅预置罕用模式,同时联动分布式图存储引擎,反对自定义子图检索模式,更合乎业务理论需要,应用起来更棘手更高效。
飞桨 PGL 给网易云音乐技术团队印象最深的一次是,用不到 30 多台闲置老旧 CPU 机器在 1 天内训练完 100 个 epoch 数百亿边的 LightGCN 模型。这在业内人士听来可能会有些不堪设想。“要是换成过来那种单机计划很难实现,因为内存早已爆掉了,无奈存储这么微小的图。”团队成员介绍道,兴许还有其余计划能实现,但飞桨 PGL 的计划,性价比极高,适宜大规模利用。云音乐的举荐零碎采纳飞桨 PGL 技术后,在冷门歌曲散发、云村广场、陌生人一起听等多个细分业务场景的效率都有不同水平的显著晋升,最高甚至晋升了近一倍。
能够说,飞桨 PGL 所提供的反对超大规模数据的极低成本全图存储、灵便子图检索、高效图学习等能力,在云音乐的工业实际中真正用下来,发现都是可能满足理论须要的。这正是飞桨平台源于产业实际,更适宜产业利用的最好证实。
飞桨 PGL 图神经网络
关上利用新空间
基于超大规模简单数据的用户与内容了解是许多互联网内容企业所面临的独特课题。而飞桨 PGL 图神经网络技术在网易云音乐的胜利落地,佐证了本身作为企业可用的高性价比超大规模图神经网络计划的弱小实力,将助力这些企业高效、低成本地表征用户与内容,创立欠缺精准举荐机制,做用户的“知心人”,进而催生新形态新模式,从中获取商业收益。
接下来网易云音乐机器学习技术团队还将立足云音乐的实际,摸索图神经网络技术与 AI 的深度交融翻新,如构建音乐社区的用户和内容了解中台,以及基于常识图谱的图神经网络落地利用;并打算与飞桨一起反哺开源社区,助推图神经网络技术在产业界宽泛落地。
点击进入取得更多技术信息~~