乐趣区

关于机器学习:京东科技集团21篇论文高票入选国际顶会AAAI-2021

近日,国内人工智能畛域顶级学术会议 AAAI 2021(第 35 届 AAAI)正式开始。在国内 AI 营垒前列的京东科技团体以高达 21 篇论文的入选量成为本届 AAAI 的一大黑马。其钻研方向蕴含了计算机视觉、联邦学习、反抗学习、深度学习、序列举荐、社交举荐、图神经网络、风险管理的反因果推断,以及智能城市畛域的时空 AI 等畛域。

在 AAAI 往年整体录取率仅为 21% 的强烈竞争中,京东科技团体的高入选量极为难得。值得注意的是,京东科技团体的系列研发能力已走出了单纯实验室阶段,转化为在智能城市、大宗商品、批发、农业以及 AI 机器人等产业场景的落地利用,助力整个行业的产业数字化过程。

AAAI(Association for the Advance of Artificial Intelligence)是人工智能畛域中历史最悠久、涵盖内容最宽泛的的国内顶级学术会议之一,每年都会吸引大量研究员、开发者投稿和参会,论文竞争更是异样强烈。在中国计算机学会的国内学术会议排名中,AAAI 被列为人工智能畛域的 A 类顶级会议,是将来人工智能产业倒退方向的重要风向标。

AAAI 2021 联结主席 Kevin Leyton-Brown 在 Twitter 上示意,往年承受的投稿论文总数达到“惊人的高技术水平”。9034 篇投稿论文中,7911 篇承受评审,最终仅有 1692 篇论文被录取,录取率为 21%。

京东科技自主研发联邦学习平台 破解数据孤岛

如何在数据共享根底上破解“数据孤岛”难题,是业界近年来在联邦学习方向上的重点摸索。京东科技团体此前也推出自主研发的联邦学习平台——Fedlearn,交融了密码学、机器学习、区块链等联邦学习算法,搭建出一套平安、智能、高效的链接平台,在各机构数据不必向外传输的前提下,通过联结多方机构数据,实现独特构建模型等多方数据联结应用场景,取得加成效应。

凭借在联邦学习平台上的技术投入,京东科技团体此次在该畛域有两篇论文入选 AAAI 2021。《Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating 基于反向更新的双层异步平安垂直联邦学习》,提出一种新鲜的交融了反向更新和双层异步并行的垂直联邦学习框架(VFB2),以及在此框架下的 VFB2-SGD,VFB2-SVRG 和 VFB2-SAGA 三种新算法,助力多方协同训练模型并且不透露数据隐衷,并在肯定水平上破解垂直联邦学习算法不够高效的难点。

基于反向更新的双层异步平安垂直联邦学习

《On the Convergence of Communication-Efficient Local SGD for Federated Learning 联邦学习中高效通信的本地随机梯度算法的收敛性剖析》,在联邦学习最常常应用的模型训练算法“本地随机梯度”之外,提出一种新的高效通信分布式随机梯度算法,能够通过谬误弥补双重压缩机制,解决在联邦学习大规模模型无效训练中通信开销较大的难题,显著升高通信老本。

以时空 AI 打造智能城市操作系统  助力民生与产业倒退

在城市治理中,如何精准预测城市交通流量峰值、智能监管危化品全流程、“领导驾驶舱”实时查看城市运行全貌,这些背地撑持的都是智能城市畛域的一系列当先技术。京东科技团体外围聚焦“时空 AI”技术,此次也有论文入选 AAAI 2021。如《Traffic Flow Forecasting with Spatial-Temporal Graph Diffusion Network 基于时空图扩散模型的交通流量预测》,设计了一种基于异构图神经网络的深度学习模型, 别离从工夫和空间上对不同区域的流量信息进行建模。相较于现有仅思考部分空间关系的流量预测算法有肯定优越性, 能够实现整个城市不同区域更加准确的预测后果。

此外,《Robust Spatio-Temporal Purchase Prediction via Deep Meta Learning 基于深度元学习的鲁棒时空销量预测》,提出了时空元学习预测(STMP)模型,用于批发行业在购物节期间的销量预测。STMP 是基于元学习的时空多任务深度生成模型,采纳具备大量学习能力的元学习框架来捕捉销量数据的时空示意。而后,生成模块应用提取的时空示意和以后的销量数据来推断预测后果,从而助力商家基于爆发式销量的预测提前做好充分准备。

值得注意的是,京东科技团体推出的智能城市操作系统,实际上蕴含了时空数据引擎、以时空 AI 为外围的时空智能引擎、基于联邦学习的数字网关技术以及莫奈可视化平台等诸多前沿科技,能够让城市中海量数据高效、平安“对话”,AI 算法模块化输入。以“时空大数据引擎”为例,“智能城市操作系统”的实现处理速度相比传统数据平台要快 10—100 倍,并且还一直迭代;依靠时空智能引擎,以前一个 20 人团队做空气质量剖析和预测 AI 模型开发须要破费两年工夫。当初,“智能城市操作系统”只须要一个人花两天工夫即可实现,极大升高了人工智能开发成本。

在一系列技术利用下,京东科技团体的智能城市操作系统在雄安落地为块数据平台,成为雄安新区城市大数据资源核心的理论载体;基于京东科技团体“智能城市操作系统”,江苏省南通市也建成了全国首个市域治理现代化指挥核心,汇聚南通市 75 个部门数十亿量级的数据。全南通市交通运行、公共安全、环境污染等状况都在一张大屏幕上实时出现,从而实现一屏统览。

序列举荐、社交举荐让营销服务更精准

如何基于用户已有的行为标签,为其举荐真正须要的商品智能化服务,进行千人千面的智能营销?这背地则是举荐算法。京东科技团体此次围绕举荐方向亦有论文入选 AAAI 2021。

现有基于会话的序列举荐算法目前被广泛应用,但它仅仅只是思考了每个会话内商品的点击转换模式,疏忽了不同会话间商品的潜在关联性。为了解决当初算法的缺点,论文《Graph-Enhanced Multi-Task Learning of Multi-Level Transition Dynamics for Session-based Recommendation 基于图模式加强多任务学习的会话序列举荐零碎》提出了一种基于图模式加强多任务学习的框架,使用异构的注意力机制对每个会话内的商品转换模式进行学习,来实现基于会话的序列举荐;还引入了逾越不同会话的图学习模型,在商品的表征学习中减少了其全局关系的建模,因而能够实现对商品的短期以及长期序列关系同时进行学习。

基于图模式加强多任务学习的会话序列举荐零碎

论文《Knowledge-aware Coupled Graph Neural Network for Social Recommendation 基于常识关系的联结图神经网络的社交举荐零碎》则是在社交举荐场景中引入商品的关系,并提出了一种基于常识关系的联结图神经网络模型,从而学习到更加准确的用户偏好,能够在肯定水平上缓解稠密用户在举荐中带来的影响,以加强举荐模型的鲁棒性。

在计算机视觉的底层技术能力畛域,京东科技团体围绕图像生成、点云数据语义宰割、自监督视频特色学习、跨模态预训练等畛域,有多篇论文入选。《Exploiting Relationship for Complex-scene Image Generation 基于关系语义的多物体图像生成》首次提出利用关系信息领导多物体图像生成,通过原创的关联物体间空间布局以语义合理性束缚,大幅晋升从简单文本场景图端到端生成单幅图像的品质;《SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning 基于序列监督信息的视频特色自监督学习算法》在国内上晚期利用比照学习进行视频自监督特色学习,同时引入视频帧外部,视频帧之间以及视频帧程序的自监督信息实现视频特色的预训练,达到优于基于 ImageNet 有监督预训练的成果,晋升了模型泛化能力;《Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network 基于解耦型编解码网络和策略采样机制的跨模态预训练算法》提出首个解耦的“二对二”跨模态预训练网络结构,利用后端两个解耦的 Transformer 构造实现了同时服务于跨模态了解和生成的预训练技术。

此外,在风控畛域京东科技团体也有论文入选,《The Causal Learning of Retail Delinquency 生产守约场景的因果学习》探讨了额度对用户危险的因果效应办法,通过前沿的双重机器学习,克服了现有数据中的“幸存者偏差”问题,结构出可能反映“策略——危险”因果关系的无偏估计量,促成风险管理与机器学习实践更深地联合,帮忙信贷机构制订更迷信的授信策略。

事实上,截至 2021 年 1 月,京东科技团体在 AAAI、IJCAI、CVPR、KDD、NeurIPS、ICML、ACL、ICASSP 等国内 AI 顶级会议上共发表相干论文近 350 篇,并已在多项国际性学术赛事中斩获 19 项世界第一,在机器学习、计算机视觉、语音与自然语言解决等畛域均获得钻研冲破;与此同时,京东科技团体重视技术人才的造就,与美国斯坦福大学、中国科技大学等多所国内外高校单干建设人工智能实验室,并充沛开展产学研一体化实际。

欢送点击【京东科技 】,理解开发者社区

更多精彩技术实际与独家干货解析

欢送关注【京东科技开发者】公众号

退出移动版