百度研究院举办的系列学术交流会,邀请国内外顶尖学者走进百度,分享最新的前沿思考和技术钻研。北京工夫 2 月 23 日上午,宽广 AI 研究者和 AI 工程师们十分相熟的图灵奖得主、“深度学习三巨头之一”Yann LeCun 在百度进行了一场火爆的线上研讨会。加入报告的听众有百度宽广工程师和钻研人员,也包含世界多个畛域的出名专家学者,线上观看人数最高峰值近 1000 人。
交流会一开始,百度 CTO 王海峰代表百度致欢迎词,并回顾了 2013 年夏天 Yann LeCun 第一次来百度大厦拜访交换的情景。Yann LeCun 敏锐辨认出王海峰博士的屏幕背景正是他记忆中上地十街的百度大厦。近 10 年工夫,弹指一挥间,Yann LeCun 传授曾经成为世界最出名的深度学习学者之一,更在 2018 年取得图灵奖。
左:图灵奖得主 Yann LeCun 右:百度 CTO 王海峰
在随后的对话环节,Sanjeev Arora 博士、Li Deng 博士、Andrea Montanari 博士等与会者与 Yann LeCun 进行了互动交换。Sanjeev Arora 博士,美国科学院院士,普林斯顿计算机系传授,世界驰名实践计算机和实践机器学习学者;Li Deng 博士,加拿大工程院院士,前 Citadel 首席 AI 官,世界出名深度学习专家和后行实践者;Andrea Montanari 博士,斯坦福大学统计系传授,世界出名统计学、信息论、和深度学习实践学者。
Yann LeCun 随后开展了题为《A Path Towards Autonomous AI》的演讲。他提到,动物之所以可能疾速思考,并不是依赖于监督学习和强化学习,而是通过自监督学习(self-supervised learning)的形式从观测到的数据中获取常识,从而实现自主学习。自监督学习从数据自身获取监督信号,不依赖于标签,它的个别技术是从观测到的输出局部预测任何未观测的输出局部,例如,预测输出视频中过来的帧或将来的帧。因而自监督学习是一种预测学习(predictive learning),而这样的预测学习,其要害是对高维空间的不确定性进行建模。
Yann LeCun 指出,在基于能量模型(Energy-based model,EBM)框架下思考自监督学习,能够更好地形容不确定性,并且论述了训练 EBM 能量模型的几种策略以及如何应用能量模型来对多模态进行表白。
现在,能量模型(EBM)曾经在深度学习和计算机视觉等多个畛域失去了越来越多的利用和器重。百度研究院从 2020 年起曾经深耕基于能量的模型,在计算机视觉各个领域,譬如图片、视频、三维体素、三维点云、图片显著性检测、图片翻译等,自主研发出多种基于能量的深度学习框架来进行常识表白。除此之外,在机器学习畛域,提出多种不同的训练能量模型的算法,譬如帮助式学习(cooperative learning)、由粗到细逐渐学习(coarse-to-fine)等。科研成果发表在 CVPR、NeurIPS、ICLR、AAAI、PAMI 等世界顶级的人工智能、机器学习和计算机视觉的会议和期刊。
在行将召开的深度学习顶会 ICLR2022 会议上,百度研究员将宣讲最新发表的 EBM 相干论文《A Tale of Two Flows: Cooperative Learning of Langevin Flow and Normalizing Flow Toward Energy-Based Model》。ICLR 会议由 Yann LeCun 传授和 Yoshua Bengio 传授等人发动,自第一次会议在 2013 年举办以来,ICLR 曾经成为颇引人瞩目的机器学习顶会。最新统计数字表明,在所有的学术期刊(包含 Nature 和 Science)和会议中,ICLR 的影响力位列前十。
本次 Yann LeCun 传授在百度超过 2 个小时的钻研报告,他自己也将视频公布在他的集体社交账号上。
完整版报告视频可复制以下链接观看:
https://haokan.baidu.com/v?pd=bjh&vid=5674032770111267440&fr=bjhauthor&type=video
多年来,百度研究院保持举办常规性纯学术目标钻研报告,邀请世界出名学者前来交换。除了 Yann LeCun,2022 年春节前后,美国杜克大学前副校长、沙特国王科技大学教务副校长(Provost)Lawrence Carin 传授、加州伯克利大学 Sergey Levine 传授、微软研究院和阿姆斯特丹大学 Max Welling 等世界级专家也曾来百度进行学术交流研究。