近年来，人工智能 (AI) 在波及繁多模态如语音、自然语言和视觉等畛域，获得了重大突破。在繁多模态的工作上，如物体辨认、语音辨认、机器翻译等，AI 零碎在特定数据集上的体现程度与人类相当。随着单模态人工智能潜在问题的解决，钻研人员意识到更高层次的 AI 工作往往波及到跨多种模式的更简单的信息处理。同时，局限于繁多模态的钻研往往不能充分利用跨模态信息。因而，钻研多模态建模与学习办法具备重要的意义。
在近期举办的国内自然语言解决与中文计算会议 (NLPCC 2020) 上, 京东智联云举办了第一届“多模态自然语言解决研讨会”。该研讨会邀请了多位学术大咖进行学术分享，吸引了自然语言解决、多模态、图像处理等多畛域泛滥学者参加。各位学者就跨语言跨模态信息处理、多模态预训练、AI 与艺术、视觉与语言交互、多模态对话零碎等畛域的钻研热点和技术利用展开讨论，反应热烈。
多模态已成为新闻报道和信息交换的次要出现模式，多模态主动摘要技术，旨在利用计算机主动实现从多个模态的信息中压缩生成摘要的过程，能够广泛应用于新闻推送和电商举荐等多个畛域。
在本次研讨会中，来自中科院自动化所的研究员张家俊老师，为大家介绍其所在的课题组近年来在多模态摘要办法和评估等方面的研究进展。张老师重点介绍了异源多模态摘要生成的钻研办法变迁：从抽取式办法到生成式办法，再到目前融入多模态注意力机制的图文式摘要生成办法等。同时，张老师也介绍了多模态主动摘要的主动评估办法: 综合思考文本和图片重要性以及文本图片相关性更加贴近人工打分。
▲以上是张家俊老师分享局部 PPT，残缺 50 页 PPT，关注公众号在后盾回复“NLPCC”，获取下载链接▲
预训练模型的呈现，使自然语言解决由原来的手工调参、依附机器学习专家的阶段，进入到能够大规模、可复制的大工业施展阶段。此阶段基于预训练模型 + 微调机制，具备很高的可扩展性，展现出很高后劲。而以后钻研也从繁多语言扩大到多模态。
微软亚洲研究院的高级研究员段楠博士为大家介绍了多模态预训练模型的最新研究进展。他首先回顾典型的预训练模型。随后，重点介绍 3 种最新的多模态预训练模型：Unicoder 次要利用于跨语言的语言了解和生成工作；Unicoder VL 专一于视频语言工作，对视频片段和对应的自然语言形容进行联结建模；CodeBERT 则关注在代码语言工作的。段博士也和与会学者一起探讨以后多模态预训练的问题和可能的将来方向。
▲以上是段楠博士分享局部 PPT，残缺 40 页 PPT，关注公众号在后盾回复“NLPCC”，获取下载链接▲
“AI+ 艺术是一个跨界畛域。艺术家的想象力往往启发着科学家的创造力，而在 AI 时代，艺术家用人工智能机器学习相干技术来创作艺术，表白本人的想法和概念，设计师用神经网络模型发明本人的设计工具和助手。”
清华大学将来实验室博士后顶峰分享了 AI 技术在艺术与设计畛域的创新性利用。其团队开发的道子智能绘画零碎，利用计算机将天然图像以格调迁徙的形式转变成艺术图像，依据所得艺术图像进行水墨画绘作，实现技术与艺术间的跨界交融。高博士也介绍了道子在服装设计、工业设计、安装艺术等畛域的摸索成绩。
多模态智能剖析是近期的钻研热点。来自北航的刘偲传授围绕视觉和语言的交互介绍两方面的内容进行了分享。她首先介绍了视觉关系检测的钻研，包含人 - 物关系检测，人 - 物关系宰割，视频关系检测等方面的内容。其次，她指出视觉指代表达和指代宰割，对于智能机器人和交互式图像编辑等理论利用有重要意义。传统的视觉指代表达方法采纳两阶段式架构，模型简单且速度受限，而传统的指代宰割办法聚焦于多模态特色交融，不足利用语言信息进行上下文建模和推理的能力。在本次探讨中，她给出了针对性的解决办法。
▲以上是刘偲传授分享的局部 PPT，残缺 43 页 PPT，关注公众号在后盾回复“NLPCC”，获取下载链接▲
对话零碎始终是自然语言了解畛域一个重要的钻研内容，它能够使人们更便捷的与机器进行交互，而多模态的对话零碎是十分重要的一个钻研方向。
安全寿险 AI 研发团队的杨海钦博士，分享了多模态对话零碎在安全人寿的各种场景的利用，包含保单回访服务和视频柜员客服等。在本次讲座中，杨博士重点介绍多模态对话零碎的外围和翻新技术，理论部署教训以及如何利用该零碎来升高经营老本，同时减少用户体验。
▲以上是杨海钦博士分享的局部 PPT，残缺 44 页 PPT，关注公众号后盾回复“NLPCC”，获取下载链接▲
此次 NLPCC 会议中，京东智联云胜利举办了第一届“多模态自然语言解决研讨会”，吸引泛滥参会学者的积极参与和热烈探讨。同时京东 AI 研究院 NLP 算法科学家吴友政博士受大会邀请作“智能人机交互及其利用”的主题分享。另外京东 AI 研究院一篇论文《Enhancing Multi-turn Dialogue Modeling with Intent Information for E-Commerce Customer Service》被大会收录并进行口头汇报。开发者社区将会在之后对该论文进行深度解读，敬请期待！
如何获取 PPT 资源？
扫描下方二维码
关注“京东智联云开发者“公众号
在微信公众号对话框中回复
“NLPCC”
即可获取！
如果这份资源帮到了您，不要遗记将本篇文章分享给您的小伙伴噢～
举荐浏览：
- 下笔如有神：这是一个基于营销行业的 AI 技术实际
- FASTREID：首个产业级通用指标重辨认开源库
- ACL 2020 论文解读
欢送点击 【京东智联云】，理解开发者社区