春节档电影《你好,李焕英》大火,截至目前实时总票房已冲破 50 亿。这部电影除了为亿万观众带去了欢声笑语外,正如这部电影的译名《HI,MOM》所表白,大家也被影片中真挚的母女情所感动,小编更是在电影院哭湿了口罩。
女儿贾晓玲(贾玲 饰)意外穿越时空,与年老时的妈妈李焕英(张小斐 饰)相遇,补救了本人想让母亲更加高兴幸福的遗憾。而在科技飞速发展的明天,借助技术手段,这样的遗憾与怀念不必只停留在设想与艺术作品中,贾晓玲无需回过来,就能帮忙妈妈李焕英穿梭将来,在 2021 年“重聚”。
那么,这样“逾越时空”的对话真能实现?这些背地又有怎么的技术撑持?影片中最为精彩的父女画面,到底得有多像?明天小编就为大家,揭开这层“将来”技术的神秘面纱。
逾越时空的对话:
智能语音技术带李焕英穿梭将来
在《你好,李焕英》中,贾晓玲穿越时空,与年老的母亲来了一场超时空对话。现如今,除了电话、语音、视频等通信形式能拉近地区上的间隔,逾越时空的对话也从某种意义上成为事实。
2020 年,一部韩国的纪录片《I Met You》就记录了这样一个“重聚”场景。一位失去女儿的母亲在 VR 技术的反对下,与本人已经逝去的女儿“重逢”。为了力求实在牢靠的数据,技术人员引入了 AI 语音合成技术,让这个虚构人物可能收回和女儿已经一样的声音,并能与母亲进行互动与交换。
以上这样的定制化语音交互零碎,到底是如何实现的呢?以京东语音合成声音定制服务 & 闲聊为例。首先,咱们能够把这个场景拆分 语音合成声音定制 (让虚构人物能收回女儿已经一样的声音)与 凋谢场景对话能力(虚构女儿能与母亲进行互动与交换)。
通常智能对话能力的实现,次要由语音交互零碎三个次要流程组成:
- 语音辨认:将原始的语音信号转换成文本信息(ASR),并将辨认进去的文本信息转换为机器能够了解的语义示意(NLU)。简略来说,就是让机器能够听到人话;
- 自然语言了解:基于语义示意进去的对话的状态,对对话进行了解(DM),判断零碎应该采取什么零碎动作。这里的动作能够了解为,机器须要向你表白什么意思;
- 语音合成:将零碎动作转变成自然语言文本(NLG),并将其变成语音输入给用户(TTS)。
上图所示为语音交互零碎的整体流程,大家能更清晰地看到每个模块的输入输出,以及各模块之间的协作关系。其中,NLU 是十分重要的模块之一。NLU 的指标是将文本信息转换为可被机器解决的语义示意。其涵盖畛域十分宽泛,包含句子检测,分词,词性标注,句法分析,文本分类 / 聚类,文字角度,信息抽取 / 主动摘要,机器翻译,主动问答,文本生成等多个畛域。
但和基于规定的 NLU 相比,人类对话与对话零碎一个重要区别是它是否与事实相结合。基于京东 NLP 引擎能力、数据运算能力和千亿级互联网语料数据的反对,京东闲聊集成了较强的凋谢场景对话能力,剖析并了解用户对于凋谢场景的发问,可通过联合内部知识库来补救对话零碎与人类之间背景常识差距的办法,生成晦涩且个性化的回复,实现用户语音交换的需要。
然而,智能语音对话的“身材”有了,定制化声音的“灵魂”又该如何实现?
语音合成声音定制简略来看次要分为三步:上传指定内容语音文件;进行语音合成模型训练;应用模型进行语音合成。
从下图的 AI 的架构来了解,首先通过根底层语音信号的采集、降噪等预处理;其次在技术层通过对原始语音信号的特色进行抽取,由原始的语音失去语音向量。再应用声学模型和字典、语言模型对语音向量进行解码搜寻;最初,对辨认后果进行应用层的输入。
京东语音合成声音定制服务,就可基于深度学习技术,仅需上传大量音频数据,即可实现专属语音音色的合成,疾速赋予产品个性化声音形象,在智能客服、有声浏览、有声导航等场景上利用广泛。
目前,京东的语音合成技术曾经在京东读书,京东京鱼座 AI 音箱等产品,以及语音智能客服机器人等更加简单的场景落地。小编始终记得这样一个事例中的一句话:“一下吃完一整瓶还能活着吗?”这是来自 2020 年初,一位用户在京东上征询智能情感客服时留下了这样的话。
2020 年初,一位用户在京东购买药品在线征询时触发了京东云智能情感客服的预警,原因是内容含有极其情绪化的因素,预警发了危机专员的染指,联合该用户购买的药品剂量,推断其存在轻生偏向,通过危机专员妥善处理,防止了喜剧的产生。这是一场因科技实现的援救口头,主导整个口头的是京东云的智能情感客服。作为业界首个大规模商用的情感机器人,这支科技“生命通道”也防止了屡次喜剧的产生,用科技的和煦解救了一个个鲜活的生命和家庭。
到底跟谁最像?
FastReID 揭秘贾玲与父母的类似度
(小编情谊揭示:以下内容波及剧透,请“审慎”观看哟)
电影《你好,李焕英》中贾晓玲穿梭到了 1981 年,在妈妈还是个少女的年代里,贾晓玲本想凭借本人的致力让妈妈改变命运,心愿帮忙妈妈嫁给体面人,过上体面又自豪的生存。但最终,李焕英因为对女儿的爱,仍然抉择了与贾晓玲的父亲结婚,将来仍能成为贾晓玲的妈妈。
不过,大家的确都没有想到,影片最大的亮点莫过于贾晓玲的爸爸扮演者乔杉的呈现。置信坐在电影院里看《你好,李焕英》的观众敌人们都收回了“哇”的惊叹,小编过后也跟着笑弯了腰,心里 OS:“咋能这么像哈哈哈,太会选演员了吧!”
只管乔杉在整部影片里就像最初彩蛋一样只呈现了很短的镜头,然而大家还是可能感触到他和贾玲两个人之间眉眼间的神似感觉,特地是眯着眼笑的时候。但回归事实,贾玲到底更像爸爸还是更像妈妈呢?
小编求助了京东 AI 研究院通用指标重辨认开源库 FastReID 的研发小哥哥,想从技术谨严的角度来比照贾玲与父母的类似度,返回后果如下:
从返回的计算结果看来,贾玲和妈妈的类似度为 63%,跟爸爸的类似度为 15%,果然贾玲跟妈妈还是要更像一些!
这时你或者想问,跟乔杉的类似度 … 哦不,这个类似度的后果到底是如何计算的?这背地的技术还是要归功于 FastReID 弱小的特征分析能力。
FastReID 训练框架为类似度计算模型的疾速训练和部署提供了弱小后盾,模型整体的高效实现可能帮忙咱们在收集的数据集上,进行疾速的训练和调参,并取得一个能够间接部署的模型。通过后续的主动部署管线,能够将模型部署到一个 web service 上。这时,咱们只需将贾玲与其父母的人物图片送到训练好的网络当中,对人物特色进行提取和剖析。获取人物特色之后,通过特色之前的余弦类似度,就能够得悉贾玲到底像谁了。
至于贾玲与乔杉的类似度嘛,能够给大家留个悬念,感兴趣的敌人能够在咱们 FastReID 开源库上部署模型进行计算。
*GitHub 链接:
https://github.com/JDAI-CV/fa…
那么,上述后果的“幕后功臣”FastReID 到底是啥?FastReID 是京东 AI 研究院,于 2020 年 6 月公布的基于 PyTorch 的通用指标重辨认(ReID)开源库。
现如今,ReID(通用指标重辨认)技术往往被利用到不同规模的特定指标轨迹剖析上,这就会导致系统解决的数据规模疾速成倍的增长,模型的推理速度变慢,最终使得 ReID 算法的性能不能被齐全施展。此外,ReID 畛域中的学术研究与工程模型部署存在着较大的差距,代码对齐问题使得学术研究成绩很难间接转化为可落地的产品,限度其在大规模商业化场景中的利用。
基于此,参照 Detectron2 的整体概念和设计哲学,FastReID 设计成了一个高度模块化和可拓展的架构,从而能够让钻研人员疾速的实现新的 idea;更重要的是,该框架敌对的管理系统配置和工程部署函数能够让工程师疾速的部署它。FastReID 开源库可针对 ReID 工作提供残缺的工具箱,包含模型训练、模型评估、模型部署等模块,并且实现了在多个工作中性能当先的模型。
此外,FastReID 还广泛应用于行人 / 车辆重辨认、野生动物爱护、拍照购物、无人超市等利用中。其中包含许多人们日常接触的利用,比方搜寻电视剧中感兴趣的演员的视频、从监控视频中搜寻商场中走失的孩子、从城市监控零碎中搜寻可疑车辆的视频、商品溯源防伪等,甚至在生态环境保护畛域中还可用户东北虎爱护等家养濒危动物的爱护的利用。
结语
无论是实现本人宿愿的贾晓玲,还是默默守护的李焕英,孝心可鉴,母爱平凡。明天咱们用 AI 技术把“李焕英”带回 2021 感触科技温度,而京东科技在保持科技引领,助力寰球产业数字化降级,并推动实体经济高质量倒退的使命的同时,始终深信科技力量可能塑造更和煦、更美妙的世界!
最初,在这个非凡的日子里,祝全国姐妹们节日快乐,永远爱你们!❤️
举荐浏览
- 重大更新!一文理解京东通用指标重辨认开源库 FastReID V1.0
- 对话京东科技算法科学家吴友政:回望 2020,NLP 技术倒退速度强劲
- 东智能客服品牌焕新:“言犀”亮相 2020 京东 JDD 大会
欢送点击【京东科技】,理解开发者社区
更多精彩技术实际与独家干货解析
欢送关注【京东科技开发者】公众号