共计 3860 个字符，预计需要花费 10 分钟才能阅读完成。
| 嘉宾：吴友政，京东团体高级总监、京东科技语音语言算法部负责人。
2006 年中科院自博士毕业后，先后在日本国立信息通信钻研机构、英国爱丁堡大学、索尼中国研究院从事自然语言解决相干钻研工作，次要聚焦自然语言解决、人机对话、语音辨认、机器翻译等前沿技术钻研和产品研发，获得了诸多技术冲破，累计发表顶级国内会议和期刊论文 30 余篇，斩取得语音辨认（IWSLT2012、IWSLT2013）和自然语言解决（QuAC2021，DROP2022，Multiwoz2022）畛域多项国内较量的冠军。
在京东，他与团队密切合作打造了言犀人工智能利用平台，为客户提供涵盖客户服务、营销导购、流程自动化的整体智能化解决方案，为京东超 5.8 亿用户提供智能服务，也为批发、政务、金融、交通等行业提供产品与解决方案，京东团体最高奖【技术金牛奖】获得者。
Q1：对话式 AI 技术是什么？
吴友政：人机对话零碎是通过对话式 AI 的技术，去解决公众用户和计算机之间的交换阻碍问题。咱们能够从这 4 个维度对对话零碎进行一些分类，比如说从交互方式的维度，咱们的对话零碎能够是基于自然语言的交互方式，也能够是基于命令行的交互方式，当然在手机上咱们也能够通过触摸屏的形式实现和咱们的手机之间的天然的交互。
如果从交互模态上进行分类的话，咱们的交互能够是基于文本的，也能够是基于语音的。
当然多模态的交互方式也是十分重要的一种交互方式。如果从交互设施上来看的话，咱们和机器之间的交互能够是在电脑上进行，也能够从手机上进行，然而车载的对话零碎也是十分重要的交互方式，还包含咱们在一些 AR VR 的设施上，通过对话的形式实现和设施之间的对话交互。从交互的主动性来看的话，能够是零碎主导对话，当然也能够是用户主导的对话，甚至是零碎和用户之间轮流主导的对话。
其实对话技术的倒退历史是比拟久的，从 1966 年第一个人机对话零碎 ELIZA 公布至今，对话技术曾经经验了靠近六七十年的倒退历程，ELIZA 是 MIT 人工智能实验室在 1966 年公布的对于心理咨询方面的人机对话零碎，前面每一段时间都会推出一些有代表性的推动对话技术倒退的数据集，包含 1990 年的 atis 这个数据集，前面还有 multiwoz 的数据集，这些数据集的公布都大大的推动了对话技术的倒退。
从利用层面咱们也看到了很多里程碑式的对话零碎，像 2011 年 IBM 的 Watson 对话零碎，在益智类的较量中击败了人类，取得了冠军，前面还包含像苹果的 Siri 的对话零碎，以及像亚马逊的 echo 的音响助手，以及咱们在往年的 11 月份看到了 Open AI 公布的 ChatGPT 这一系列的数据集的提出，办法的提出以及利用的公布，咱们都能够看到对话技术整个在倒退过程中十分大的一些提高。
Q2： ChatGPT能做什么？
吴友政：22 年 11 月份 OpenAI 公布的 Chat GPT 对话的零碎，后果十分让人的惊艳，在人工智能的技术畛域和产业畛域都受到了宽泛的关注，最重要的起因就是通过一个模型或者是通过一个零碎能够实现十分多的 NLP 的相干的工作。
像这里展现的，咱们能够将一句话解析成一个 SQL 的查询语言，也能够让其余 ChatGPT 去撰写一篇文章，比如说这里我给的一些指令是说能够在 acl 上发表的对于自然语言生成方面的学术论文，它就生成了包含题目、摘要、介绍、办法、后果、论断这一整篇的后果。
ChatGPT 背地的技术原理 OPenAI 还没有公布，然而 InstructGPT 是 ChatGPT 一个根底的模型。因而 InstructGPT 实际上是把很多的 NLP 工作都看成了一个语言模型，而后通过加强语言模型的能力去实现多个 NLP 的工作。加强语言模型有很多形式，包含像扭转语言模型构造，在这外面 ChatGPT 或者是 InstructGPT 采纳的是一个解码器的模型构造。
但在这里 ChatGPT 或者说 InstructGPT 所采纳的形式是从模型生成的，大量的后果中让人工去做两两比拟哪个后果会更优，而后通过这种数据去学习模型，最初实现在新的无标注数据上强化学习，让模型进一步失去优化。InstructGPT 大抵能够分成这三个阶段——
第一个是预训练的阶段，ChatGPT 整体应该是基于 GPT- 3 实现的。
第二个阶段是 fin-tuning 的阶段，就是咱们说的京条是基于肯定数量的标注数据，这外面最右边展现的步骤 1，其实就是咱们如何构建京条的数据集，以及基于京条的数据集如何去调优或者是京条咱们的模型。
第三个阶段是通过两两比拟的数据，咱们能够去训练一个处分模型叫 reward model。在第三步咱们通过 reward model，让模型在一些新的数据上，而且是无标注的数据上进行自我迭代，通过这三步来组成最初的训练模型。
ChatGPT能够实现哪些 工作 ？
最右边的表格其实列出了 ChatGPT 能够实现的工作，包含咱们生成的工作、凋谢域的问答，还包含像聊天、摘要、分类、信息抽取等十大类的工作。
但实际上在每一个大类里，其实又分很多细分的小类。比如说在生成的工作外面，其实能够写一封邮件、一封推荐信，包含生成歌词，也能够生成一些对于产品的营销文案。
简略总结 ChatGPT 的一些特点，第一个其实 ChatGPT 所带来的技术冲破，我置信大家都是认可的，但 ChatGPT 并不是短期之内研发进去的，实际上是 OpenAI 近些年一系列工作的集大成者，而且 ChatGPT 是基于十分弱小的预训练语言模型，GPT-3.5 的根底上做进去的。
另外，ChatGPT 是通过语言模型的形式解决泛滥的自然语言解决中的语言了解和生成工作，其实也让咱们看到了通用人工智能的可行性。
第三个方面其实是咱们能够看到通过减少模型参数，就是咱们让模型变得越来越大，其实是能够进步语言模型输入的晦涩度的。但如果是心愿在这个模型输入的有用的方面或者是忠实度，甚至是可信度方面要有进一步的进步，简略的去进步模型参数的大小，实际上并没有显著的晋升。咱们还须要有一些新的策略去进一步的晋升模型在这三个方面的体现。
ChatGPT 提出的计划就是通过预训练 京条 以及基于用户反馈的强化学习，去进一步晋升模型在晦涩度之外的像在有用性真实性以及咱们的可信性方面的一些性能，但这一种新的预训练加微调加基于用户反馈的强化学习，有可能成为新的 AI 的模型的形式，但咱们另一方面也看到了，其实 ChatGPT 中的很多技术也是借鉴了其余畛域的一些相干的技术，比如说借鉴了搜寻举荐畛域外面的基于用户反馈的模型的迭代，其实在举荐和搜寻畛域及用户实时反馈的模型训练，其实援用得十分成熟了。
方才说的 Reward model 实际上是借鉴了搜寻外面的 Learning to Ranking 的一些思维，另外 ChatGPT 也能够看成是一个多任务学习的模型，但同时咱们也能够看到 ChatGPT 在一些公开的 NLP 的数据集上，至多在 Zero-shot 还有 Few-sho 是这种设定上面，它的性能还有待进一步的晋升。但十分重要的就是 ChatGPT 如何利用到理论业务零碎中，对实在的业务零碎或者是产品有帮忙，这外面还有十分多的要害的技术问题须要进一步的钻研。
Q3：业内还有哪些令人惊艳的对话零碎？
吴友政：去年 11 月 Meta 公布了新的对话零碎叫 Cicero。
Cicero 不仅具备像 ChatGPT 或者是 GPT Siri 这样的语言组织能力，还须要像 AlphaGo 这样的策略推理能力。因为 Cicero 所参加的游戏是一个须要策略推理的游戏，在这个游戏中，咱们的机器人须要通过结盟、会谈、压服甚至威逼的形式达成本人的指标。
此外，从 19 年微软的 DialoGPT 是 8 亿的参数，到往年的 ChatGPT，一共有 1,500 亿整个参数量，然而大家的模型的构造其实没有特地大的差异，大部分采纳的还是单纯的解码器模型构造。
Q4： ChatGPT能间接利用到产品中去吗？
吴友政：咱们方才说到了 ChatGPT，像 cicero 还有一些其余的对话大模型，这些模型是不是能够间接利用到咱们的产品，我感觉是接下来须要大家去钻研的问题。
咱们在这里也给出了一些数据，最右边的红色数字是当初的模型，甚至是一些比拟小的模型，获得一些 Sota 的后果，有的达到了 93% 的准确率，然而咱们在 zero-shot 和 Few-shot 上所获得的成果，离以后的 Sota 还有比拟大的差距。
Q5：在对话式 AI 畛域，京东云在发展哪些工作？
吴友政：方才提到的实际上是对于在对话技术方面的一些最新的停顿，咱们在京东做的工作是怎么样把对话的技术利用到真正的产品或者是业务零碎外面，而京东实际上是有提供了十分多的人机对话的场景。。
举几个例子。
京东具备宏大的自建客服团队，仅仅在批发的场景上，咱们的全职客服就超过了 1.4 万，以及 2 万多散布在四大客服核心的兼职客服。因为京东品牌的要求，实际上客户其实对咱们的体验要求是十分高的，这也要求咱们在对话零碎这个方面提供十分靠近于人的对话交互的服务。
另外京东的全链路的客户服务波及的链路也是十分长，业务也非常复杂，包含自营的店铺，也包含多主体的店铺，业务是非常复杂的，像售中、售前售后的全链路的客户服务，波及商家十分多，波及商品也超过了 1000 多万。
全链路的客户服务场景，能让京东的技术在这些场景中进一步失去打磨。基于京东场景，咱们做了很多技术产品，服务于批发、金融、物流、衰弱、保险等行业，积淀了很多 AI 的能力，包含像语音辨认合成像对话的能力，从而进一步打磨出产品，比方文本机器人、语音应答机器人偏对话生成的数字对话产品，还有培训机器人，包含智能质检，去服务于更宽泛的咱们的客户。