3 月 16 日,百度在北京总部召开新闻发布会,百度创始人、董事长兼首席执行官李彦宏和百度首席技术官王海峰缺席,李彦宏展现了新一代常识加强大语言模型文心一言在文学创作、商业文案创作、数理逻辑推算、中文了解、多模态生成五个应用场景中的综合能力,王海峰解读了文心一言的技术个性及其背地的技术积攒。
01 厚积薄发,长期技术积攒构建全栈 AI 技术
在人工智能时代,IT 技术栈可分为“芯片层、框架层、模型层、应用层”四层,百度自 2010 年起开始全面布局人工智能,是寰球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到利用,百度在技术栈的各层都有当先业界的要害自研技术,实现了层与层反馈,端到端优化,大幅晋升效率。
在框架层,飞桨是百度自主研发的中国首个开源凋谢的产业级深度学习平台,包含外围框架、产业级模型库、开发套件、工具组件,以及学习和实训社区,可能标准化、自动化地撑持模型生产和利用。在模型层,文心大模型包含 NLP、CV、跨模态等根底大模型,对话、跨语言、搜寻、信息抽取等工作大模型,生物计算畛域大模型,行业大模型,以及撑持大模型利用的工具平台,造成了根底 - 工作 - 行业三级大模型技术体系,具备常识加强和产业级两大特色。
王海峰认为,文心一言是百度多年技术积攒和产业实际的瓜熟蒂落,尤其是飞桨深度学习平台和文心大模型的联结优化,为文心一言提供了松软的技术撑持。飞桨无效撑持了大模型的灵便开发、高效训练和推理部署。文心大模型从 2019 年公布以来,曾经从最后的自然语言了解大模型,倒退成了跨语言、跨模态、跨工作、跨行业的能力齐备的大模型平台。
02 核心技术加持,新一代常识加强大语言模型瓜熟蒂落
文心一言是新一代常识加强大语言模型,也是百度继文心一格之后的又一个生成式 AI 产品,具备对话交互、内容创作、常识推理、多模态生成等能力。王海峰示意,新一代常识加强大语言模型文心一言,是在 ERNIE 及 PLATO 系列模型的根底上研发的。它的关键技术包含有监督精调、人类反馈的强化学习、提醒、常识加强、检索加强和对话加强。前三项是这类大语言模型都会采纳的技术,ERNIE 和 PLATO 中曾经有利用和积攒,在文心一言中又有了进一步强化和打磨;后三项则是百度已有技术劣势的再翻新,也是文心一言将来越来越弱小的根底。
在 常识加强方面,文心一言的常识加强次要是通过常识内化和常识外用两种形式。常识内化,是从大规模常识和无标注数据中,基于语义单元学习,利用常识结构训练数据,将常识学习到模型参数中;常识外用,是引入内部多源异构常识,做常识推理、提醒构建等等。
在 检索加强方面,文心一言的检索加强,来自以语义了解与语义匹配为核心技术的新一代搜寻架构。通过引入搜寻后果,能够为大模型提供时效性强、准确率高的参考信息,更好地满足用户需要。
在 对话加强方面,基于对话技术和利用积攒,文心一言具备记忆机制、上下文了解和对话布局能力,实现更好的对话连贯性、合理性和逻辑性。
百度构建了面向中文、服务利用、富含常识的多样化训练数据,对文心一言进行有监督精调,使其把握的常识更精准,更懂中文和利用场景,并建设起人类反馈、处分模型和策略优化之间的飞轮机制,随着实在用户的反馈越来越多,文心一言的成果会越来越好,能力越来越强。文心一言交融不同类型数据和常识,主动结构提醒,包含实例、提纲、标准、知识点和思维链等,提供了丰盛的参考信息,激发模型相干常识,生成高质量后果。
王海峰强调,飞桨深度学习平台撑持文心一言成果更好、效率更高、性能更强。对于开发训练,飞桨动静对立的开发范式,以及自适应分布式架构,能够实现大模型的灵便开发和高效训练。在推理部署方面,飞桨反对大模型高效推理,并提供服务化部署能力,包含计算交融、软硬协同的稠密量化、模型压缩等等。现在,飞桨平台已凝聚 535 万开发者,服务 20 万企事业单位,基于飞桨创立了 67 万个模型。
文心大模型加上飞桨深度学习平台,夯实了产业智能化基座。随着文心一言与飞桨平台的进一步交融倒退,人工智能技术和利用的研发将越来越标准化、自动化和模块化,减速人工智能的工业大生产,同时也反哺文心一言减速迭代进化,落地更多场景和行业,为千行百业智能化降级带来不竭能源。