共计 1517 个字符,预计需要花费 4 分钟才能阅读完成。
8 月 16 日,由深度学习技术及利用国家工程钻研核心主办的 WAVE SUMMIT 深度学习开发者大会 2023 在北京举办。百度首席技术官、深度学习技术及利用国家工程钻研核心主任王海峰做了主题演讲。王海峰首次对外示意,大语言模型具备了了解、生成、逻辑、记忆等人工智能的外围根底能力,为通用人工智能带来曙光。
飞桨开发者数已达 800 万
模型数超 80 万
WAVE SUMMIT 深度学习开发者大会始于 2019 年 4 月。王海峰在首届大会上提出,深度学习具备很强的通用性,并具备标准化、自动化和模块化的工业大生产特色,推动人工智能进入工业大生产阶段。四年来,深度学习技术和利用的倒退充沛验证了这一观点。深度学习技术的通用性越来越强,深度学习平台的标准化、自动化和模块化特色越来越显著,而预训练大模型的衰亡,使得人工智能利用的深度和广度进一步拓展。人工智能已进入工业大生产阶段。
标准化方面,框架和模型联结优化,多硬件对立适配,利用模式简洁高效,大幅升高人工智能利用门槛;自动化方面,从训练、适配,到推理部署,晋升人工智能研发全流程效率;模块化方面,丰盛的产业级模型库,撑持人工智能在宽泛场景的便捷利用。
据理解,得益于飞桨产业级深度学习开源开放平台和文心大模型的互相促进,飞桨生态更加凋敝,已 凝聚 800 万开发者,服务 22 万家企事业单位,基于飞桨创立了 80 万个模型。 王海峰阐释了飞桨开发者社区 AI Studio 中文名“星河社区”的隽永含意,“文心加飞桨,翩然赴星河”。和所有的开发者一起,在飞桨和文心的加持下,共建星河社区,共赴通用人工智能的星辰大海。
大语言模型为通用人工智能带来曙光
王海峰示意,人工智能具备多种典型能力,了解、生成、逻辑、记忆是其中的外围根底能力,这四项能力越强,越靠近通用人工智能,而大语言模型具备了这四项能力,为通用人工智能带来曙光。
具体而言,人工智能的典型能力如创作、编程、解题、布局等都依赖于了解、生成、逻辑、记忆等外围根底能力,依赖水平有所不同。以解题为例,从读懂题目、解答题目到最初写出答案,须要了解、记忆、逻辑及生成能力的综合使用。
如何取得这些能力呢?以文心一言为例,首先从数万亿数据和数千亿常识中交融学习失去预训练大模型,在此基础上采纳有监督精调、人类反馈的强化学习和提醒等技术,并具备常识加强、检索加强和对话加强等技术劣势。
进一步地,通过多种策略优化数据源及数据分布、根底模型长文建模、多类型多阶段有监督精调、多任务自适应有监督精调、多层次多粒度处分模型等技术创新,全面晋升根底通用能力。在检索加强和常识加强的根底上,通过知识点加强,晋升对世界常识的把握和使用;通过大规模逻辑数据构建、逻辑常识建模、多粒度语义常识组合以及符号神经网络,晋升逻辑能力;通过构建数据、内容、模型和系统安全的全面平安体系,保障大模型的安全性。
效率方面,通过飞桨端到端自适应混合并行训练技术以及压缩、推理、服务部署的协同优化,文心大模型训练速度达到原来的 3 倍,推理速度达到原来的 30 多倍。
利用方面,通过数据驱动、提醒构建,以及插件加强进行场景适配,协同优化。文心一言已上线百度搜寻、览卷文档、E 言易图、说图解画、一镜流影五大插件,使模型具备生成实时精确信息、长文本摘要和问答、数据洞察和图表制作、基于图片的创作和问答、文生视频等能力。插件机制扩大了大模型能力边界,更适应场景须要。王海峰示意,将来百度将与开发者共建插件生态,共享技术创新成绩。
以大语言模型为代表的人工智能正在深刻千行百业,减速产业降级和经济增长。在这个过程中,技术创新和利用落地造成良性循环,了解、生成、逻辑、记忆等能力继续晋升,产业利用的广度和深度继续拓展,大语言模型为通用人工智能带来曙光。