7 月 6 日,2023 世界人工智能大会(WAIC)在上海世博核心揭幕,泛滥专家学者、科技领军人才、企业代表独特探讨人工智能赋能产业倒退的全新变动,瞻望技术新趋势。百度首席技术官、深度学习技术及利用国家工程钻研核心主任王海峰解读文心大模型 3.5 版核心技术,公布飞桨生态最新进展,论述人工智能产业模式,为人工智能技术及产业最新发声。
飞桨已凝聚 750 万名开发者,文心 3.5 成果晋升 50%,推理速度晋升 30 倍
以后,以大语言模型为代表的人工智能技术在寰球掀起科技和产业翻新浪潮,减速产业降级和经济增长,各行各业都将产生巨大变化。IT 技术栈产生根本性扭转,从芯片、操作系统和利用三层架构,转变为芯片、框架、模型、利用四层架构。深度学习框架和大模型形成了产业智能化基座,将撑持各行各业的利用智能化重构,促成经济高质量倒退。据理解,百度在人工智能四层技术栈均有布局和当先的自研技术,尤其在位于四层架构外围的框架层和模型层。文心大模型的最新成绩,也得益于飞桨深度学习平台和文心的联结优化。飞桨是我国第一个自主研发的产业级深度学习开源开放平台,在中国深度学习平台综合市场份额上间断两年位居第一。王海峰现场走漏,截至目前飞桨已凝聚 750 万名开发者,这也是百度 2023 年以来首次对外披露飞桨生态最新数据。
百度自 2019 年 3 月文心大模型公布 1.0 版后,历经四年技术深耕和研发迭代,现已降级到文心大模型 3.5。王海峰示意,文心大模型 3.5 成果、性能、性能全面晋升,实现了根底模型降级、精调技术创新、知识点加强、逻辑推理加强等,模型成果晋升 50%,训练速度晋升 2 倍,推理速度晋升 30 倍。
核心技术继续冲破,成果和效率齐跃升
往年 3 月,百度在寰球大型科技公司中第一个公布了大语言模型文心一言。文心一言是常识加强的大语言模型,首先从数万亿数据和数千亿常识中交融学习失去预训练大模型,在此基础上采纳有监督精调、人类反馈的强化学习和提醒等技术,并具备常识加强、检索加强和对话加强等技术劣势。
王海峰解读了文心大模型 3.5 的外围技术创新,在根底模型训练上,采纳了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采纳多种策略优化数据源及数据分布,放慢了模型迭代速度,显著晋升了模型成果和安全性。同时,翻新了多类型多阶段有监督精调、多层次多粒度处分模型、多损失函数混合优化策略、双飞轮联合的模型优化等技术,进一步晋升模型成果及场景适配能力。在常识加强和检索加强根底上,文心大模型 3.5 提出了“知识点加强技术”,对用户输出的查问、问题等进行剖析了解,解析出生成答案所须要的相干知识点,之后使用常识图谱和搜索引擎为这些知识点找到相应答案,最初再用这些知识点结构输出给大模型的提醒,为大模型注入更具体、更具体、更业余的知识点,显著晋升大模型对世界常识的把握和使用。在推理方面,通过大规模逻辑数据构建、逻辑常识建模、多粒度语义常识组合以及符号神经网络技术,晋升文心大模型 3.5 在逻辑推理、数学计算及代码生成等工作上的体现。
新增插件机制,拓展大模型能力边界
文心大模型 3.5 新增了插件机制,文心一言曾经于 6 月 17 日对外公布官网插件百度搜寻和 ChatFile。百度搜寻是默认的内置插件,使得文心一言具备生成实时精确信息的能力。ChatFile 是长文本摘要和问答插件,反对超长文本输出。王海峰示意,文心一言将公布更多优质的百度官网和第三方插件,让用户可能更好地应用文心大模型,同时也将逐渐凋谢插件生态,帮忙开发者基于文心大模型打造本人的利用。
广泛应用于各类场景,减速产业智能化降级
现场王海峰展示了文心一言在办公、会议、编码等场景的利用,文心一言成为工作中的“超级助理”,帮忙总结工作沟通要点,实时记录会议内容,造成会议议题、摘要及总结等要害信息,能够通过各类插件实现指令工作,包含查问日程、创立会议、设置待办、申请休假等,也能够在工程师编码过程中主动举荐和生成代码。据悉,目前这些性能已通过智能工作平台“如流”利用于百度的工作流程中,帮忙晋升工作效率,进步决策品质。王海峰示意,但凡要跟语言文字或程序代码打交道的利用场景,都可能有文心一言的用武之地。曾经有很多在踊跃应用文心一言的场景,例如能源、金融、教育、办公、媒体,等等。在文心一言这类大模型产业落地的过程中,能够采纳“集约化生产,平台化利用”的模式,即具备算法、算力和数据综合劣势的企业将模型生产的简单过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务。