关于百度:百度沈抖大模型-产业智能化时代的新引擎

32次阅读

共计 5794 个字符,预计需要花费 15 分钟才能阅读完成。

6 月 9 日,2023 NAVIGATE 领航者峰会在杭州举办,聚焦数字经济新政策、新技术、新业态带来的蓬勃时机,探讨 ICT 行业在 AIGC 时代将要面临的全新挑战与应答策略。百度团体执行副总裁、百度智能云事业群总裁沈抖缺席大会并作题为《大模型 产业智能化时代的新引擎》的分享。

沈抖示意,将来所有的企业都会强依赖大模型,而且所有的产品都会基于大模型来开发。 当初咱们就得做好重构产品和服务的筹备:第一,要布局新的基础设施;第二,要构建 AI 原生的思维;第三,要继续迭代、重复验证。

以下是沈抖演讲实录:

大家好,我是沈抖,来自百度。
我想大家方才都留神到了,明天大会的主题是“精耕求实,为时代赋智慧”。“精耕求实”是一种态度,“为时代赋智慧”是一个指标。咱们心中有了态度,眼中有了指标,接下来要解决的问题就是,咱们有什么样的货色能够帮忙达成这个指标?站在 2023 年,我置信大家都有了答案,那就是大模型,这也正是我明天跟大家分享的主题。
为什么当初学术界、产业界、投资界都对大模型这么热衷,因为大家都明确大模型背地意味着两件事:

第一,大模型从新定义了人机交互。 在过来几十年,人机交互产生过三次大的变动:我记得我还在读书的时候,命令行是次要的工作界面。我输出命令,它给我反馈,过后感觉效率很高,但预计当初没有人会了,因为太简单,门槛太高。起初的图形界面更简略直观,咱们用鼠标一层一层点击菜单,然而我置信大家都有这样的经验,当咱们用一些软件的时候,很多长尾的性能就藏在一层一层的菜单外面,很难发现。而当初大模型的呈现,让咱们能够用自然语言去跟计算机进行交互。比方我当初在工作中常常会问:百度智能云的产品哪些毛利率超过了疫情前?以前我须要共事帮我筹备半天,收集这样的问题。但当初因为机器可能了解我的语言,几秒钟就能够出答案。

所以每一次人机交互的变动,都会带来十分深远的影响,不仅发明了便当,更重要的是发明了很多机会,所以当前咱们跟机器之间的交互,就是用语言来表白咱们的需要,机器来了解咱们的需要,来生成内容,来调用工具,为咱们服务。

第二是在宏观层面,大模型的呈现意味着一种新的生产力正在诞生。 18 世纪 80 年代以前,世界人均 GDP 的程度始终趴在地上,始终没有什么变动。就像方才几位嘉宾,包含张维迎传授(北京大学国家倒退研究院博雅特聘传授、北大市场网络经济钻研核心主任)提到的,世界人均 GDP 就是在工业革命开始当前,才呈现了指数级的增长,而这种 GDP 的增长和技术之间的强相关性,也正好验证了咱们相熟的一段话,那就是“科技是第一生产力”。

咱们深刻来看,这几次科技反动又不尽相同。第一次蒸汽机反动和第二次电力反动,很大水平上解放了咱们的膂力;第三次信息反动,很大水平上在辅助咱们的脑力,但这时候它还是一个工具;明天以 ChatGPT 为代表的生成式 AI 代表了更高阶的能力,实际上是局部的代替咱们的脑力。正是这种起因,当初它会从根本上去扭转咱们原来做的很多事件,会扭转很多行业的格局。

然而要想做出这样的大模型其实并不容易,方才于英涛总(紫光股份董事长、新华三团体总裁兼首席执行官)也重复提到,咱们须要数据、算力、算法等。的确,数据、算力、学习机制,是咱们做成的必备因素。

>> 首先是大数据, 就像人生下来不是全知全能一样,咱们也要天天学习,看很多的货色。而一个上千亿参数的大模型,咱们要想教会它,须要的数据规模会更大。咱们须要它去理解唐诗、新闻、论文、代码库等,这个数据相当于 100 万人毕生的浏览量。而且这外面只是有数据的规模还不够,还得有数据的品质。像 Open AI 在论文外面就提到,他们雇佣了大量业余的人来标数据,而这些标注人员 37% 以上都是硕士生,充分说明了数据的重要性。

>> 第二是大算力, 大算力是大模型的能源源泉,也是新华三十分善于的中央。咱们晓得,要训练一个大模型所需的计算量是由这个模型自身的规模和它所用的训练数据规模来决定的。如果咱们拿 GPT3 或者上一代的大模型为例,它每训练一次,大概须要 10 的 23 次方的计算量。如果咱们用当初比拟先进的 A100 这样的算力,每秒能够算 20 万亿次,须要 1000 片计算 100 天。假如咱们当初让全世界 80 亿人都开始敲算盘来算,须要不停地敲 100 万年。

>> 除了数据、算力,还要有好的训练方法, 就像人在学习过程中须要有老师、教育体系,给予咱们好的领导一样。实际上咱们用雷同的数据、雷同规模参数的模型,用不同的办法来训练,最初的成果也大不一样,就如同咱们让不同厨师用同样的食材、同样的厨具,他们做进去菜的滋味也不一样。所以要想把大模型训练好,咱们还须要长期积攒的教训。

可见,训练大模型是一个非常复杂的系统工程,这就须要咱们整个 IT 技术栈产生相应的变动。咱们晓得,在 PC 时代和挪动时代,技术栈大略是三层,也就是芯片、操作系统和利用。然而到了 IT 时代,到了 AI 时代,IT 技术栈变成了四层:

>> 底层还是芯片层, 然而这时候的确不再是以 CPU 为主,而是以 GPU 为主。为了用 GPU 来解决大模型训练过程中的大规模并发计算的问题,百度研发了昆仑芯,大略在明年年初会规模上市的昆仑芯 3 很大水平上能够解决算力的问题。

>> 芯片下面是框架层, 在这么简单的算法后面,从零开始一行一行写代码根本不可能,须要一个好的开发框架,当初次要指深度学习的框架,能够帮忙咱们去应用和研发这个大模型。像百度的飞桨,Meta 的 PyTorch,谷歌的 TensorFlow,都是在这一层。

>> 框架之上是模型层, 模型层是基于上面的框架和芯片训练进去的模型,方才提到的 ChatGPT、文心一言都属于模型层。除了文心一言,咱们还有交通大模型、能源大模型等 10 多个行业大模型。

>> 再下面才是咱们相熟的应用层, 通常要基于通用大模型,联合行业场景,去研发大量新的 AI 利用。

咱们探讨了这么多,大模型呈现之前,其实 AI 曾经诞生了。就是方才李滨总(紫光团体董事长)讲到的,大模型自身突破了人意识的边界,但它不是一下子进去的,是长期积攒进去的。在这个过程中,以前咱们有大量的专属模型,包含语音辨认、图象识别、文字辨认等,这些辨认在过来通常是一个单点性能,就像人的眼睛或者耳朵一样,但大模型呈现当前就像有了大脑,能够把这些单点能力串起来,而且在串的过程中会呈现越来越多的多模态交融的大模型。

有了多模态交融的大模型当前,咱们能够设想它对将来的影响, 一方面会扭转整个生产流程,大幅提高生产经营效率;另外一方面,因为它提供了人机交互这种十分天然的过程,能够使得用户的体验显著晋升。 而这种生产经营效率的晋升、用户交互体验的晋升,会促成整个社会的减速,促成咱们实现智能化的飞跃。实际上当初寰球很多当先的科技公司,都在用这种大模型来重塑他们的产品线,这里是重塑,而不是接入,不是简略的整合。

在这个过程中,我置信很多企业会关怀,这个大模型到底跟咱们有什么关系?我的哪些业务场景可能跟它联合起来?咱们做了大量调研之后发现, 目前企业里次要在这五个方面对大模型有强烈的需要:常识治理、营销、代码生成、设计和对话。

从 3 月份百度公布文心一言当前,咱们也跟很多合作伙伴一起在摸索内外部产品的迭代降级。其中一个是在常识治理畛域,百度外部用于常识治理的交流平台“如流”,下面有一个智能工具,能够基于这个工具去问公司里相干的规章制度以及遇到的问题,甚至给饭卡充钱等。

第二是办公畛域,咱们和一些企业一起研发了新的性能,通过跟机器对话就能够生成 PPT、合同、文档等。基于诉求语言,在几分钟之内就能够生成一个条款清晰的合同初稿。

还有营销畛域,咱们能够帮商家一键生成各种格调的营销计划,并且通过数字人实现 7×24 小时的直播带货。

智慧政务畛域,咱们也在跟一些机构单干,测试城市智慧平台的交互性能,比方快到端午节了,咱们能够间接问,端午节咱们的客流量会怎么样?这时候它就会主动生成报表、剖析,并且造成答复。

另外一个畛域,也是方才大家提到的代码生成畛域,百度智能云推出了基于文心大模型的代码助手“Comate”,它能够联合上下文,预测程序员接下来想要输出的代码,还能用自然语言来写代码,并且主动查找代码中的谬误。Comate 在百度外部曾经通过了长时间验证和迭代,目前生成代码的采用率达到 50%,而且它作为一个插件曾经在多个编程环境外面去实现,接下来我置信在不同的编程环境里都能够用到 Comate。

大模型对咱们影响之深,每个企业都在思考到底怎么参加到大模型浪潮外面去?无非是这么几种状况:

一,构建根底大模型的企业。 方才咱们讲到它须要大量的数据、算力,十分长期的教训积攒。所以这个大概率是多数企业能力做的事件。

二,建设行业大模型。 行业大模型就是联合行业特有的数据、利用的需要,那些有行业数据、把握了行业场景的人,就会在根底大模型之上建设本人的行业大模型,基于大模型微调适宜行业特点的行业模型。

三,也可能是规模最大的,它就是在根底大模型或者行业大模型之后开发 AI 应用程序, 而这类企业最须要思考的是到底应该选哪些根底大模型、行业大模型,应该在这些大模型做什么样的工程?怎么来解决行业的特定问题?

既然说到怎么抉择大模型,当初就要思考相应的规范,咱们依据寰球支流大模型的测试和察看,提出了这么三个考量的因素:

首先,要看这个大模型的通用性好不好, 有没有解决咱们手头的问题,它有没有比拟强的泛化能力?

第二,要看这个大模型迭代的速度快不快, 因为明天的大模型远远没有到成熟的时候,还须要一直的继续迭代,如果一个大模型不足继续迭代的能力,它在后续很难有强劲的能源。

第三,要看这个大模型四周的工具链是不是残缺, 不论是为了开发利用,还是迭代行业大模型,都须要有丰盛的工具链,包含数据的采集、标注,怎么去做各种微调甚至是插件的机制等,因为只有这些工具链齐全,能力真正帮忙咱们把大模型用到极致。

为了撑持大模型的产业落地,百度智能云推出了文心千帆大模型平台。这个平台不只反对百度的文心一言,也反对大量的第三方大模型,而且提供了比拟残缺的工具链、开发环境和基础设施。

在性能方面,咱们也具备了寰球当先的性能指标,通过这些优化技术,能够使得千卡并行减速比达到 90% 以上,训练场景资源利用率到 70% 以上。所以咱们再去训练一个大模型,就能发现它比原来没有做这些优化之前效率晋升了 100%。而且在部署形式上,咱们既反对私有云的部署,也反对私有化的部署,起因是不同企业有不同的要求,咱们心愿提供灵便的形式,让所有企业都用好大模型。

大模型要继续的迭代,在百度外部,文心一言也在一直迭代,从公布到当初几个月工夫,文心一言曾经迭代了四次,推理的性能进步了 10 倍。而且在一些特定的、高频的场景下,通过应用文心一言高性能的模式,叫“文心一言 -Turbo”,咱们能够把推理速度进步 50 倍。只有这样,能力真正让大模型做产业化的落地。

我置信大家都已留神到,企业曾经开始口头起来,参加到大模型外面来,如果聊天聊不到大模型,就显得有点掉队。事实上也的确是这样,从文心一言公布到当初,曾经有 15 万客户在排队申请文心一言的测试,而且咱们曾经和 300 多家生态搭档在 400 多个场景上获得了不错的测试成果,笼罩了金融、政务、互联网、教育、工业等行业。这外面十分重要的一个合作伙伴就是新华三,新华三作为一个数字解决方案的领导者,跟百度文心一言一起致力,咱们置信基于新华三弱小的平台搭建能力和渠道延长能力,肯定会减速大模型在中国的落地利用。

咱们能感触到另外一股力量,是基于大模型的翻新守业。5 月底,百度发表拿出 10 亿成立 AIGC 畛域的专项投资基金,并且启动“文心杯”守业大赛,短短一周工夫,咱们曾经收到了 300 份申请,可见基于生成式大模型的热度之高。

将来所有的企业都会强依赖大模型,而且所有的产品都会基于大模型来开发,这曾经是一个共识。所以当初咱们就得做好重构产品和服务的筹备,要筹备哪些货色呢?第一,要布局新的基础设施;第二,要构建 AI 原生的思维;第三,要继续迭代、重复验证。

为什么要构建新的基础设施? 是因为咱们只有先布局好这个基础设施,布局好大模型的底层,并且通过把大模型和咱们的数据、业务联合起来,提供一个十分敌对的迭代环境,咱们能力真正领会大模型的价值。咱们方才重复提到,大模型大幅升高了人机交互的老本,尤其是能够反对基于自然语言的编程,咱们想想企业外面肯定有大量聪慧的有创意的员工在,当有了这样的根底环境当前,他们就能够疾速基于自然语言的编程去尝试本人的思路,迭代本人的想法,这肯定会激发创造力,进步生产力。

第二,咱们肯定要在组织外部构建 AI 原生思维。 这次大模型带来的机会不是一个线性的变动,而是一个思维模式的变动。过后从 PC 时代到挪动时代,咱们在讲挪动思维,真正实现挪动思维的人发明了大量新的机会,包含美团、地图,这些都在 PC 时代很难暴发。同样的情理,从挪动时代再到 AI 时代,咱们也必须从思维模式上实现根本性的变动。这样咱们的员工就能够用新的思维,去一直的翻新、一直的迭代。所以在这个时候,我认为大家最不应该放心的是会不会制作就业?企业家也更不应该想是不是应该用 AI 降本增效,缩小员工?咱们真正应该思考的是,怎么提供好基于原生 AI 的环境去赋能员工,让他们去拥抱新技术,去发明新价值。

第三,要继续尝试。 咱们晓得,技术倒退的趋势是不可逆的,是确定的,然而这个技术在一个企业外面的落地不可能是一帆风顺的。这时候就要考验一把手,考验次要的领导,是不是有定力,是不是置信这个趋势?只有那些保持把它跑通,而且率先跑通的,才真正可能享受这个技术的红利,才是真正做到了方才张传授提到的,是翻新,而不是套利。所以如果咱们判断大模型曾经带来了确定性的变动,当初最须要的就是口头起来。

回过头去看过来几十年,智能手机的诞生,把手机分成了智能手机和非智能手机,非智能手机曾经彻底退出了历史舞台,而这一波生成式 AI 也会把所有企业分成智能企业和非智能企业,非智能企业也肯定会缓缓退出历史舞台。

AI 的终极现实是为人类带来更多的自在和可能。明天借着新华三这样一个领航者,咱们在中国产业落地曾经迈出了松软的一步。中国有最大规模的网民和最残缺的产业链,基于这些网民、这些产业链,大模型可能收到最无效的反馈,而反馈肯定会驱动翻新,会继续推动大模型的优化。咱们违心和在座的诸位一起,将中国的智能化跃迁推向更深、更广的畛域。

谢谢大家。

正文完
 0