关于华为云:专家解惑-关于华为云盘古大模型你想问的都在这里

7次阅读

共计 2853 个字符，预计需要花费 8 分钟才能阅读完成。

摘要： 针对外界对盘古大模型充斥了好奇，参加大模型开发的两位华为云专家来为大家答疑解惑。

本文分享自华为云社区《专家解惑 | 对于华为云盘古大模型，你想问的都在这里~》，原文作者：HWCloudAI。

4 月 25 日，华为云公布盘古系列超大规模预训练模型，包含 30 亿参数的寰球最大视觉（CV）预训练模型，以及与循环智能、鹏城实验室联合开发的千亿参数、40TB 训练数据的寰球最大中文语言（NLP）预训练模型。

其中，盘古 NLP 大模型由华为云、循环智能和鹏城实验室联合开发，具备当先的语言了解和模型生成能力：在权威的中文语言了解评测基准 CLUE 榜单中，盘古 NLP 大模型在总排行榜及分类、浏览了解单项均排名第一，刷新三项榜单世界历史纪录；总排行榜得分 83.046，多项子工作得分业界当先, 向人类程度（85.61）迈进了一大步。

外界对盘古大模型充斥了好奇，在华为开发者大会（Cloud）期间，参加大模型开发的两位华为云专家答复了以下几个大家关怀的问题。

谢凌曦： 预训练模型设计的目标就是为了让大家升高应用老本。模型的预训练过程，老本是比拟高的，但这个老本不须要开发者来承当。而在应用这些大模型的时候，它自身的易用性会使得应用老本进一步升高，达到一个比拟适合的程度。比如说，咱们会开发出一些比拟通俗易懂的 Pipeline，如果你是有肯定根底的开发人员，你能够从咱们的 Pipeline 当中去做更多的定制化的开发，更好地去开释咱们预训练模型的能力。如果你只是一个 AI 开发小白，想用大模型去做 AI 简略的开发，咱们也会给你更加通俗易懂的界面，让大家可能用一些利落拽的形式应用盘古大模型。总体来讲，大家在应用预训练模型的时候，计算时长、调参所须要反复的代价等都会被降到很低，总体来讲是对开发者十分敌对的。

谢凌曦： 人工智能、计算机视觉，通过几十年的倒退，到当初曾经领有很宏大的常识体系。如果一个初学者想要把这些货色都理解当前再开始做钻研，效率会略微有点低。我给大家的倡议是，你在学习过程当中，能够先找准一个问题。刚开始的时候，这个问题可能是绝对高级的问题，但肯定有具体的场景。比方想做弱监督学习，个别就是遇到某个理论的问题，它的确须要弱监督算法。然而这个时候我是不是肯定要把握全监督能力去做弱监督呢？并不是这样的。你能够先去查阅一些材料，理解以后的弱监督学习办法，它的基线是什么，它的前沿在哪里。而后你就能够开始做一些简略的试验。试验的过程当中，个别会遇到一些艰难或者一些纳闷。解决这些艰难和纳闷的过程，个别就会把你疏导到它的根底，比如说全监督到底是怎么做的。当你有了更多根底当前，回过头来，也会发现你对以后做的算法有了一个更好的了解。

所以我的倡议是大家能够找一本机器学习、计算机视觉这类介绍比拟深刻的教材去看。然而不要局限于这个教材：一边做具体的课题，一边去学习常识，效率会比拟高。

张晓鹏： 视觉预训练 CV 大模型，联合相干流程化开发，曾经在华为外部以及其余合作项目上，有 100+ 胜利落地，这些方向涵盖了各行各业，包含工业视觉、网络审查、零售商超，以及医疗等场景，都取得了一些相较于之前不应用预训练大模型更高的后果。在某些场景上，比方方才提到的遥感影像宰割，咱们通过设计针对遥感影像的预训练算法，在没有减少额定标注代价的状况下，达到了最多 12% 的宰割精度晋升。还有另外一个比拟有意思的景象，咱们应用超大规模图像进行的预训练模型具备更好的可迁移性，即间接把这样一个模型，迁徙到了工业质检的缺点上进行推理，咱们十分欣慰地发现，咱们在上游数据集上没有进行任何微调，然而在工业缺点检测上，取得了比之前我的模型不停地高度的优化，甚至利用上游的数据微调更好的后果，这个后果基本上会高出 3 到 4 个百分点。这个启发咱们，模型数据一旦够多，其实它的泛化能力可能取得更好的保障。

第二，咱们是国内最早做视觉预训练大模型的公司之一。在国外是 Facebook 和谷歌从 2019 年开始在图像上做了一些利用。咱们视觉预训练模型大略从 2019 年底的时候就开始了，通过自研的一些列改良算法，咱们首次在基于 imagNet 的无监督预训练模型线性分类精度上达到了全监督基线的程度，同时在小样本学习上大大当先现有技术，这些都是业界当先的成绩。

张晓鹏： 针对视觉图像不同角度，以及不同场景的变动，咱们采取的办法非常简单。一，咱们可能有海量数据集，这个数据集规模曾经达到了亿级甚至十亿级这样的规模，咱们置信这个海量的数据集，它可能建模，咱们理论场景图像的方方面面。另外一个，咱们采取了什么样的学习形式。其实它的一个核心思想，就是 2019 年开始，比拟火的基于全局的对比度自监督学习办法。

当然咱们在这下面做了很多改良。包含如何来利用弱标签信息，如何把全局的信息拓展到部分来更好建模部分相干关系。同时也会响应方才提到的，如何解决不同视角，不同尺度图像问题，怎么来让它进行高效的建模，这外面就是让它进行不同的数据加强，咱们在预训练算法外面，集成了十余种数据加强办法，让它通过不同的数据加强，使得整个模型具备针对不同数据加强的不变性。

到目前为止，咱们在一个大模型，搭载模型蒸馏、抽取以及行业大模型，咱们当初曾经适配了大略十余种预训练模型。而这十余种模型都是通过咱们一个大模型的抽取，蒸馏所失去的，它在相应的行业上，失去了十分大的精度晋升。同时也极大的缩小了标注代价以及模型迭代周期。

张晓鹏： 举一个咱们在 HDC Cloud 上公布的国网电力智能巡检的例子，这就是十分典型的利用盘古 CV 大模型解决行业常识。

在国网电力巡检模型开发的过程中，它有海量的数据，标注十分艰难，咱们做了什么呢？通过咱们的视觉预训练算法，在海量的巡检数据上进行预训练，这个预训练是利用了无人机巡检的数十 TB，上百万规模的数量，进行预训练，它的预训练能够看到咱们十分多的数据，它的外在散布。咱们的大模型，模型参数越大，也看了更多的数据，所以说它可能更好的建模无人机巡检过程中的图片的轻微差别。

利用咱们的视觉预训练大模型，它可能提供更好的表征当前，因为它的缺点和失常样本的表征能力更强，咱们在标注代价上，基本上缩小了 80% 以上，这一块整个在人力上是一个十分大的晋升。除了缩小标注，咱们一个模型能够适配咱们电力行业一百多种缺点，从而让模型迭代周期大大减少，整个迭代效率大略晋升了 10 倍，咱们在每次迭代过程中反馈给人须要标注的整体的工作量就会越少，通过这两种模式，咱们实现了在电力行业方面，利用咱们视觉预训练模型，极大的晋升了咱们的开发效率。

点击关注，第一工夫理解华为云陈腐技术~

正文完