模型

利用阿里云计算巢Appflow，通过控制台配置即可顺利将您本人开发或微调的大模型接入钉钉或其余通信软件群聊，帮您解决以下各类场景的模型调用需要： 在钉钉群接入本人微调的畛域大模型做问答或智能答疑；微调后的大模型在钉钉群或其余群聊中独特测试成果......仅需简略几步，即可实现配置应用，上面将具体介绍配置办法当然，前提条件是您的模型推理曾经封装了可用的API～ 配置办法一、配置自定义连接器登陆AppFlow首页，抉择左侧菜单栏 连接器->自定义连接器，点击“创立连接器”。 上传您的连接器图标，填写名称、形容等相干根本信息，点击保留连接器。 点击左侧Tab能够顺次配置鉴权和执行动作（触发事件如无非凡需要能够跳过）。首先点击“鉴权设置”，抉择您须要鉴权类型。目前反对的鉴权类型包含：Basic Auth、Bearer Token、Appcode三种形式。具体如下： Basic Auth会在申请header中退出 “Authorization", "Basic [username:password]”Bearer Token会在申请header中退出 “Authorization", "Bearer [token]”Appcode会在申请header中退出 “Authorization", "Appcode [appcode]”点击左侧执行动作，创立执行动作。填写当执行动作名称，例如“模型推理”，抉择Http办法并填写申请接口门路。点击“下一步”。 点击“增加参数”，可依照您的API申请格局进行填写，如下图参数类型反对object、array、string、number、boolean五种常见类型，其中object类型和array类型参数可点击右侧“增加”按钮增加嵌套子结构。如果您曾经有一个申请体JSON格局的示例，也能够应用导入JSON性能并做简略批改即可。 点击“下一步”配置响应体格式，将您的响应体装置配置执行动作一样的办法配置即可。请装置您的理论响应格局配置，否则可能导致后续流运行中参数援用报错。配置实现后点击保留草稿或公布。 二、配置连贯流点击左侧菜单栏“连贯流”，抉择“创立连贯流”，填写以后连贯流的根本信息。 “抉择触发事件”，找到并点击抉择“钉钉机器人”，触发事件抉择“收到文本音讯时”，点击“保留，进入下一步” “抉择执行动作”，点击“自建连接器”，找到您创立的连接器。抉择您创立的“执行动作”并点击“保留，进入下一步”。 填写您设置的申请体参数，点击右侧插入变量按钮，能够利用钉钉机器人收到的音讯作为参数。例如下图：示意，以后连接器的“内容”变量利用上一个节点的“申请体-会话音讯-音讯内容”参数，即之后您在钉钉群@机器人发送的音讯内容 填写实现后点击“”配置模型推理后的音讯发送回钉钉的执行动作。抉择“钉钉机器人”，执行动作抉择发送文本音讯，点击“保留，进入下一步”进行参数配置。 Webhook地址点击右侧“插入变量”，抉择节点1的“会话回调地址”“加签”在稍后创立完机器人后获取并填写，这里临时跳过。“本文内容”配置您的执行动作中理论代表您模型推理后果的字段，您的理论参数可能会与下图示例有所出入，按理论填写即可。 点击保留即可实现配置。回到页面再次点击编辑，进入流编辑页面，点击第一个节点的编辑按钮，能够获取调用webhook地址，请保留改地址后续在钉钉机器人配置中应用。 三、创立钉钉机器人（应用Outgoing性能，更简略）间接在须要退出机器人的群聊中进入机器人治理页面增加自定义机器人， 填写机器人根本信息。平安设置抉择“加签”，复制签名密钥，回到Appflow,点击左侧菜单栏“连贯流”，找到刚创立的连贯流并点击详情。进入连贯流详情页点击“编辑”。 进入流根本信息填写页面，间接点击下一步，进入流配置页面。点击“步骤3：发送文本信息”的编辑按钮，点击“入参配置”，在加签Tab填写钉钉机器人生成的签名，点击保留即可。 回到钉钉机器人页面，勾选“开启Outgoing机制”，在POST地址栏填写第一步中的Webhook地址，点击实现即可。 在群里中@机器人即可实现对话 三、创立钉钉机器人（应用钉钉开放平台）拜访钉钉开放平台，分割您的组织管理员获取开发权限。而后点击创立利用。成为钉钉开发者的步骤能够参考文档https://open.dingtalk.com/document/orgapp/become-a-dingtalk-developer 抉择左侧“机器人”Tab，而后点击右侧“创立利用”按钮。填写您的“利用名称”和“利用形容”，上传利用图标并点击保留。 点击保留后跳转到利用开发页面，下来以后页面到最下方抉择“机器人”并点击增加。点击“机器人配置”按钮开展机器人配置信息。 填写相干必填信息。音讯接管模式请抉择“HTTP”模型，页面会呈现“音讯接管地址”输入框。在这里填写刚刚在AppFlow获取的地址。 点击调试按钮。能够钉钉扫码进群调试机器人。确认无误后点击公布。回到利用开发页面，点击刚刚创立的利用名称进入利用详情页面。点击左侧菜单栏最下方的“版本治理与公布”，进入到版本公布与治理，点击右上角“创立新版本”按钮，输出版本相干信息，并抉择适合的“利用可见范畴”。 点击保留将进入权限审批环节，审批完结后利用将主动公布。如果您曾经有权限了能够点击间接公布。 去您想要增加对话机器人的群里增加机器人。@机器人即可与通义千问机器人进行对话啦！ 写在最初Appflow是阿里云计算巢团队自主研发的一款利用与数据集成平台，目前开发团队曾经反对了泛滥公共连接器，您能够纵情施展您的设想，应用AppFlow为您免去繁琐的反复接入和开发工作，为你的工作提速提效！点击页面左侧"连贯流"Tab，去创立你本人的Flow吧~ 分割咱们有任何疑难或者需要或者合作意向都能够退出咱们的官网反对钉钉群（群号 69295006877）～欢送大家一起退出群聊交换，为工作和Coding提效～

1、什么是模型材质合批 模型材质合批是一种技术手段，次要用于优化渲染性能和进步图形应用程序的帧率。它通过将多个模型的材质进行合并，从而缩小渲染时的绘制调用次数。 在计算机图形学中，每个模型都有一个或多个材质，这些材质定义了模型外表的外观个性，例如纹理、色彩、光照等。当渲染场景时，须要对每个模型的每个材质进行绘制调用，这会波及到大量的渲染管线开销，并占用大量的GPU资源。 而模型材质合批的思维是将具备雷同属性的模型材质进行合并，造成一个共享材质。具体操作是将这些模型的顶点数据和纹理坐标进行整合，并创立一个新的合并材质。而后，在渲染过程中，能够一次性地批量解决这些模型，只须要进行一次绘制调用，从而缩小了渲染管线的开销和GPU资源的拜访次数。 通过模型材质合批，能够极大地提高渲染性能和效率。尤其在大规模的场景中，如果有大量雷同属性的模型，应用合批技术能够显著缩小绘制调用次数，进步帧率。这对于游戏开发、虚拟现实和计算机图形学等畛域十分重要，可能在保持良好视觉效果的同时，提供平滑的交互体验。 总之，模型材质合批是一种优化渲染性能的技术手段，通过合并具备雷同属性的模型材质，缩小了渲染过程中的绘制调用次数，从而进步了图形应用程序的帧率和效率。 2、材质合批能够解决什么问题 模型材质合批是指将多个模型应用雷同材质的网格进行合并渲染，以缩小渲染操作的次数，从而进步渲染性能。该技术能够解决以下问题：缩小渲染调用：在游戏或利用中，每次渲染一个模型都须要进行一系列的渲染调用和状态切换，这些操作耗费了可观的工夫和资源。通过模型材质合批，能够将多个模型合并为一个批次进行渲染，从而缩小了渲染调用的数量，进步了渲染效率。升高CPU开销：在渲染过程中，如果有大量的小型模型须要渲染，那么每个模型的渲染调用会成为CPU的瓶颈，导致CPU极度忙碌。而通过模型材质合批，能够将多个模型合并为一个批次进行渲染，缩小了渲染调用的次数，从而升高了CPU的开销。晋升GPU利用率：在图形渲染中，GPU的利用率往往受到渲染调用的影响。通过模型材质合批，能够将多个模型合并为一个批次进行渲染，缩小了渲染调用的次数，进步了GPU的利用率。尤其是在存在大量模型材质雷同或类似的状况下，成果更为显著。 3、如何进行模型材质合批 市场上有很多建模都有模型合批性能，然而限于软件的装置简单、软件体积宏大以及软件的专业性导致应用起来比较复杂。所以，应用业余的建模软件来实现简略的模型合批操作就有点得失相当。 而GLTF 编辑器 是一款基于浏览器的在线模型编辑工具，无需装置软件、无需装置插件，关上浏览器就能应用。并且操作简略，非常实用。 上面基于GLTF 编辑器 来解说下如何进行模型合拼操作，首先，将模型拖入编辑器中，如图所示：材质合并前 从图中的左侧面板中能够看到该模型中有很多雷同材质。 那么如何应用GLTF 编辑器 对模型进行材质合并呢？很简略，只须要点击编辑器工具栏上第二个按钮【合并雷同材质的Mesh】，编辑器就会主动将模型中雷同的材质进行合并，合并实现后将批改后的模型导出到本地GLB文件。材质合并后 上面材质合并前后的渲染效率比照：模型合批前，FPS是13模型合批后，FPS是47 总结 总体而言，模型材质合批可能通过缩小渲染调用的次数、升高CPU开销和晋升GPU利用率，从而无效地优化渲染性能，使利用或游戏在放弃较高画质的同时，晋升帧率和晦涩度。 原文链接：GLTF编辑器如何合并雷同材质的Mesh 

大语言模型 (Large Language Model, LLM)，旨在了解和生成人类语言。在大量文本数据上进行训练，可执行宽泛的工作，包含文本总结、翻译、情感剖析等等。往年爆火出圈的 ChatGPT 即为一个大语言模型，而 LIama-2 的呈现又为 LLM 市场带来了一些「震撼」。  Llama-2 模型7月18日，Meta 与微软联手公布了收费、可间接商用的 LLM  模型——Llama2。Facebook 人工智能研究院首席科学家、图灵奖得主 Yann LeCun 示意："This is going to change the landscape of the LLM market"，给足了用户神秘感。 Llama-2 是一组通过预训练和微调的生成文本模型，参数范畴从 70 亿到 700 亿。通过微调的 LLM，称为 Llama-2-Chat。在官网形容中 Llama-2-Chat 在大多数基准测试中都优于开源聊天模型，与 ChatGPT 和 PaLM 等一些风行的关闭源代码模型并驾齐驱。[1]与此同时，使用者能够间接向 AWS、Hugging Face 申请来取得模型的下载链接。 与此同时，最近大火的 AI agent 也能够利用在 Llama-2 上。AI Agent 艰深来讲就是 LLM（大语言模型）Agent。LLM Agent 能够被了解为一种智能助手，能够连贯泛滥数据源，并通过 API 与环境进行交互。相当于一个能够自行执行工作的机器人。AI agent 能够应用各种工具来帮忙你实现工作。咱们甚至能够设计和创立本人的自定义工具，让 agent 更好的服务咱们的工作。 Llama-2 Notebook无需期待，在本期中，咱们为你带来了轻松上手的 Llama-2-7B 大语言模型以及联合 Langchain 打造 AI agent 的两篇 Notebook。 ...

紧解放模型（Tight Binding Model, TB Model）作为计算电子构造的等效哈密顿量办法，绝对于第一性原理办法，具备尺寸小效率高的长处，在钻研纳米尺度或者更大体系的电子性质，探索分析物理现象的深层机制具备微小劣势。 不过，TB 模型的构建却不是一件容易的事件。依据构建 TB 的不同形式，能够具体分为第一性原理 TB 模型 以及（半）教训 TB 模型。第一性原理 TB在构建模型过程中须要先进行第一性原理波函数等计算，因而尽管第一性原理 TB 精度高，且失去 TB 之后的计算效率高，然而结构 TB 自身的计算复杂度束缚了第一性原理 TB 的利用场景。而（半）教训 TB 模型基于教训参数，不须要额定的计算，间接结构给定体系结构的 TB 模型，所以从结构到计算过程效率很高，然而一套通用且迁移性良好的教训参数的拟合往往非常复杂且耗时。间接应用文献中的参数对于指标体系的迁移性往往有余。因而传统的紧解放模型办法也存在着精度与效率的窘境。 基于上述背景，北京迷信智能研究院倒退了基于深度学习的电子 TB 模型哈密顿量构造方法 DeePTB，基于神经网络系统地构建具备第一性原理精度的 TB 模型，实现精度与效率的对立。 DeePTB 办法的整体框架图如下。对于给定构型中指定近邻范畴内的成键原子对，在教训紧解放参数的根底上，通过 embedding 网络编码成键原子对的局域化学环境，结构 symmetry-preserving 形容子，并用 fitting 网络预测局域环境依赖的 TB 参数。该办法冲破了传统模型的双核心近似，并能基于 PyTorch 机器学习框架，系统地进行高效的参数主动拟合。更具体的办法及公式细节请参考 DeePTB 文章 [1]。 图｜DeePTB 办法整体框架 [1] DeePTB 办法通过神经网络修改实现精度与效率的对立；容许用户灵便抉择不同 DFT 软件和泛函生成训练标签，反对自旋轨道耦合解决；并基于 Slater-Koster 框架，反对自定义教训 TB 拟合公式；亦可联合分子动力学模仿无限温度下的电子构造和性质。 同时，DeePTB 采纳正交基组 TB 模式，因而能够接入大规模 TB 算法，例如咱们上一期推送中袁声军传授自主倒退的紧解放流传 (TBPM )办法与 TBPLaS 软件，轻松实现百万千万量级原子的第一性原理精度的电子性质计算。真正实现器件级尺寸的量子力学模仿。 DeePTB Notebook纸上得来终觉浅，绝知此事要躬行。本期 Notebook 将以训练硅的紧解放模型为例，为大家带来 DeePTB 的疾速上手指南。无需配置环境，带大家手把手地把握 DeePTB 这一弱小的大尺度量子体系计算工具。 ...

如何使Revit导出带有规范材质的FBX模型？首次应用Revit导出fbx格局模型，在导出模型后发现模型材质失落了，上网查问之后也没到具体起因是什么，不过倒是找到了解决形式：在Revit中装置naviswork插件，而后从revit中导出nwc格局的文件， 在用Navisworks Manage将nwc转换成fbx， 转出的FBX模型就带有材质了。 首次应用Revit导出fbx格局模型，在导出模型后发现模型材质失落了，上网查问之后也没到具体起因是什么，不过倒是找到了解决形式：在Revit中装置naviswork插件，而后从revit中导出nwc格局的文件， 在用Navisworks Manage将nwc转换成fbx， 转出的FBX模型就带有材质了。naviswork下载地址：/products/navisworks/3d-viewers。（Revit必须装置naviswork插件能力导出nwc格局的文件） 举荐：应用NSDT场景设计器 疾速搭建 3D场景。 Revit导出有材质的fbx文件的办法1.revit关上模型，以Revit自带的模型为例。2.导出nwc格局数据，这里要装置好naviswork才会有这个导出选项，有时候可能这里没有，会呈现在附加模块中。3.应用naviswork关上nwc文件。4.再在naviswork外面导出fbx格式文件。5.双击fbx文件，win10自带fbx关上器。比照一下间接从revit导出的fbx格局，成果还是能够。以上就是Revit模型导出有材质的fbx文件的操作演示过程了，你能够跟着教程操作哦，非常简单！

背景以Stable Diffusion模型为代表，AI生成内容（AI Generated Content，AIGC）的模型和利用呈现出井喷式的增长趋势。在先前的工作中，阿里云机器学习PAI团队开源了PAI-Diffusion系列模型（看这里），包含一系列通用场景和特定场景的文图生成模型，例如新诗配图、二次元动漫、魔幻事实等。这些模型的Pipeline除了包含规范的Diffusion Model，还集成了PAI团队先前提出的中文CLIP跨模态对齐模型（看这里）使得模型能够生成合乎中文文本形容的、各种场景下的高清大图。此外，因为Diffusion模型推理速度比较慢，而且须要消耗较多的硬件资源，咱们联合由PAI自主研发的编译优化工具 PAI-Blade，反对对PAI-Diffusion模型的端到端的导出和推理减速，在A10机器下做到了1s内的中文大图生成（看这里）。在本次的工作中，咱们对之前的PAI-Diffusion中文模型进行大幅降级，次要的性能扩大包含： 残缺内容请点击下方链接查看： https://developer.aliyun.com/article/1228506?utm_content=g_10... 版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。

作者 雪尧(郭耀星) 炯思(钟炯恩) 前文咱们提到了 Helm / Kustomize / CRD+Operator 这些形式，都能够在各自的畛域很好的承载一个组件 (Component) 的概念。然而都没有解决一个残缺的面向业务场景的利用 (Application) 的问题。OAM (Open Application Model) 是 2019 年阿里云与微软联合推出的凋谢利用模型。上面咱们来看这个模型是什么。 1. OAM是什么在利用部署上，大家或多或少有过一些这样的经验：面对简单的K8S YAML不知所措，有些字段能了解含意，有些字段光从字面上又无奈确认影响，有些曾经确认的字段一提交批改就被提醒报错，说这个字段运行态不能动。如果说k8s内置资源的字段根本都还有迹可循的话，通过CRD+Operator创立的自定义资源的很多字段都会放飞自我，连文档都找不到。那么这些YAML能不能做得像乐高积木一样呢？既能自在地插拔发明施展，又有一些限度束缚，使得创意不会太剑走偏锋，让后续使用者也能疾速了解其中的作用和价值。于是 OAM 应运而生。OAM（Open Application Model）是一个规范的、基础设施无关的跨云利用部署模型。有以下几个个性： 利用为先。一个利用的交付与部署应该是自蕴含的，其中的各类操作行为应该作为利用定义的一部分，这些内容与理论基础设施无关。清晰和可扩展性。定义一套凋谢规范，能够模块化整个利用交付流程，依据集体须要将这些模块自在组装，达成本人想要的后果。云服务供应商无关。定义的凋谢规范应该是一套更高级别的形象，能够跨本地集群、跨云服务供应商，不会被锁定到任何一个厂商的底座。其实下面这些点写几个Operator也都能解决，但OAM的亮点在于他并不是一个程序的实现，他是一个文字定义的规范，大家只有按照这个规范去落地，就能把已有的货色整合起来发挥作用。上面来看一下OAM模型形象： 如上图所示，OAM将一个模型分成了Application(利用)、Component(组件)、Trait(运维特色) 这样几层，于是相干角色的关注点也都被奇妙地合成开来，各角色只有聚焦于本人的内容就能一起合作实现一个简单的利用工程，如下图所示： 利用开发人员：负责组件 Component 的定义及研发。利用运维人员： 定义实用于不同 Workload 的运维属性 Trait 和治理 Component 的 ApplicationScope (or Policy)将利用开发人员定义好的 Component 与运维属性 Trait 绑定在一起，辅以 Policy + Workflow，生成 Application，提交到 Runtime 实现，保护应用程序的生命周期基础设施运维人员：提供不同的 Workload 类型映射到理论的基础设施。OAM 通过一系列概念的定义，实现了对一个利用的形象，实现了角色职责的拆散，将利用交付这件事件与底座解耦，使得跨云疾速交付利用成为可能。开发同学也不再关怀底座实现细节，只关怀本人的利用模型即可。OAM 的诞生，旨在定义云原生利用规范。 OAM 只是一纸协定，并没有利用/组件治理的能力，但它却定义了一个良好的治理利用/组件的零碎应该是什么样子，通过一套对立的概念收拢社区中扩散在各处的垂直能力工具。上面咱们就来讲讲SREWorks如何基于这个协定构建残缺的云原生运维生态。 2. SREWorks的OAM落地实际SREWorks作为阿里大数据运维平台，在设计之初，云原生利用治理在满足外部业务需要时候，遇到了这样一些问题和挑战： 须要利用异地多活，防止单 Region 故障。须要环境拆散，辨别开发测试与生产环境。须要肯定的集群扩展性，冲破繁多集群容量下限。须要多云部署，防止受限于繁多云底座，或降低成本。开发者破费了太多的工夫在基础设施的细节中。机器从哪来，网络环境怎么样，中间件资源/DNS/负载平衡怎么生成，服务怎么适配到各种底座等等。或者更进一步，每个开发者都是 YAML 工程师，哪怕都是 K8S，但每个底座让你提交的 YAML 都不一样。可扩展性低。有越来越多的平台 or 底座在尝试去撑持各种类型需要的业务，但一般来说，利用自身对于平台的诉求会很快超过平台的能力。云服务供应商绑定。当抉择了一个固定的底座后，利用交付的方方面面将会打上这个底座的烙印，当想尝试转到另一个底座的时候难于登天。当SREWorks-Appmanager基于OAM实现了底层引擎，驱动各个服务的开发与交付流程之后，这些问题根本都有了答案，让咱们来看看这些问题是如何被解决的。 ...

疾速开发框架在设计思维上能够分为“表单驱动”和“模型驱动”两种。前者将页面的表单和数据的存储构造合二为一，而后者则与纯代码开发相似，实现了数据与表单的齐全拆散。 在业界的通行观点中，“表单驱动”具备更低的应用门槛和技术门槛，数据与存储构造相结合，整体围绕表数据开展。其外围是通过软件系统中的工作流来运行业务流程，并对业务问题进行剖析和设计。数据档次关系简略，相似于传统BPM软件，利用场景绝对无限，更适宜轻量级利用，如OA审批、数据归档、客户治理等。 但此开发模式基于底层构架与二次开发的限度，利用场景的局限性更高，无奈解决高度定制化、数据不对立等问题，通常仅用于开发简略的数据填报零碎。 而模型驱动的外围准则是形象和自动化。抽象化是在比传统编码更高的形象级别下定义软件应用程序模型。通过模型API和软件SDK，应用大量编码即可基于模型实现更多简单逻辑；联合清晰的架构，表单和数据模型均可独自开发与保护；同时基于各级生产、经营、治理等多种场景，提供全链路管理决策和业务经营的利用及解决方案，解决企业端对端的痛点。 为了满足企业对业务场景复杂度以及对数据一致性的高要求，LeaRun采纳“模型驱动”的理念搭建了疾速开发框架。开发者能够在LeaRun开发框架中，别离设计用于定义数据模型的数据表，供用户操作的页面，以及运行于服务器上、承载简单业务逻辑的服务端命令。 流程模型 流程设计蕴含业务流和数据流。业务流反对各种场景的业务流程解决，如：转审、抄送、加签等审批形式；数据流反对对内、外零碎进行进行数据增删改查、音讯告诉、用户解决等操作。 报表模型 报表模型中的各类数据可视化组件也反对嵌入到页面中，成为操作页面的组成部分。LeaRun提供报表设计工具以及十多种报表类型模板，反对简单报表设计，疾速实现统计分析，全流程可视化助力企业高效设计报表，展现页面反对用户调整、二次定制。 页面模型 页面设计包含网页端和挪动端，能够自适应不同终端场景。内置丰盛的页面组件，利落拽加全配置化即可疾速生成利用界面。 集成模型 集成模型实质是建设数据映射关系，包含平台自身前、后端能力的扩大能力。LeaRun开发框架反对通过API门户和第三方零碎进行交互，轻松连贯不同的零碎和数据源。 总的来说，模型驱动从较低级别的代码中形象进去，使团队中的每个人都能够专一于较高级别的需要和解决方案。自动化加重了日常工作和重复性工作的累赘，并缩小了人为谬误，从而进步了品质和生产力，开放性确保从旧零碎到新平台的对接能力。后果也是不言而喻的，更多杰出的利用，构建效率指数级超过传统代码开发。这就是模型驱动开发框架的力量。 点此试用模型驱动开发框架，理解更多内容：www.learun.cn/Home/VerificationForm

Sketchup 2022 Mac是一套间接面向设计方案创作过程的设计工具，无论是须要应用3D模型的中央，无论是设计屋宇的扩大，教学生几何，还是为Google Earth创立模型，该程序都将十分有用。sketchup2022 mac和LayOut一起设计，能够帮忙您制作惊人的图纸。LayOut是将SketchUp模型转换为图表，绘图，CD集，演示文稿甚至缩放打印的最无效形式。其创作过程不仅可能充沛表白设计师的思维而且齐全满足与客户即时交换的须要，它使得设计师能够间接在电脑上进行非常直观的构思，是三维建筑设计计划创作的优良工具。

作者｜Lilian Weng、Greg Brockman翻译｜董文文 AI畛域的许多最新进展都围绕大规模神经网络开展，但训练大规模神经网络是一项艰巨的工程和钻研挑战，须要协调GPU集群来执行单个同步计算。 随着集群数和模型规模的增长，机器学习从业者开发了多项技术，在多个GPU上进行并行模型训练。 乍一看，这些并行技术令人生畏，但只需对计算构造进行一些假如，这些技术就会变得清晰——在这一点上，就像数据包在网络交换机之间传递一样，那也只是从A到B传递并不通明的位（bits）。 三层模型中的并行策略。每种色彩代表一层，虚线分隔不同的 GPU。 训练神经网络是一个迭代的过程。在一次迭代过程中，训练数据通过模型的layer（层）进行前向传递，对一批数据中的训练样本进行计算失去输入。而后再通过layer进行反向传递，其中，通过计算参数的梯度，能够失去各个参数对最终输入的影响水平。 批量均匀梯度、参数和每个参数的优化状态会传递给优化算法，如Adam，优化算法会计算下一次迭代的参数 ( 性能更佳）并更新每个参数的优化状态。随着对数据进行屡次迭代训练，训练模型会一直优化，失去更加准确的输入。 不同的并行技术将训练过程划分为不同的维度，包含： 数据并行（Data Parallelism）——在不同的GPU上运行同一批数据的不同子集；流水并行（Pipeline Parallelism）——在不同的GPU上运行模型的不同层；模型并行（Tensor Parallelism）——将单个数学运算（如矩阵乘法）拆分到不同的GPU上运行；专家混合（Mixture-of-Experts）——只用模型每一层中的一小部分来解决数据。本文以GPU训练神经网络为例，并行技术同样也实用于应用其余神经网络加速器进行训练。作者为OpenAI华侨工程师Lilian Weng和联结创始人&总裁Greg Brockman。 1 数据并行数据并行是指将雷同的参数复制到多个GPU上，通常称为“工作节点（workers）”，并为每个GPU调配不同的数据子集同时进行解决。 数据并行须要把模型参数加载到单GPU显存里，而让多个GPU计算的代价就是须要存储参数的多个正本。话虽如此，还有一些办法能够减少GPU的RAM，例如在应用的间隙长期将参数卸载（offload）到CPU的内存上。 更新数据并行的节点对应的参数正本时，须要协调节点以确保每个节点具备雷同的参数。 最简略的办法是在节点之间引入阻塞通信：（1）独自计算每个节点上的梯度；(2) 计算节点之间的均匀梯度；(3) 独自计算每个节点雷同的新参数。其中，步骤 (2) 是一个阻塞平均值，须要传输大量数据（与节点数乘以参数大小成正比），可能会侵害训练吞吐量。 有一些异步更新计划能够打消这种开销，然而会侵害学习效率；在实践中，通常会应用同步更新办法。 2 流水并行流水并行是指按程序将模型切分为不同的局部至不同的GPU上运行。每个GPU上只有局部参数，因而每个局部的模型耗费GPU的显存成比例缩小。 将大型模型分为若干份间断的layer很简略。然而，layer的输出和输入之间存在程序依赖关系，因而在一个GPU期待其前一个GPU的输入作为其输出时，奢侈的实现会导致呈现大量闲暇工夫。这些闲暇工夫被称作“气泡”，而在这些期待的过程中，闲暇的机器本能够持续进行计算。 一个奢侈的流水并行设置，其中模型按layer垂直分成 4 个局部。worker 1托管网络第一层（离输出最近）的模型参数，而 worker 4 托管第 4 层（离输入最近）的模型参数。“F”、“B”和“U”别离代表前向、反向和更新操作。下标批示数据在哪个节点上运行。因为程序依赖性，数据一次只能在一个节点上运行，从而会导致大量闲暇工夫，即“气泡”。 为了缩小气泡的开销，在这里能够复用数据并行的打法，核心思想是将大批次数据分为若干个微批次数据（microbatches），每个节点每次只解决一个微批次数据，这样在原先期待的工夫里能够进行新的计算。 每个微批次数据的处理速度会成比例地放慢，每个节点在下一个小批次数据开释后就能够开始工作，从而放慢流水执行。有了足够的微批次，节点大部分工夫都在工作，而气泡在过程的结尾和完结的时候起码。梯度是微批次数据梯度的平均值，并且只有在所有小批次实现后才会更新参数。 模型拆分的节点数通常被称为流水线深度（pipeline depth）。 在前向传递过程中，节点只需将其layer块的输入（激活）发送给下一个节点；在反向传递过程中，节点将这些激活的梯度发送给前一个节点。如何安顿这些过程以及如何聚合微批次的梯度有很大的设计空间。GPipe 让每个节点间断前向和后向传递，在最初同步聚合多个微批次的梯度。PipeDream则是让每个节点交替进行前向和后向传递。 GPipe 和 PipeDream 流水计划比照。每批数据分为4个微批次，微批次1-8对应于两个间断大批次数据。图中，“（编号）”示意在哪个微批次上执行操作，下标示意节点 ID。其中，PipeDream应用雷同的参数执行计算，能够取得更高的效率。 3 模型并行在流水并行中，模型沿layer被“垂直”拆分，如果在一个layer内“程度”拆分单个操作，这就是模型并行。许多古代模型（如 Transformer）的计算瓶颈是将激活值与权重相乘。 矩阵乘法能够看作是若干对行和列的点积：能够在不同的 GPU 上计算独立的点积，也能够在不同的 GPU 上计算每个点积的一部分，而后相加失去后果。 无论采纳哪种策略，都能够将权重矩阵切分为大小平均的“shards”，不同的GPU负责不同的局部。要失去残缺矩阵的后果，须要进行通信将不同局部的后果进行整合。 Megatron-LM在Transformer的self-attention和MLP layer进行并行矩阵乘法；PTD-P同时应用模型、数据和流水并行，其中流水并行将多个不间断的layer调配到单设施上运行，以更多网络通信为代价来缩小气泡开销。 在某些场景下，网络的输出能够跨维度并行，绝对于穿插通信，这种形式的并行计算程度较高。如序列并行，输出序列在工夫上被划分为多个子集，通过在更细粒度的子集上进行计算，峰值内存耗费能够成比例地缩小。 4 混合专家（MoE）混合专家（MoE）模型是指，对于任意输出只用一小部分网络用于计算其输入。在领有多组权重的状况下，网络能够在推理时通过门控机制抉择要应用的一组权重，这能够在不减少计算成本的状况下取得更多参数。 每组权重都被称为“专家（experts）”，现实状况是，网络可能学会为每个专家调配专门的计算工作。不同的专家能够托管在不同的GPU上，这也为扩充模型应用的GPU数量提供了一种明确的办法。 ...

要想得心应手进行模型二次开发，四大参数缺一不可，一起来理解一下！https://www.bilibili.com/vide...

对于BOS注册与利用创立疾速入门，别犹豫，并不难！https://www.bilibili.com/vide...

在上一篇文章《企业数字化转型：数字化成熟度评估模型》中，我给大家介绍了业界几个对于数字化成熟度的评估模型，其中有一个叫做ODMM不晓得大家还有没印象？ 对，就是传说中华为公司提出的那个数字化转型评估模型。不过也有人说这个模型不是华为提出的，提出者“另有其人”。 通过笔者多方打探，网上求证，得悉这个模型来源于华为牵头成立的叫做“Open ROADS Community”的凋谢组织，该组织是由寰球ICT领导者组成的数字化征询委员会，致力于孵化ICT数字化转型最佳实际。该组织聚合了电信业务提供商、解决方案提供商、咨询机构及高等学府的先进思维，旨在构建凋谢的行业生态系统，发明常识共享、深刻摸索与协同单干的气氛，促成ICT行业倒退，进一步向更美妙的全联接世界迈进。 既然华为是“Open ROADS Community”牵头单位和重要成员之一，那么说ODMM是由华为提出其实也没什么可争议的吧。 一、意识ODMM接下来，咱们对ODMM做一个整体介绍。 ODMM，全称是Open Digital Maturity Model（凋谢数字化成熟度模型），是掂量企业数字化能力成熟度的一个整体模型。ODMM评估的后果是一个量化的、优先排序的列表，列出了企业的数字业务现实与其以后数字成熟度程度之间的差距。企业能够利用这些差距为数字化转型制订一个可行的打算，使其可能为数字化转型指明致力的方向。 ODMM模型目前已更新到了6.0版本，其将企业的数字化成熟度评估划分为为4个档次，6个评估维度，18个评估子维度，174个评估指标。如下图： 纯“打分”的数字成熟度评分对企业并没有太大帮忙，而ODMM旨在为企业的数字化转型创立一个可行的打算。ODMM在成熟度模型中自成一家的中央在于，它是依据企业的数字化成熟度与其冀望的现实状态之间的差距来确定数字化成熟度得分，从而为企业的数字化改良方向提供更有价值的参考。 有对于ODMM的介绍也能够看下这个视频：https://v.qq.com/x/page/g0511... ODMM将企业数字化能力划分为：策略能源，以客户为核心，数字文化、人才和技能，翻新与精益交付，大数据与人工智能，以及技术当先等6大评估维度，每个评估维度都蕴含3个子维度（或称子畛域），一共18个子维度，如下图所示： 二、ODMM模型：策略维度这一维度评估用于评估企业如何基于清晰的企业愿景和一系列指标来定义和施行无效的数字化策略。这个维度包含数字策略，金融投资模式，业务敏捷性等三个子维度，每个子维度关注的三级因素及评估内容如下表。 2.1 数字策略三级因素评估的具体方面目标明确该企业是否概述了数字愿景和策略，并说明了它打算在数字生态系统中表演的角色？谋求新价值高级管理层是否对现有产品和服务的业务后劲有事实的认识，他们是否制订了一个协调一致、思考周全的打算，以便在必要时转向新的平台或服务模式？跨行业参加该企业是否采纳凋谢和扩大的办法与传统关系之外的新参与者接触，以反对其整体企业策略？2.2 金融投资模式三级因素评估的具体方面财务策略企业的财务策略是否反对长期的、有时危险更大的策略投资，以反对企业整体愿景的实现？投资估算企业是否采纳灵便的估算流程，以便及时评估和赞助数字化打算，确保可能的收益与企业的策略相一致？2.3 业务敏捷性三级因素评估的具体方面协调能力企业是否无效地协调资源、流程和构造，以便疾速无效地施行其策略？策略投资组合治理企业是否决定并利用适当的投资政策来无效治理数字服务组合，以减速采纳数字实际和技术？综合数字化经营数字化能力是否适当地、全面地整合到企业的策略中，同时与必要的传统做法保持一致？三、ODMM模型：以客户为核心此维度评估企业如何踊跃利用客户洞察为其客户提供个性化路线体验。ODMM假如最好的数字企业通过关注品牌、由外而内的客户体验和体验治理来做到这一点。以客户为核心蕴含以下子维度。 3.1 品牌信赖三级因素评估的具体方面品牌承诺组织是否在所有业务流动中分明地表白了一个通过三思而行、清晰统一的品牌承诺，该承诺与客户和员工的需要以及相干欲望保持一致？品牌定位公司提供和提供的服务和体验是否反对并在现实状况下增强了品牌宣传？品牌信赖品牌是否受到所有利益相关者和支持者的信赖？3.2 客户体验三级因素评估的具体方面个性化和主动性产品和服务是否依据集体/企业实体的需要被动定制、提供和交付？客户可视性和管制客户是否轻松拜访和管制所承受服务的各个方面？在线社交客户是否应用社交渠道和社区与企业及其其余客户接触，以取得和提供帮忙和反对、宣传、发现新产品并提供反馈？结构性和额定价值是否为客户提供了额定的价值和便当来阻止客户散失？3.3 治理教训三级因素评估的具体方面跨职能部门问责组织内的所有职能部门是否都非常重视客户体验并致力改良？教训驱动设计向最终用户提供的端到端体验是设计和引入新产品和服务的关键因素吗？全渠道治理全渠道治理是否被视为调整和合理化客户接触点的工具，以及继续进步所有接触点的客户体验程度？客户体验测量组织是否可能接触到客户之声提供的反馈，并依据反馈采取行动？繁多客户视图组织是否对每个客户的状态和行为有一个繁多的全面的认识？合作伙伴协调组织的合作伙伴是否有相似的客户体验治理实际和规范？四、ODMM模型：数字文化、人才和技能这一维度掂量了加强数字化劳动力所需的工具、技能和流程，评估了一个组织如何招聘、保留和激励其团队成员。 4.1 数字文化三级因素评估的具体方面数字化领导力组织是否激励和展现数字化领导的特色和行为，如佣人领导和循证治理？适应心态与个体习惯组织如何利用数字连贯和资源来发明激励翻新和发明独特个体文化的工作环境？团队敏捷性和赋权组织如何提供和激励由不同技能、职能和地区组成的团队（“变形虫静止”）？具体措施包含社会化独特指标和独特责任，为他们提供实时治理和跟踪可交付成绩所需的数字工具和资源。数字化工作场合教训工作的设计，工作环境和相干的政策是否能带来良好的员工体验？社会化媒体互连性员工是否通过社交媒体参加外部流动？4.2 组织数字人才三级因素评估的具体方面人才获取组织在吸引、招聘和留住最佳数字人才方面做得如何？扩大劳动力是否利用了众包和寰球信息栅格等非传统人力资源提供的机会？动机和成就员工的积极性和成就感如何？4.3 继续学习三级因素评估的具体方面退职结构化学习学习是否被视为一种继续的流动，并作为商业运作的一部分受到踊跃的激励和促成？组织常识治理常识在整个组织中的获取和共享状况如何？数字化学习交付组织是否充分利用数字化办法来布局、提供和跟踪集体培训和倒退需要？资格和认证组织是否通过认证来培养人才，进步员工的整体数字技能？五、ODMM模型：翻新与精益交付该维度评估组织与合作伙伴生态系统一起疾速高效地创立和交付翻新数字产品和服务的能力。 5.1 规模翻新三级因素评估的具体方面翻新范畴和筹备水平组织是否在明确界定的范畴内翻新？参加生态系统组织是否与生态系统合作伙伴无效单干以推动翻新？设计思维实际设计思维是否在组织内宽泛实际，以反对以人为核心的想法和解决方案的生成？业务推广是否制订了无效引入和推动疾速采纳新数字服务的流程？生命周期治理基于真实世界数据的定义良好的流程是否管制着数字服务/产品的整个产品生命周期？5.2 精益交付三级因素评估的具体方面麻利开发在服务/产品开发过程中，需要和解决方案是否通过自组织和跨职能团队及其客户/最终用户的合作而演变？全栈监控是否集成了来自各个监控解决方案的数据以创立一个残缺的堆栈监控显示？反馈和基于剖析的响应真实世界的生产信息和反馈是否被用作经营和服务治理的根底？继续交付开发团队是否在短周期内生产服务/产品，确保服务/产品能够在任何时候牢靠地公布给客户/最终用户？5.3 按需供应链三级因素评估的具体方面回应变动供应链是否与无摩擦的信息共享紧密结合，以及作为一个整体疾速响应一直变动的环境所需的灵活性？延长价值链合作伙伴的优化设计价值链是否用于为客户提供最大价值？六、ODMM模型：大数据与人工智能该维度评估组织通过进步经营效率和降低成本以及通过增加收入来利用数据发明业务价值的水平。 6.1 数据治理三级因素评估的具体方面元数据管理组织是否通过提供元数据、业务上下文、标记、关系、数据品质和应用的全面、对立的视图，通过业务剖析和数据治理最大化信息资产的业务价值？主数据管理治理共享数据是否能够升高与数据冗余相干的危险，确保更高的品质，并升高数据集成的老本？数据品质组织是否将品质治理技术利用于数据，以确保数据适宜生产并满足数据消费者的需要？数据策略和政策是否制订了数据资产治理的策略和政策，包含相干决策权的确定和执行？数据安全和隐衷组织如何布局、制订和执行平安政策和程序，以提供数据和信息资产的适当身份验证、受权、拜访和审计？6.2 数据利用三级因素评估的具体方面数据驱动决策业务决策是否基于相干数据，而不仅仅是直觉，并由此带来可量化的经营绩效改良？数据货币化是否通过更个性化的营销和销售以及改良业务流程和决策产生额定支出？信息是否与新的和现有的客户和合作伙伴进行了内部货币化？数据迷信与人工智能组织是否领有弱小的剖析（机器学习/数据迷信）能力来形容、预测和改良业务绩效？数据可视化数据的图片和图形示意是否用于帮忙解释概念、想法和事实？6.3 数据工程三级因素评估的具体方面数据集成和互操作性应用程序和组织外部及之间的数据挪动和整合是否失去良好治理？数据仓库和数据存储布局、施行和管制过程是否到位，以反对疾速不便的报告、查问和剖析的形式存储数据？数据架构和建模是否确定了组织的数据需要，并制订了主架构（architecture）蓝图以满足这些需要？这包含确定数据需要的范畴和在综合数据模型中捕捉这些需要。七、ODMM模型：技术的先进性这一维度评估了组织在多大程度上可能采纳新的数字技术以及定义明确、无效的治理，以提供齐全自动化、可扩大和牢靠的经营。 7.1 技术治理三级因素评估的具体方面网络安全和数字风险管理该组织是否有一个强有力和无效的网络安全政策和实际，以确保其信息和通信技术资产的平安，同时实现业务指标？凋谢规范组织如何无效地利用凋谢源代码、凋谢规范和开放平台实现ICT敏捷性？技术政策和路线图组织如何定义和施行其技术策略、治理、架构和路线图，以实现敏捷性，同时确保规模上的协调？环境影响和老本组织如何治理其环境影响，包含能源消耗？7.2 技术操作三级因素评估的具体方面服务编排是否有一个齐全自动化、自我修复、可扩大和牢靠的操作环境？可靠性工程软件工程实际和技术是否利用于云级操作以实现更高级别的可靠性和可恢复性？开发平台和工具链组织是否领有所需的开发平台和反对应用程序，以便应用最合适的技术高效地开发新的应用程序和服务？智能自动化组织是否对过程自动化解决方案，特地是RPA进行了适当的考察和投资？7.3 根底技术三级因素评估的具体方面云计算组织是否充沛无效地利用了云计算和相干的古代基础设施实际？API和微服务数字服务在多大程度上是应用基于微服务的体系结构和API连贯实现的？网络虚拟化网络性能是否作为一个在规范硬件上运行的基于软件的实体来实现？千兆连贯、视频和物联网该组织在多大程度上采纳了最新的无线、固话、物联网和边缘计算技术来提供数字服务？新兴的技术组织在多大程度上放弃对新兴技术的意识和利用？八、写在最初的话好了，对于ODMM模型就介绍到这里了。 看到这里你有什么感觉？是不是感觉ODMM和我之前分享的数据治理能力成熟度评估模型相似呀？都是先划分能力域，再划分能力指标，而后依据企业现状对每个指标进行打分，最初再给出综合评估，从而失去企业数字化的成熟度。 这个过程很好了解，然而我猜你须要的不仅是理解应用ODMM的过程，更须要ODMM的具体评估指标和打分模板。 没错，咱们曾经为你筹备好了，下图关注公众号后盾回复关键字“ODMM”，即可下载数字化能力成熟度评估的全套模板！ 起源：谈数据 作者：石秀峰 申明：文章取得作者受权在IDCF社区公众号（devopshub）转发。优质内容共享给思否平台的技术伙伴，如原作者有其余思考请分割小编删除，致谢。 IDCF DevOps黑客马拉松，2021年度城市公开赛，11月6-7日，深圳站，企业组队参赛&集体参赛均可，一年等一回，错过等一年，连忙上车~公众号回复“黑马”退出

摘要：为了更深刻了解千亿参数的盘古大模型，华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦。谢博士以十分艰深的形式为咱们娓娓道来了盘古大模型研发的“前世今生”，以及它背地的艰巨往事。本文分享自华为云社区《华为高级研究员谢凌曦：下一代AI将走向何方？盘古大模型探路之旅》，原文作者： 华为云社区精选 。 “每个人都生存在特定的时代，每个人在特定时代中的人生道路各不相同。在同一个时代，有人感慨生不逢时，有人只愿安分……”这是2021年北京高考命题作文“论生逢其时”的结尾。 答题的是一位既没上过小学，也没读过初中、高中的非凡考生。他只是在短时间内学习了大量人民日报的文章，而后凭借本人的浏览了解、文本联想以及语言生成能力，写出这篇看似“像模像样”的高考作文。 是的，它是一个AI——华为云盘古大模型，就在2021世界人工智能大会（WAIC2021）上刚被评比为大会的“镇馆之宝”！在现场，观众可与大模型互动，间接给对方出题。比方，一句“明明明明明白白白喜爱他，但他就是不说，他很高冷。”这句话里，“明明”显示一个人名，而后又作为形容词，且整句须要断句。但当记者向大模型发问 “白白喜爱谁？”时，大模型很快答复“明明”。答复正确！ 尽管盘古没有寒窗苦读十几年，但它也经验了上亿参数的“学习”。 咱们再来看个例子，比方了解上面这两句话： 小明在读书，通过一直保持，克服各种艰难，最初读完了。小红在画画，期间遇到了很多艰难，最初也实现了这副画作。尽管下面两句话的人物和事件都不雷同，但盘古也能和咱们人类一样，从中提取一个雷同的含意：持之以恒。这个能力其实曾经在华为开发者大会（Cloud）2021现场有所展现。咱们不禁想问道盘古大模型是如何做到如此“痴呆”的呢？ 为了更深刻了解千亿参数的盘古大模型，华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦，思考到大模型波及到的一些技术比拟艰涩，所以谢博士以十分艰深的形式为咱们娓娓道来了盘古大模型研发的“前世今生”，以及它背地的艰巨往事。 华为云EI盘古团队高级研究员 谢凌曦 何为大模型：AI落地千行百业的必由之路神话传说里，盘古开天辟地，宇宙从一片混沌变得有序。谈及盘古大模型，谢凌曦从人工智能的诞生开始说起。 “上世纪50年代，AI概念被提出，人们应用人工设计规定的形式去定义AI；到了80年代，在大数据的浪潮下，人们通过训练数据模型的形式来实现AI；前期随着数据规模扩充以及算力的倒退，深度学习掀起新浪潮，各种AI模型不断涌现。” “直到近两年，咱们开始将跨畛域的常识整合到AI模型中，基于Transformer构造的各种大模型呈现，包含OpenAI的GPT-3，以及盘古大模型。它们关上了深度学习模型的规模与性能独特倒退的场面，达到了深度学习畛域新的高度。”谢凌曦说道。 过来十年，AI 算法对计算资源的需要增长了40万倍，神经网络从小模型到大模型曾经成为了必然的发展趋势。大模型可能解决 AI 模型定制化和利用开发碎片化，它能够排汇海量的常识，进步模型的泛化能力，缩小对畛域数据标注的依赖。 大模型一方面激活了深度神经网络对大规模无标注数据的自监督学习能力，同时对于 AI 框架的深度优化和并行能力都有很高的要求，是深度学习框架下将AI做到极致的集大成者。“从传统办法到深度学习，这是一次大的跳跃，而在深度学习这个台阶上，大模型曾经站在了最后面，期待着下一个台阶的呈现。” 以后盘古系列超大规模预训练模型，包含NLP大模型、CV大模型、多模态大模型、和科学计算大模型。 模型大意味着它排汇了海量数据常识，以盘古NLP大模型为例，它学习了40TB的中文文本数据；盘古CV大模型则蕴含了30亿+参数。这些数据进步了大模型的泛化能力，晋升算法对陈腐样本的适应能力，从而学到隐含在数据背地的法则，缩小对畛域数据标注的依赖。 谢凌曦进一步解释道，一方面大模型能够从无标注数据上更加通用的将常识迁徙到指标工作上，进而晋升工作性能；另一方面，通过预训练过程学习到更好的参数初始点，使得模型在指标工作上只需大量数据就能达到不错的成果。 当大模型能够从小数据样本中学习更多，就能帮忙咱们关上走向通用AI的大门，它能够解决AI模型定制化和利用开发碎片化的难题。 谢凌曦给咱们算了一笔账，他认为AI算法落地难不是因为它无奈解决理论问题，而是利用场景太狭隘，每个痛点都须要定制化开发，从而导致投入的老本和人力过高。 一旦场景变动，整个模型可能都须要从新开发。而大模型是一种工业化AI开发的新模式，能够解决小模型的定制化难题，让一个模型能够利用到多个场景中，让AI真正落地到千行百业中。 所以，作为这个时代倒退的必然产物，大模型值得咱们下功夫去开掘，去摸索深度学习、乃至AI的下一个阶段会是怎么的状态。 在这之前，咱们须要先弄明确大模型是如何被炼成的。 不止参数，盘古NLP和CV大模型有更多“绝招”谷歌1月份提出1.6万亿参数大模型Switch Transformer；英伟达、斯坦福联结MSR，独特训出了10000亿参数的GPT；智源研究院公布1.75万亿参数大模型悟道2.0；…… 在各种新闻报道中，咱们很容易将大模型的冲破归功于亿级别的参数。 谢凌曦颠覆了这个刻板印象：“量大和多样是大模型的必然要求，但参数并不是掂量模型能力的最佳指标。如果将大模型训练的中间状态都存储下来，做个简略的交融，咱们甚至能够把模型的参数量乘以一个十分的数，甚至能够说当初曾经有百万亿、千万亿参数的模型，但这并不会对模型的成果有很大的帮忙。因而，参数量这个指标，并不是大模型强弱的最终评定规范。” 大模型是一种兼顾了数据预处理、模型架构、算法训练与优化的一套残缺体系，即使有足够的算力、原始数据、原始模型，也并不象征可能做出真正跑得通的大模型，这其中十分考验技术研发和协同能力。 但毋庸置疑的是，数据越多，大模型学到的也就越多。“只有你给它足够多的数据，让他‘死记硬背’，它的理解能力的确会加强。”什么样的数据决定了模型有什么样的根本成果。谢凌曦示意，基于大量的参数，模型可能学会数据之间的关系，形象出逻辑能力，更加智能化。 盘古NLP大模型在最近的 CLUE 榜单上，盘古的NLP模型在总榜、浏览了解排行榜和分类工作排行榜上都位列第一，总榜得分比第二名高出一个百分点。为了阐明盘古的NLP模型是如何在理解能力上靠近人类的，回到文章的结尾，谢凌曦举了咱们开篇提到的那个“持之以恒”的例子解释： 小明在读书，通过一直保持，克服困难最初胜利了。小红在画画，期间遇到了很多艰难，最初也实现了这副画作。人类能够很容易的通过逻辑判断能力晓得两件事表白的是同一个意思：持之以恒，但大模型须要大量的数据投喂和学习，去捕获元素与元素之间的关系，比方两段文本之间的关系，几段文本之间，哪两段之间关系更近一些，能力得出逻辑性的判断论断。 还是下面的例子，如果把2改成为“小明在读一本书，期间遇到很多艰难，可最初也没能读完”，这样1和2的文字十分类似，但其实两者表白的是齐全不同的含意。 大模型须要学会判断这种关系，谢凌曦解释道：“表征（从文本和图像中间接抽取的简略特色）和语义之间的关联性是极其简单的，人可能了解，但让计算机去了解并建设计算模型就十分艰难，大模型就心愿以大数据的形式以及堆砌大量可训练参数去实现这件事。” 如果想要大模型了解咱们的逻辑世界，参数之外的功夫也至关重要。 首先，千亿参数的大模型每优化一次就会消耗微小的老本，牵一发而动全身。所以谢凌曦和团队抉择在预训练阶段退出基于prompt的工作，升高微调难度，解决以往大模型为不同行业场景进行微调的艰难。在上游数据短缺时，微调难度的升高使得模型能够随着数据变多而继续优化；在上游数据稀缺时,微调难度的升高使得模型的少样本学习效果失去显著晋升。 盘古NLP大模型架构 另外，在模型构造下面，跟传统其余企业训练的NLP大模型的形式不同，盘古看重的不仅是大模型有生成能力，还要有更强的理解能力。华为采纳了Encode和Decode的架构，来保障盘古大模型的在生成和了解下面的两个性能。 盘古CV大模型针对盘古CV大模型，谢凌曦同样先举了一个例子：如何辨别红色猫和红色狗的图片？人类看到这两张图片能一眼辨认进去哪只是猫，哪只是狗，那么大模型面对这些是如何解决的呢？ “咱们须要让模型在训练的过程中，理解这些样例之间真正强关联性的货色。” 谢凌曦强调图像中十分重要的一个货色就是层次化的信息。“在判断图像的过程中，首先要把握好图片中层次化的信息，可能疾速的定位到图片中哪局部信息是起决定作用的，让算法以自适应的形式去关注比拟重要的中央或内容，这样就容易捕获样本之间的关系。在这两张图片中，很显著红色不是最重要的信息，动物才是图片中起决定性的信息。” 盘古CV大模型架构 基于此，盘古CV大模型首次兼顾了图像判断与生成能力，能同时满足底层图像处理与高层语义的了解需要，同时可能交融行业常识的微调，疾速适配各种上游工作。 另外，为了解决模型大，数据多带来的学习效率低，表征性能弱的问题，盘古CV大模型在预训练阶段次要集中在数据处理、架构设计和模型优化三个阶段进行优化。目前盘古CV大模型在Image Net 1%、10%数据集上的小样本分类精度上均达到目前业界最高程度。 在CV大模型中，除了利用一些业界通用的算法，其中也有华为自研的算法，比方在视觉中强行给模型注入一些层次化的信息，让模型可能学的更好。 而每个自研算法的的背地，其实都是团队解决每一个艰难之后的贵重经验总结。 大模型研发很难，还好有他们在整个盘古大模型的研发过程中，难点很多，比方上文提到的独创算法，因为除了架构和数据，算法是十分外围的技术。 谢凌曦具体谈了谈其中的一个技术难点：无论是文本信息，还是图像信息，表征上看起来类似的货色，语义了解上却截然不同。 “咱们从问题登程，发现视觉特色是一个层次化的捕获过程，表征的一些特色更多的是集中在浅层特色外面，但到了语义就更多体现在深层特色外面。所以，须要咱们在不同层面上把这些特色对齐，这样能力学的更好。同样，在NLP上须要将模型的注意力放在一个最合适的中央。这个关键点也是通过简单的神经网络寻找到的，而并非轻易在一段文字中利用算法去找到关键点。” 这是一个很艰深的解释，技术细节绝对会更简单和难以抽象化形容。但这个问题也只是冰山上的一角，整个大模型的研发中，谢凌曦和团队要一直去开掘表象问题的实质，解决相似的技术难题。 另一个比拟辣手的问题是模型的调试运行。为了从预训练获取更多的常识，盘古大模型的数据必定会越来越大，对底层的硬件平台性能要求更高。此时，预训练的成果，看的也曾经不是模型自身，而是基础设施构建得是否足够优良。 比方运行大模型须要足够的机器提供短缺的算力，但一台机器最多只能装置8个GPU卡。NLP大模型须要上千个GPU卡，即便是较小的CV大模型，也须要128块GPU同时运行，所以必须有一个十分好的机制去正当调配资源。 巧妇难为无米之炊，最开始的时候谢凌曦也很苦恼，谁来撑持大模型的运行呢？实践证明，华为云为盘古提供的可多机多卡并行的云道平台起了大作用。云道平台可能轻松分配资源，防止因基础设施问题导致的盘古研发进度碰壁，它同时能够将数据，以最合适的格局存储在服务器上，以便在应用过程中更无效的读取。 不仅如此，大模型的艰难也难在工程上，华为CANN、MindSpore框架、ModelArts平台协同优化，充沛开释算力，为盘古大模型提供了弱小的背地撑持： 针对底层算子性能，基于华为CANN采纳了算子量化、算子交融优化等技术，将单算子性能晋升30%以上。华为MindSpore创新性地采纳了“流水线并行、模型并行和数据并行”的多维主动混合并行技术，大幅升高了手动编码的工作量，并晋升集群线性度20%。MindSpore开源框架加持，如何「炼出」首个千亿参数、TB级内存的中文预训练语言模型？粗疏解读了这些关键技术。ModelArts平台提供E级算力调度，同时联合物理网络拓扑，提供动静路由布局能力，为大模型训练提供了最优的网络通信能力。但家喻户晓，大模型之所以大，本源在于“数据多、模型大”，这就带来模型的训练老本高。以GPT-3为例，训练一次老本是1200万美金。谢凌曦感叹道，“大模型调参自身就十分艰难，每一次模型训练之前，都须要当时在很多小的场景中做验证工作。每一次模型的训练都须要确保十拿九稳，不能呈现曾经开始训练，却有一个Bug存在的景象”。 为“利用”而生，盘古赋能更多用户大模型训练在各方面冲破，也为不足大量数据的行业铺上接入智能时代的轨道。正如华为云人工智能畛域首席科学家、IEEE Fellow田奇传授在公布盘古大模型所提到的，盘古大模型是为各行业的利用而生，盘古具备前所未有的泛用性，无论是2B场景或是2C场景。 行业常识来源于行业数据，盘古团队应用了大量行业语音和文本数据，借助这些数据进行微调，模型的行业特定用意和常识理解能力得以大幅提高。 ...

摘要：对偶实践（Duality theory）就是钻研线性规划中原始问题与对偶问题之间关系的实践。本文分享自华为云社区《对偶实践与对偶单纯性法》，原文作者：井冈山_阳春 。 线性规划（Linear Programming,简称LP）是运筹学中钻研较早、倒退较快、利用宽泛、办法较为成熟的一个重要分支，它是辅助人们进行科学管理的一种数学方法。对偶实践（Duality theory）就是钻研线性规划中原始问题与对偶问题之间关系的实践。 1. 对偶问题的提出对偶是对同一问题，从两种不同角度观察，有两种拟似对抗的表述。例如“矩形面积与周长的关系”有如下两种表述： 周长肯定，面积最大的矩形是正方形；面积肯定，周长最短的矩形是正方形。再比方，生产打算问题，如图一所示，某工厂要生产两种产品I和II，生产原料别离是A和B，且对总的生产设施台时也有限度， 那么，别离生产多少件产品I和II，能力使生产的利益最大化，很显然，从卖家的角度，利用线性规划，失去的优化模型M1： 其中x1和x2别离是打算生产产品I和II的件数。换一个角度，从买家的角度，不买产品二是间接买生产原料，从盈利的角度登程假如每件生产原料的价格跟别是y1、y2和y3，买家心愿购买的老本是最小的，于是有了上面的优化模型M2： 以上是两个阐明对偶问题的例子。上面间接给出原问题和对偶问题的对应关系表： 这种对应关系是能够通过拉格朗日对偶推导失去的，这里不作具体介绍，感兴趣的同学能够参考https://www.zhihu.com/questio...。 2. LP规范问题的对偶问题规范LP问题： 对偶问题： 对原问题与对偶问题解的关系做一些简略的推导： 其中xB和xN别离对应基变量和非基变量，B和N是基变量和非基变量对应的矩阵，cB和cN对应代价系数。由以上的推导能够看出，对偶问题的解与原问题的测验数有对应关系，这个关系对于了解对偶单纯形法十分重要。 3.对偶问题的性质3.1 对称性 3.2 弱对偶性弱对偶性表明，只有找到原问题和对偶问题的一个可行解，则可能确定彼此的上下界。由弱对偶性能够失去两个重要的推论： 3.3 强对偶性 3.4 最优性条件 4. 对偶单纯性法首先从大的概念上，对原始单纯形法和对偶单纯形法做一下了解： 接下来推导对偶单纯形法，实际上对偶单纯形法和单纯形法次要的区别就在与进基和出基的策略不一样，上面具体介绍对偶单纯形法进基和出基策略的推导，须要强调的是，对偶单纯形法推导的前提是初始解满足对偶可行性（原问题的测验数都大于0）。 最初，给出对偶单纯形法的具体步骤： 点击关注，第一工夫理解华为云陈腐技术~

摘要：决策树剪枝策略：先剪枝、后剪枝，用于解决过拟合问题。本文分享自华为云社区《浅析决策树的成长和剪枝》，原文作者：chengxiaoli。 决策树(Decision Tree）是在已知各种状况产生概率的根底上，通过形成决策树来求取净现值的期望值大于等于零的概率，评估项目风险，判断其可行性的决策分析办法，是直观使用概率分析的一种图解法。因为这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系，它是一种监督学习。 一．决策树模型首先阐明下什么是决策树呢？决策树是一个相似流程图的树结构：每个外部节点(分支节点/树枝节点)示意一个特色或属性，每个树叶节点代表一个分类。 在决策树的成长过程中次要会存在的问题是：对于抉择分支节点的主观性较强。解决办法：利用信息熵或信息增益解决因为人主观判断问题，只须要计算信息熵或信息增益再排序从而正确分类的过程。 信息增益的含意 ：划分数据集前后信息产生的变动。 熵：物理学中指物体能量的散布平均状况，信息熵：对信息的不确定性的度量：公式：H(x)=-sum(plog(p))。信息熵越小，不确定性越小，确定性越大，信息的纯度越高。H(D)是数据集D的熵，计算公式： Ck是在数据集D中呈现k类的数量，N是样本的数量，类别的总数。H(D|A) 是特色A对与数据集D的条件熵，其意义是：在子集Di中Y的散布。计算方法是： GainA(A的信息增益)=H_All(总体的信息熵)-H(A)(以A节点作为划分节点的信息熵)决策树中分支节点抉择：信息增益大的作为分支节点信息增益越大，信息熵越小，信息不确定性越小，确定性越大，纯度越高。综合之后信息增益的公式： 特色A对训练集D的信息增益比gR(D,A)定义为 HA(D)刻画了特色A对训练集D的分辨能力，信息增益率改良因为信息增益偏差特色取值较多的不足之处，应用信息增益率进一步划分决策树。 以上决策算法：ID3算法-信息增益、C4.5算法-信息增益率。决策树剪枝策略： 先剪枝、后剪枝，用于解决过拟合问题。 二．ID3和C4.5划分策略ID3和C4.5算法的划分思维：依据信息增益或信息增益率抉择构建决策树的分支节点，顺次递归建树。 决策树构建的根本步骤：(1)如果所有的属性都被用于划分，间接完结； (2)计算所有特色的信息增益或信息增益率，抉择信息增益较大的(如a节点)值对应的特色进行分类； (3)如果应用a节点作为划分节点没有划分实现，接下来应用除去a节点之外的其余特色节点中信息增益较大的进一步进行建设决策树。（递归建设决策树） 决策树进行进行成长的条件：如果属性都用于划分，间接完结；如果还有没有被划分的节点，应用少数表决；如果所有样本都曾经分类，间接完结；定义最大不纯度进行度量；定义叶子节点的数目；定义分支节点蕴含的样本个数。三．决策树剪枝决策树是充分考虑了所有的数据点而生成的简单树，有可能呈现过拟合的状况，决策树越简单，过拟合的水平会越高。决策树的构建过程是一个递归的过层，所以必须确定进行条件，否则过程将不会进行，树会不停成长。 先剪枝：提前结束决策树的增长。预剪枝升高了过拟合的危险,缩小了决策树的训练工夫开销和测试工夫开销.带来了欠拟合的危险。 后剪枝：是指在决策树成长实现之后再进行剪枝的过程。—— 最小谬误剪枝技术(MEP)，乐观谬误剪枝(MEP)和代价复杂度剪枝(CCP)泛化性能往往优于预剪枝决策树,训练工夫开销比未剪枝的决策树和预剪枝的决策树都要大得多。 总结：应用决策树进行分类的长处是十分直观，便于了解，并且执行效率高，执行只须要一次构建，可重复应用。然而对小规模数据集才更无效，而且在解决连续变量时成果不好，较难预测间断字段，在类别较多时，谬误减少的比拟快。 参考文献[1] 陈雷.深度学习与MindSpore实际[M].清华大学出版社：2020. [2] 诸葛越，葫芦娃.百面机器学习[M].人民邮电出版社：2020. [3] 阿斯顿.张，李沐.入手学深度学习[M].人民邮电出版社：2020. 点击关注，第一工夫理解华为云陈腐技术~

摘要：千亿参数量的中文大规模预训练语言模型时代到来。本文分享自华为云社区《 MindSpore开源框架加持，如何「炼出」首个千亿参数、TB级内存的中文预训练语言模型？》，原文作者：chengxiaoli。 千亿参数量的中文大规模预训练语言模型时代到来。 近段时间，中文大规模预训练语言模型圈有些冷落。26 亿参数量的「悟道 · 文源」， 270 亿参数量的 PLUG，以及昨天华为云公布的千亿级别「盘古」NLP 大模型，预训练语言模型曾经成长到仅加载就须要 TB 级的内存或显存。 咱们能够直观地想到，「盘古」成果理当更好，但计算量需要也更大，训练起来更艰难。 然而「盘古」实际上是这样一次摸索：开源框架 MindSpore，昇腾根底软硬件平台，加上超大规模中文预训练模型，意味着基础设施未然欠缺了。 这项工作由华为以及北京大学相干技术团队联手实现，在昇腾根底软硬件平台，以及 MindSpore 框架主动并行等黑科技的帮忙下，训练出以后最大的中文预训练模型。 那么量级一直拔高的盘古大模型是如何训练进去的？接下来，让咱们粗疏解读下「盘古」背地的关键技术。 千亿参数，TB 级内存的模型以盘古 2000 亿为例，如果咱们训练时权重都用规范的 FP32 数据格式，那么算下来，权重占的空间就达到了 750GB，训练过程中内存开销还会数倍回升。这 750GB 参数，不是放在硬盘上，也不是加载到内存中，而是须要移到昇腾Atlas训练服务器 HBM（High Bandwidth Memory 高带宽存储器）内存中，以利用昇腾Atlas训练服务器训练模型。 模型大 ，意味着数据也大，而且都须要是高质量数据。为了满足数据需要，研发团队从互联网爬取了 80 TB 文本，并最初荡涤为 1TB 的中文数据集。 这样的模型与数据，曾经不是咱们几台服务器能加载上的了，更不用说进行训练。好在研发团队会提供 API，个别算法工程师间接调用接口就能试试成果。 能够说，目前盘古是业界独创的千亿规模中文预训练模型，其中最高参数量达 2000 亿。 超大规模主动并行，算法工程师的福音先思考一个问题，你想到如何训练这样的大模型了吗？ 如果给你足够的计算力，你能想到如何训练这么大的模型吗？咱们最罕用的分布式训练形式数据并行，独自这么做必定是不行的，因为没有哪个计算硬件能放下 800GB 的参数。那么再加上模型并行呢？又产生了新问题，咱们该如何拆分如此微小的「盘古」？硬件产品（如 NPU、GPU 等）之间的梯度流、数据流通信又是什么样的？ 显然训练如此宏大的模型，远比咱们设想中的简单，须要大量的工程化操作，并保障这些操作不会或极少影响到模型最终收敛成果。 难道盘古真得靠手动并行优化？ 如果手动来写分布式训练逻辑，那么须要综合思考计算量与类型、集群带宽、拓扑构造、样本数量等等一大堆简单的货色，而后再设计出性能比拟优良的并行切分策略，并编写大量并行切分和节点间的通信代码。如果零碎环境变了，还要从新设计并批改算法，想想就感觉头大。 假使咱们用 TensorFlow 或其余相似框架，MirroredStrategy 这一系列自带的分布式策略齐全用不上，看起来自行写并行策略是必不可少的。然而，盘古 真正的训练是一种软硬件协同的形式，MindSpore 计算框架、CANN 异构计算架构、昇腾根底软硬件平台整套基础设施。其中，MindSpore 提供的，就蕴含了至关重要的主动并行能力。 交融 5 大维度，弱小的主动并行MindSpore 主动并行提供了 5 维的并行形式：数据并行、算子级模型并行、Pipeline 模型并行、优化器模型并行和重计算，并且在图编译阶段，有机交融了 5 个维度的并行。这 5 维并行形式组合起来形成了盘古的并行策略。 ...

摘要： 4月25日，华为云公布盘古系列超大规模预训练模型，包含30亿参数的寰球最大视觉（CV）预训练模型，以及与循环智能、鹏城实验室联合开发的千亿参数、40TB训练数据的寰球最大中文语言（NLP）预训练模型。后续，华为云还将陆续公布多模态、科学计算等超大预训练模型。本文分享自华为云社区《HDC.Cloud 2021 | 华为云公布寰球最大预训练模型，开启工业化AI开发新模式》，原文作者：技术火炬手 。 4月25日，华为云公布盘古系列超大规模预训练模型，包含30亿参数的寰球最大视觉（CV）预训练模型，以及与循环智能、鹏城实验室联合开发的千亿参数、40TB训练数据的寰球最大中文语言（NLP）预训练模型。后续，华为云还将陆续公布多模态、科学计算等超大预训练模型。 华为云人工智能畛域首席科学家、IEEE Fellow田奇示意：“预训练大模型是解决AI利用开发定制化和碎片化的重要办法。华为云盘古大模型能够实现一个AI大模型在泛滥场景通用、泛化和规模化复制，缩小对数据标注的依赖，并应用ModelArts平台，让AI开发由作坊式转变为工业化开发的新模式。” ▲华为云人工智能畛域首席科学家、IEEE Fellow田奇 寰球最大中文语言预训练模型，刷新CLUE三项榜单世界纪录盘古NLP大模型是寰球最大的千亿参数中文语言预训练模型，由华为云、循环智能和鹏城实验室联合开发，预训练阶段学习了40TB中文文本数据，并通过行业数据的样本调优晋升模型在场景中的利用性能。 盘古NLP大模型在三个方面实现了突破性停顿： 第一，具备当先的语言了解和模型生成能力：在权威的中文语言了解评测基准CLUE榜单中，盘古NLP大模型在总排行榜及分类、浏览了解单项均排名第一，刷新三项榜单世界历史纪录；总排行榜得分83.046，多项子工作得分业界当先, 向人类程度（85.61）迈进了一大步。 ▲盘古NLP大模型位列CLUE榜单总排行榜第一 在NLPCC2018文本摘要工作中，盘古NLP大模型获得了Rouge平均分0.53的业界最佳问题，超过第二名百分之六十。 第二，盘古NLP大模型在预训练阶段积淀了大量的通用常识，既能做了解又能做生成。除了能像GPT-3等仅基于端到端生成的形式以外，大模型还能够通过少样本学习对用意进行辨认，转化为知识库和数据库查问。通过性能的模块化组合反对行业知识库和数据库的嵌入，进而对接行业教训，使能全场景的疾速适配与扩大。比方在华为云和循环智能单干构建的金融客服场景中，盘古NLP大模型能更好地赋能销售环节，帮忙服务人员疾速晋升业务水平，重塑消费者体验。 第三，盘古NLP大模型采纳大模型小样本调优的路线，实现了小样本学习工作上超过GPT系列。比方在客户需要剖析场景中，应用盘古NLP大模型生产语义标签时，失去指标后果所需的样本量仅为GPT系列模型的十分之一，即AI生产效率可晋升十倍。 30亿参数，寰球最大视觉预训练模型盘古CV大模型是目前业界最大的视觉预训练模型，蕴含超过30亿参数。盘古CV大模型首次兼顾了图像判断与生成能力，从而可能同时满足底层图像处理与高层语义了解需要，同时可能不便交融行业常识微调，疾速适配各种上游工作。盘古CV大模型性能体现优异，在ImageNet 1%、10%数据集上的小样本分类精度上均达到目前业界最高程度（SOTA）。 盘古CV大模型致力于解决AI工程难以泛化和复制的问题，创始AI开发工业化新模式，大大节约研发老本。此外，盘古CV大模型提供模型预训练、微调、部署和迭代的性能，造成了AI开发残缺闭环，极大晋升AI开发效率。目前，盘古CV大模型曾经在医学影像、金融、工业质检等100余项理论工作中失去了验证，不仅大幅晋升了业务测试精度，还能均匀节约90%以上的研发老本。 盘古CV大模型助力无人机电力智能巡检国网重庆永川供电公司是国内晚期利用无人机电力智能巡检技术的电网企业。传统的无人机智能巡检AI模型开发次要面临两大挑战：一是如何对海量数据进行高效标注；二是缺点品种多达上百种，须要数十个AI辨认模型，开发成本高。 华为云与国网重庆永川供电公司单干，在无人机智能巡检AI模型开发上，华为云盘古CV大模型绝对于传统开发模式，展示了其弱小的劣势。 在数据标注方面，盘古CV大模型利用海量无标注电力数据进行预训练，并联合大量标注样本微调的高效开发模式，独创性地提出了针对电力行业的预训练模型，使得样本筛选效率晋升约30倍，筛选品质晋升约5倍，以永川每天采集5万张高清图片为例，可节俭人工标注工夫170人天。 在模型通用性方面，联合盘古搭载的主动数据增广以及类别自适应损失函数优化策略，能够做到一个模型适配上百种缺点，代替原有20多个小模型，极大地缩小了模型保护老本，均匀精度晋升18.4%，模型开发成本升高90%。 盘古大模型背地的撑持盘古NLP大模型波及千亿参数、40TB训练数据，对算法、算力、海量数据处理、并行优化都提出了很大挑战。 在算法方面，华为云的算法团队和循环智能（Recurrent AI）的NLP团队联合攻关，冲破了大模型微调的难题。 鹏城实验室的国内最大规模AI训练集群鹏城云脑II，在盘古NLP大模型训练中展现出弱小的AI算力和数据吞吐能力，为盘古大模型训练打下松软的根底。 另一方面，华为底层软件、训练框架、ModelArts平台协同优化，充沛开释算力，达成全栈性能最优。首先，针对底层算子性能，基于华为CANN采纳了算子量化、算子交融优化等技术，将单算子性能晋升30%以上。其次，华为MindSpore创新性地采纳了“流水线并行、模型并行和数据并行”的多维主动混合并行技术，大幅升高了手动编码的工作量，并晋升集群线性度20%。华为云ModelArts平台提供E级算力调度，同时联合物理网络拓扑，提供动静路由布局能力，为大模型训练提供了最优的网络通信能力。此外，借助ModelArts平台的高效解决海量数据能力，仅用7天就实现了40TB文本数据处理。 截至目前，华为云曾经在全国10多个行业超过600个我的项目进行了人工智能落地和实际，帮忙城市、交通、医疗、钢铁、纺织、能源、金融等行业智能降级。将来，华为云将继续通过技术创新，驱动产业智能降级。 点击关注，第一工夫理解华为云陈腐技术~

摘要：针对有肯定AI根底的AI初学者，ModelArts基于业界的支流引擎提供了预置算法，无需关注模型开发过程，间接应用预置算法对已有数据进行训练，并疾速部署为服务。预置算法可用于物体类别和地位、图像分类等场景。本次试验提供了一个花卉图像分类利用的样例，帮忙您疾速相熟应用ModelArts预置算法构建模型的过程。此样例针对预置的花卉图像数据集，对已有图像数据进行标注，而后应用预置的“ResNet_v1_50”算法对数据进行训练，失去一个可用的模型，最初，将此模型部署为在线服务。部署实现后，用户可通过在线服务辨认输出图片的花卉品种。应用预置算法实现模型构建的步骤如下所示： 步骤1：筹备数据步骤2：训练模型步骤3：（可选）创立可视化作业，查看模型训练过程步骤4：导入模型步骤5：部署上线步骤6：测试服务步骤7：革除相应资源，防止产生费用筹备工作已注册华为云账号，且在应用ModelArts前查看账号状态，账号不能处于欠费或解冻状态。以后账号已实现拜访受权的配置。如未实现，请参考应用委托受权。针对之前应用拜访密钥受权的用户，倡议清空受权，而后应用委托进行受权。已在OBS服务中创立桶和文件夹，用于寄存样例数据集以及模型。如下示例中，请创立命名为“test-modelarts”的桶，并创立如表1所示的文件夹。创立OBS桶和文件夹的操作领导请参见创立桶和新建文件夹。确保您应用的OBS目录与ModelArts在同一区域。 步骤1：筹备数据ModelArts在公共OBS桶中提供了花卉的示例数据集，命名为“Flowers-Data-Set”，因而，本文的操作示例应用此数据集进行模型构建。您须要执行如下操作，将数据集上传至您的OBS目录下，即筹备工作中您创立的OBS目录“test-modelarts/dataset-flowers”。 阐明： 因为“Flowers-Data-Set”数据集已实现数据标注，数据集中文件格式为“.txt”是对应图片的标注文件，因而在此操作步骤中疏忽了数据标注操作。如果您想应用本人的数据集，可跳过此步骤，间接将数据上传至OBS文件夹中，并在步骤2：训练模型操作中间接抉择此目录即可。如果您应用的数据集未进行标注，在创立训练作业前请在“数据管理>数据集”页面创立数据集并进行人工标注。单击数据集下载链接，将“Flowers-Data-Set”数据集下载至本地。在本地，将“Flowers-Data-Set.zip”压缩包解压。例如，解压至本地“Flowers-Data-Set”文件夹下。参考上传文件，应用批量上传形式将“Flowers-Data-Set”文件夹下的所有文件上传至“test-modelarts/dataset-flowers”OBS门路下。步骤2：训练模型数据筹备实现后，您能够创立一个训练作业，选用预置算法“ResNet_v1_50”，并最终生成一个可用的模型。 “ResNet_v1_50”算法基于“TensorFlow, TF-1.8.0-python2.7”引擎，其用处为图像分类。如果您想获取更多预置算法的介绍，您能够在“训练作业”页面中，单击“预置算法”页签，理解ModelArts提供的算法信息，如用处、引擎类型、精度等。 1）在ModelArts治理控制台，在左侧导航栏中抉择“训练治理>训练作业”，进入“训练作业”治理页面。 2）单击“创立”，进入“创立训练作业”页面。 3）在“创立训练作业”页面，填写相干信息，参数填写领导请参见如下步骤。 “算法起源”：单击“抉择”，从“预置算法”列表中，抉择“ResNet_v1_50”算法。“数据起源”：因为导入的数据集已实现标注，因而间接从数据存储地位导入即可。单击“数据存储地位”，而后单击文本框右侧的“抉择”，抉择数据集所在的OBS门路，如“/test-modelarts/dataset-flowers/”。“训练输入地位”：从已有的OBS桶中抉择模型和预测文件存储门路。应用筹备工作中已创立好的“model-test”文件夹。如果没有可用文件夹，您能够单击“抉择”，在弹出对话框中新建文件夹。“运行参数”：抉择“ResNet_v1_50”算法后，默认蕴含“max_epoches”参数，默认值为“100”。针对此示例，倡议将“max_epoches”参数值批改为“10”，1个epoch代表整个数据集训练一遍，此运行参数示意训练10个epoch，“max_epoches”值越大训练工夫越长。“作业日志门路”：从已有的OBS桶中抉择日志存储门路。应用筹备工作中已创立好的“train-log”文件夹。如果没有可用文件夹，您能够单击“抉择”，在弹出对话框中新建文件夹。在根本信息区域，“计费模式”和“版本”为零碎主动生成，不需批改。请依据界面提醒填写“名称”和“形容”。图1 填写名称和形容 在参数配置区域，抉择“算法起源”，设置“数据起源”、“训练输入地位”、“运行参数”和“作业日志门路”。图2 参数配置 在资源设置区域，抉择“公共资源池”，同时设置“规格”和“计算节点个数”。如果抉择应用收费规格，请仔细阅读提示信息，而后勾选“我已浏览并批准以上内容”。 图3 设置应用的资源 单击“下一步”实现信息填写。4）在“规格确认”页面，确认训练作业的参数信息，确认无误后单击“提交”。 5）在“训练作业”治理页面，能够查看新建训练作业的状态。训练作业的创立和运行须要一些工夫，预计十几分钟，当状态变更为“运行胜利”时，示意训练作业创立实现。 您能够单击训练作业的名称，可进入此作业详情页面，理解训练作业的“配置信息”、“日志”和“资源占用状况”等信息。在“训练输入地位”所在的OBS门路中，即“/test-modelarts/model-test/”门路，能够获取到生成的模型文件。 图4 训练作业详情 步骤3：（可选）创立可视化作业，查看模型训练过程目前ModelArts提供的可视化作业默认为TensorBoard类型的作业。TensorBoard是一个可视化工具，可能无效地展现TensorFlow或MXNet在运行过程中的计算图、各种指标随着工夫的变化趋势以及训练中应用到的数据信息。可视化作业以后只反对基于TensorFlow和MXNet引擎的训练作业。 如果训练详情页的详细信息已足够撑持您判断模型好坏并构建模型，您能够抉择跳过此步骤，间接执行步骤4：导入模型的操作。 1）在ModelArts治理控制台，在左侧导航栏中抉择“训练治理 > 训练作业”，而后单击“可视化作业”页签进入“可视化作业”治理页面。 2）在“可视化作业”治理页面，单击“创立”。 3）在“创立可视化作业”页面，设置相干参数，而后单击“下一步”。 可视化作业的类型默认为“可视化作业”，且不可更改。设置可视化作业的“名称”，以及“训练输入地位”。“训练输入地位”须要设置为训练作业中的“训练输入地位”，上述步骤中“训练输入地位”为“/test-modelarts/model-test/”。“主动进行”启用，并设置为“1小时后”进行，防止产生不必要的费用。 图5 设置可视化作业参数信息 4）在“规格确认”页面，信息确认结束后，单击“提交”。 5）进入“可视化作业”治理页面，期待一段时间，当可视化作业的状态为“运行中”时，示意已创立胜利。 针对运行中的可视化作业，您能够单击可视化作业的名称跳转到其可视化界面。您能够通过此界面的信息，理解到此模型的具体训练过程。如果此模型训练过程和参数满足要求，您能够开始执行步骤4：导入模型操作。 图6 可视化界面 步骤4：导入模型训练实现的模型还是存储在OBS门路中，您能够将此模型导入到ModelArts中进行治理和部署。 1）在ModelArts治理控制台中，单击左侧导航栏中的“模型治理>模型”，进入“模型”页面。 2）在“模型”页面，单击“导入”。 3）在“导入模型”页面，设置相干参数，而后单击“立刻创立”。 设置模型的“名称”和“版本”，而后在“元模型起源”参数中，抉择“从训练中抉择”，此时零碎会主动抉择您创立的训练作业，您能够从下拉框中能够抉择零碎中可用的训练作业。因为本示例数据较简略，其余参数采纳默认值。 图7 导入模型 4）模型导入实现后，零碎将主动跳转至模型列表页面。您能够在模型列表页面查看已导入的模型及其版本。 图8 模型列表 步骤5：部署上线模型导入实现后，当状态显示为“失常”时，能够将模型部署上线，可部署为“在线服务”、“批量服务”或“边缘服务”。如下操作步骤以部署为在线服务为例。 1）在“模型治理 > 模型”页面，单击模型名称左侧的小三角，关上此模型下的所有版本。在对应版本所在行，单击操作列的“部署”，而后在下拉框中抉择“在线服务”，进入“部署”页面。 2）在“部署”页面中，设置相干参数，而后单击“下一步”。 设置在线服务的“名称”，将“是否主动进行”性能启用。在“抉择模型及配置”区域中，零碎将主动抉择步骤4：导入模型中的模型及其版本，在“计算节点规格”右侧下拉框中抉择应用的资源，本示例选用“CPU：2核 8GiB”资源部署在线服务。其余参数应用默认值。 “数据采集”和“难例筛选”性能，倡议应用默认值，放弃敞开。 图9 部署为在线服务 ...

原文链接：http://tecdat.cn/?p=393 如何掂量电商存量用户的价值？是上一次购买工夫？生产金额？还是购买次数？通过什么模型进行用户细分对营销流动晋升用户的响应率最无效？ 如果一个电商店铺在2017年4月要发展营销流动，须要对老用户进行优惠券、短信、邮件营销。然而营销费用只够给反对2000个用户。 那么咱们能够通过RFM模型抉择，抉择最有可能相应的2000个用户。 RFM简介 RFM是用于剖析客户价值的办法。通常用于数据库营销和直销。 RFM代表的含意 最近购买 - 客户最近购买了什么？ 购买频率 - 他们多久购买一次？ 购买价值 - 他们花多少钱？ 大多数企业将保留无关客户购买的数据。所须要的是一张表，其中蕴含客户名称，购买日期和购买价值。 最近购买= max（10 - 自客户上次购买以来曾经过来的月数） 购买频率= max（过来12个月内的购买次数） 购买价值= 客户的最高订单价值 客户剖析局部 返回不同商家的用户的RFM数据 表名:userrfm 用户(Userid) 最近一次生产(Recency) [l1] 生产频率(Frequency) 金额(Monetary) 商家(Busid) 100001 1 100002 1 100001 2 自定义剖析局部 设置新客户回头客老客户的购买次数阈值为 p q r(参数在r中设置，前期通过其余形式传递) 表名:frequency 会员类型 条件设置（F）[l2] 会员人数 会员占比 生产金额 客单价 商家名(Busid) 趣味客户 0 120 1 新客户 p 20 1 回头客 q 10 1 ...

原文链接：http://tecdat.cn/?p=2783 新常态下银行信贷风险预警之道 基于决策树银行信贷用户分类 引言 业务背景 我国经济高速倒退，集体信贷业务也随着疾速倒退，而集体信贷业务对进步内需，促成生产也有拉动作用。有正必有反，在集体信贷业务规模不断扩大的同时，信贷的守约等危险问题也日益突出，肯定水平上制约着我国的信贷市场的衰弱倒退。 挑战 近年来，个人消费贷款的类型呈现出多元化的变动与倒退，由本来的繁多贷款品种倒退到明天各式各样的贷款品种，汽车按揭贷款、教育助学贷款、耐用消费品贷款（家电、电脑、厨具等）、结婚贷款等在我国陆续发展。守约危险是指债务人因为各种起因不能按时偿还贷款债权的危险，对于商业银行来说，守约危险次要是指因为贷款人得还款能力降落或者信用程度升高从而守约。 相干实践概述 决策树 决策树(Decision Tree)是用于分类和预测的次要技术， 它着眼于从一组无规则的事例推理出决策树示意模式的分类规定， 采纳自顶向下的递归形式，在决策树的外部节点进行属性值的比拟， 并依据不同属性判断从该节点向下分支，在决策树的叶节点失去论断。因而，从根节点到叶节点就对应着一条正当规定，整棵树就对应着一组表达式规定。决策树是数据分析中一种常常要用到且十分重要的技术，既可能用于数据分析，也可能作预测。基于决策树算法的一个最大的长处是它在学习过程中不须要使用者理解很多背景常识,，只有训练事例可能用属性即论断的形式表达出来， 就能应用该算法进行学习。 基于决策树的分类模型有如下几个特点:（1）决策树办法构造简略,，便于了解；(2)决策树模型效率高，对训练集数据量较大的状况较为适宜；(3)树办法通常不须要承受训练集数据外的常识；(4)决策树办法具备较高的分类精确度。 预警方案设计 数据在进行操作的过程中，咱们一共分了四步，别离是数据分析和拆散数据集、建设训练数据集决策树、评估模型性能、进步模型性能。 数据分析和拆散数据集 在数据进行剖析时，能够从中晓得所有申请者的守约状况。在拆散数据集这一步，咱们将数据分成两局部：用来建设决策树训练数据集和用来评估模型性能的测试数据集，依照80%训练集和20%测试集来拆散样本。总的来看，这两个数据集的比例是大致相同的，所以拆散的两个数据集是正当的。 训练数据集 测试数据集 守约 不守约 守约 不守约 0.31625 0.68375 0.235 0.765 25300 54700 4700 15300 表1 建设训练数据集决策树 图1 图1是训练数据集决策树的根本状况。 图2 图2是训练数据集的局部决策树。 因为咱们咱们的数据宏大，生成的决策树十分的大，上图的输入显示了决策树的局部分枝，咱们用简略的语言来举例解释前五行： （1）如果支票账户余额是未知的，则归类为不太可能守约。 （2）否则，如果支票账户余额少于0，或者1~200之间； （3）月贷款期限少于或等于11个月的 （4）信用记录是危及、好的、优良的、差的，归类为不太可能守约。 （5）信用记录是十分优良的，就归类为很有可能守约。 括号中的数字示意合乎该决策准则的案例的数量以及依据该决策不正确分类的案例的数量。 在决策树中咱们不难发现，为什么一个申请者的信用记录十分优良，却被判成很有可能守约，而那些支票余额未知的申请者却不太可能守约呢？这些决策看似没有逻辑意义，但其实它们可能反映了数据中的一个实在模式，或者它们可能是统计中的异样值。 在决策树生成后，输入一个混同矩阵，这是一个穿插列表，示意模型对训练数据谬误分类的记录数： 家喻户晓，决策树有一种适度拟合训练数据模型的偏向，因为这个起因，训练数据中报告的错误率可能过于乐观，因而，基于测试数据集来评估决策树模型是十分重要的。 评估模型性能 在这一步中应用测试数据集做预测，后果如图3所示。 理论值 预测值 行共计 不守约 守约 不守约 ...

原文链接：http://tecdat.cn/?p=2175/   案例1 早在1995年比尔·盖茨就在《将来之路》里说过：将来没有配套智能家居的房子，就是毛坯房。当你还在纠结“人工智能”安利值不值得吃，最近不少敌人家里又呈现智能门锁，相比传统门锁来说，到底能有多智能？ 早在1995年比尔·盖茨就在《将来之路》里说过：将来没有配套智能家居的房子，就是毛坯房。当初人们生存越来越便捷，人们也更加偏向于智能化家居，当你还在纠结“人工智能”安利值不值得吃，最近不少敌人家里又呈现智能门锁，相比传统门锁来说，到底能有多智能？ tecdat钻研人员对各大电商平台海量用户的评估数据进行剖析，得出智能门锁剁手攻略。 1= 语义透镜顾客满意度和关注点 咱们对于评估数据进行LDA建模，就是从语料库中挖掘出不同主题并进行剖析，换言之，LDA提供了一种较为不便地量化钻研主题的机器学习办法。 咱们应用最大似然预计进行最优化主题个数的选取。当主题个数定为20的时候，似然估计数最大，即留言板数据分为20个主题的可能性比拟大。将模型生成的20个主题中的高频词取出。 图表1 依据各个主题的高频关键词，大略能够将顾客关注点分成5个局部：商家品牌、价格品质、客服徒弟、应用便捷性和包装物流。从上图，咱们发现用户关注的点次要集中在客服对商品问题的急躁解答，徒弟对门锁装置的领导以及包装和物流上。 咱们也发现不少顾客的评论反映出智能门锁的便捷性(e.g.不必带钥匙)和先进(e.g.指纹识别度高)。同时咱们没有发现安全性相干的高频词汇。 2= 顾客埋怨品质、客服服务和物流 接下来，咱们对不同价格和主题的顾客埋怨率进行比拟。 图表2 从价格方面咱们发现价格低于2000的智能门锁购买量最多，同时埋怨率也较高，依据关注点来看，顾客埋怨点次要集中在商品质量和客服的急躁水平。购买量位于第二的价格是高于4000的区间，整体埋怨率最低。购买量位于第三的是2000-3000区间，该区间顾客埋怨点次要集中在商家品牌与物流。最初是3000-4000区间，该区间顾客埋怨点次要集中在价格品质与物流。同时反映出顾客对智能门锁价格有较高心理预期，次要埋怨点在品质、客服服务和物流上。 3= 自营非自营价格和满意度 图表3 从左图能够看出自营和非自营商品在顾客满意度上相差不大，非自营商品的满意度要略高于自营商品。同时能够看到大于4000区间的顾客满意度最高，且都是非自营商品。 从右图中，咱们能够看到满意度对于价格的回归预测后果。图中红线示意的是自营商品，在3000以下的区间，价格越高，满意度反而降落，高于3000的区间中，价格越高，满意度越高。在非自营商品中，3000以下的价格区间中，价格和满意度关系不显著，高于3000的价格区间中，价格越高，满意度越高。 从前文中，咱们发现价格低于3000的商品埋怨率最低的点在于便捷和应用高效，因而给人的感觉性价高，满意度较高，而价格靠近3000时，顾客对客服、物流、品质等预期更高，因而容易成为埋怨的重灾区。当价格靠近和高于4000时，商品的品牌、品质往往又失去保障，因而满意度又回升。 案例2 随着网民规模的不断扩大，互联网不仅是传统媒体和生存形式的补充，也是民心凸显的地带。领导干部参加网络问政的制度化正在成为一种发展趋势，这种趋势与互联网倒退的时代需要是分不开的。 ▼ 人民网《中央领导留言板》是备受百姓注目的民生栏目,也是人民网品牌栏目,被称为“社情民意的集散地、亲民爱民的回音壁”。 基于以上背景，tecdat钻研人员对北京留言板外面的留言数据进行剖析，摸索网民们在呐喊什么。 1 数量与情感朝阳区大众最沉闷 图表 从上图能够看出不同地区留言板的情感偏向散布，总的来说，负面情感留言数目和踊跃情感相差不多，负面情感留言较多，占比46%，踊跃情感留言占比42%，中立情感的留言占比11%。 从地区来看，沉闷在各大媒体的“朝阳区大众”留言数目也是最多的，其次是海淀区，昌平区。因而，从情感散布来看大部分留言还是在反馈存在的问题，而不是一味赞美或者灌水。 2 主题剖析当地户口问题呼声最高 接下来，咱们对于语料进行LDA建模，就是从语料库中挖掘出不同主题并进行剖析，换言之，LDA提供了一种较为不便地量化钻研主题的机器学习办法。 咱们应用最大似然预计进行最优化主题个数的选取。当主题个数定为20的时候，似然估计数最大，即留言板数据分为20个主题的可能性比拟大。将模型生成的20个主题中的前五个高频词取出，如下表所示。 图表 而后咱们将占比最高的前六个主题与它们的情感偏向进行剖析。 图表 从上图能够看出大家对于6大主题的探讨： 主题1反馈孩子，当地户口办理的问题是最多的，反馈了当地落户北京相干的难题（e.g.父母在京工作20多年，儿女上学却因户口问题不能进入好的高校就读）。 主题2是反馈环境革新及棚户革新（e.g.棚户屋宇破旧、墙面湿润、上下水管道老化腐烂景象重大常常造成跑冒滴漏，遇到雨雪天气，路线积水、泥泞不堪，大院居民尤其是老人小孩出行十分不便）。 主题3是反馈高考和医保（e.g.外地人衷心的心愿政府能关注一下孩子在北京的高考问题）。 主题4是汽车摇号政策（e.g.现行的摇号计划是不可行,治标不治本.有的摇号是一个人摇不上,全家人都出动;有的是想买车基本摇不号;有的是不想买车就摇上了）。 主题5是反馈工资和租房问题（e.g.我是当地退休老师。因为孩子在北京工作，故到北京帮忙孩子操持家务，以反对孩子工作。因为北京房价低廉，咱们买不起大房，三代人只能挤着住。我想问问市长，咱们是否也能住公租房）。 主题6是守法修建（e.g.XX雅苑许多一层业主私搭乱建成风,且物业能干,造成极大的安全隐患）。 3 地区、主题与情感得分接下来咱们剖析了不同主题和地区的情感偏向散布。从下图能够看出，主题3高考和医保、主题6 守法修建、主题13教育拆迁的留言内容中踊跃情感占较大比例。 图表 咱们发现在不同主题中情感得分最高的地区中海淀区最多，其次是朝阳区和大兴区。同时也能够发现，情感得分最高的是在主题11居民生存下的朝阳区留言内容。总的来说，依据踊跃情感的内容散布来看，主题3高考和医保、主题6 守法修建、主题13教育拆迁的留言内容中体现出较好的反馈。 案例3 当手机称为人们的随身设施，扭转人们的通信习惯时，“公众号”这一种新媒体模式浸透进人们的生存。处在社交媒体时代，公众号推送未然成为咱们获取信息的一个重要途径。 自然而然，软文营销成为新媒体的次要广告伎俩和创收模式。浏览量和点赞数无疑是掂量一篇公众号文章推广成果最间接的指标，而什么样的公众号文章最容易取得人们的关注呢？  利用文本开掘伎俩，深度开掘三大娱乐公众号的16年度的历史文章，用 LDA 模型提取主题，发现最“吸睛”的话题模式，领导公众号打好推广的“组合拳”。 解读脉络 ...