共计 1851 个字符，预计需要花费 5 分钟才能阅读完成。
摘要：盘古的训练以「昇腾 AI 处理器」为基座，同时借助了「CANN 异构计算架构」，让硬件算力得以充沛开释，大大缩短了训练工夫！
2021 年 4 月，“华为云盘古大模型”一炮走红 AI 人工智能畛域。如果你问：明明明明明白白白喜爱他，但他就是不说，白白喜爱谁？你的伙伴可能还要犹豫 3 秒钟，而盘古却能轻松地答复出：明明！诸如此类的「中文同词不同义」的疾速语义辨认也仅仅是它的神通广大而已。当先的语言了解和模型生成能力，这个大网红霎时被贴上了“最靠近人类中文理解能力”、“寰球最大中文语言（NLP）预训练模型”各类标签。标签不是白帖的，在 AI 畛域，大智慧就意味着大模型，他背地的“千亿参数”、“TB 级内存模型”相对是他胜利的法宝！模型大，意味着数据也大，你想到如何训练出这样大的模型了么？盘古的训练以「昇腾 AI 处理器」为基座，同时借助了「CANN 异构计算架构」，让硬件算力得以充沛开释，大大缩短了训练工夫！
什么是 CANN？
以晋升用户开发效率和开释昇腾 AI 处理器极致算力为指标，昇腾 CANN（Compute Architecture for Neural Networks）是华为针对 AI 场景推出的异构计算架构。它对上反对业界支流前端框架，向下对用户屏蔽系列化芯片的硬件差别，以丰盛的软件栈性能满足用户全场景的人工智能利用诉求。
以后 CANN 曾经公布到 3.0 的版本，对立编程架构，同时反对推理 + 训练的端、边、云全量场景，实现三大使能。
使能全场景：通过反对业界支流 AI 框架，反对 14+ 种支流操作系统，实现一次开发，全场景各种硬件状态和运行环境的灵便部署。
使能极简开发：通过对立编程接口 AscendCL（Ascend Computing Language），为开发者屏蔽底层处理器的差别，反对开发者只须要把握一套 API，就能够全面利用于昇腾全系列芯片 + 推理、训练全场景。
使能极致性能：通过软硬协同优化，亲和昇腾的图编译技术，以及超过 1200 个高性能算子，来开释昇腾芯片的磅礴算力。
CANN 的凋谢能力：
CANN 为开发者提供算子开发、模型开发、利用开发的全流程开发体验，可笼罩全场景利用。
• 算子开发
• DSL 语言开发接口：提供了一套基于内存的开发接口，处理器上的指令映射和调度是主动实现的。开发者仅须要关注算子的数学逻辑计算，不须要理解硬件细节，即可开发出高性能的算子。依据统计能够满足 60% 以上算子开发需要。
• TIK 语言开发接口：提供了一套比拟齐备的基于处理器外部 Buffer 可见的编程语言，开发者能够自行决定搬进搬出数据量的大小，从而充分发挥芯片的能力，晋升开发算子的性能。
• 模型开发
• 反对多种模型开发框架 MindSpore，TensorFlow, PyTorch, ONNX 等
• 反对通过标准化的 Ascend IR(Intermediate Representation) 接口隔离下层框架差别，进行间接构图和模型开发
• 利用开发
• 提供一套规范的 AscendCL 编程接口，晋升用户 APP 编程效率
CANN 的硬核技术：
• 高性能算子库：反对包含 TensorFlow、Pytorch、Mindspore、Onnx 框架在内 1200+ 算子，开发者间接基于内置算子即可开发模型。
• 主动交融技术： 反对基于算子、子图、SCOPE 多维度的主动交融，反对动静 DSL 交融，可无效缩小计算节点，缩短计算工夫，让昇腾 AI 处理器霎时减速。
• 异构部署调度框架：充分利用昇腾芯片的异构执行单元，将不同的计算任务分配给最合适的计算引擎，高效协同异步流水，晋升计算工作整体效率。
• 高效的内存生命周期治理算法：兼顾内存的充沛复用以及数据交换的效力，实现资源与效率的平衡。
• 预置的业界支流模型库：华为昇腾 Model Zoo 提供 100+ 支流模型的代码以及相应的调优参数 example，为开发者提供货架式的参考实现，详细信息参见：https://www.hiascend.com/soft…
• 高性能的图下沉执行框架：将所有计算下沉到芯片，缩小 Host CPU 与芯片之间的交互工夫，实现高性能的训练和推理。
• 高性能动态图调度：反对基于异步流水的单算子执行框架，反对灵便的 H2D、D2H 交互，解决 PyTorch 等框架下动态图模式的高性能运行问题。
• 业界当先的智能调优：反对基于强化学习、遗传算法、CostModel 等多种智能调优算法，提供算子级或者图级调优抉择，为用户提供主动的极致性能调优体验。
CANN 的 5.0 版本会给你带来更多设想，理解更多信息，请拜访昇腾社区。
点击关注，第一工夫理解华为云陈腐技术~