作者：陈其友 | 旷视 MegEngine 架构师
MegPeak 介绍
在这个算力需要爆炸的大背景下，如何施展出已有硬件的最大算力变得十分重要，直观一点是：咱们须要对现有算法针对特定的处理器进行极致的性能优化，尽量满足目前 AI 算法对算力高要求。为了可能做到极致的性能优化，咱们可能的方向有：
- 优化算法，使得算法可能在满足准确度前提下，访存和计算量尽量小
- 优化程序，使得实现这些算法的程序最大限度施展处理器性能
在优化程序的过程中，首先要解决的问题是：如何评估咱们程序施展了处理器几成的算力，以及进一步优化空间和优化方向。
为了更懂咱们的处理器，MegEngine 团队开发了一个工具 MegPeak，能够帮忙开发人员进行性能评估，开发领导等，目前曾经开源到 GitHub。
MegPeak 性能
通过 MegPeak 用户能够测试指标处理器：
- 指令的 峰值带宽
- 指令提早
- 内存峰值带宽
- 任意指令 组合峰值带宽
尽管下面的局部信息能够通过芯片的数据手册查问相干数据，而后联合实践计算失去，然而很多状况下无奈获取指标处理器详尽的性能文档，另外通过 MegPeak 进行测量更间接和精确，并且能够测试特定指令组合的峰值带宽。
MegPeak 应用办法
应用办法参考 MegPeak 的 Readme 文档
MegPeak 应用示例
测试 ArmV8 上通用指令峰值和提早，编译实现之后，在指标处理器上执行 megpeak，失去：
如上图所示，MegPeak 能够准确测试出 CPU 上每条指令的计算峰值以及提早周期。OpenCL 上将测试出不同数据类型进行访存的 Local Memory，Global Memory 的带宽，以及 int/float 不同数据类型进行计算的峰值。这些数值将无效的领导咱们评估目前程序的性能，并绘制 RoofLine，将能够帮忙用户诊断出阻塞程序次要因素，是访存或者计算，具体应用分析方法将在前面介绍。
MegPeak 原理
MegPeak 测试的主要参数是
- CPU 不同指令的计算峰值，以及指令提早，以及内存带宽
- OpenCL 中不同内存的数据访存带宽，以及不同计算数据类型的计算峰值
要理解 MegPeak 是如何测试出下面这些性能数据，并且做到和数据手册上查问到尽量统一，因而须要读者理解上面 CPU 流水线相干细节。
处理器流水线
古代处理器为了减少指令的吞吐，引入了指令流水线，指令流水线能够将一条指令的执行过程划分为多个阶段，经典的 5 级流水线有：取指令，翻译指令，执行指令，拜访寄存器，写回数据，这 5 个阶段，处理器中执行每个阶段的物理单元独立，因而现实状态下，每个时钟周期每个阶段对应的物理单元都能执行一次对应的操作，这样就造成了流水线，这样处理器每个时钟周期就能够实现执行一条指令。如下表所示，从第 5 个时钟周期之后，每个时钟周期都会实现一条指令执行：
然而，流水线在理论执行时候不可能始终这样晦涩的执行上来，会存在以下的冒险，阻塞流水线。
- 构造冒险——如果硬件无奈同时反对指令的所有可能组合形式，就会呈现资源抵触，从而导致构造冒险
- 数据冒险——流水线指令存在先后顺序，如果一条指令取决于先前指令的后果，就可能导致数据冒险
- 管制冒险——分支指令及其他改变程序计数器的指令实现流水化时，可能导致管制冒险
MegPeak 中测量处理器指令的计算峰值和提早就是通过控制指令间的数据冒险，尽可能排除构造冒险和管制冒险来实现的，因为 MegPeak 中须要通过写 Code 来管制处理器的数据冒险，为了排除编译器编译 code 时候的优化带来的烦扰，所以在 MegPeak 在测试中的外围代码应用汇编来实现的。
测试指令峰值
为了测量处理器上一条指令的计算峰值，咱们须要写出反复执行这条指令，然而没有任何冒险的代码，所以须要代码控制数据冒险和管制冒险。
-
打消数据冒险 —- 打消反复指令之间的数据依赖，让前后指令之间没有上面的数据相干，尽管 WAW，WRA 不是真正的数据相干，处理器可能会应用寄存器重命名来解决，然而咱们还是尽量不要写出这样的数据相干。
- 写后读（RAW）：上一条指令写入，下一条指令读取写入数据，这时候后一条指令须要等上一条指令运行完结之后再运行
- 写后写（WAW）：两条指令前后写入同一个寄存器，这时候数据写入的先后顺序很重要
- 读后写（WRA）：上一条指令读取一个寄存器，下一条指令将新的数据写入这个寄存器，他们的程序也同样很重要
- 尽可能的打消管制冒险 —- 为了反复屡次执行同一条指令，咱们可能会用循环来实现，然而循环外面有分支，可能会造成管制冒险，所以咱们须要尽可能的循环展开，让一个循环外面执行更多的数据无关的指令，然而这个数量会被处理器的寄存器数量限度。
上面是 MegPeak 测试 Arm64 上 fmla 指令计算峰值时候的外围 Code。
static int fmla_throughput() {
asm volatile(
"eor v0.16b, v0.16b, v0.16b\n"
"eor v1.16b, v1.16b, v1.16b\n"
...
"eor v19.16b, v19.16b, v19.16b\n"
"mov x0, #0\n"
"1:\n"
"fmla v0.4s, v0.4s, v0.4s\n"
"fmla v1.4s, v1.4s, v1.4s\n"
...
"fmla v19.4s, v19.4s, v19.4s\n"
"add x0, x0, #1 \n"
"cmp x0, %x[RUNS] \n"
"blt 1b \n"
:
: [RUNS] "r"(megpeak::RUNS)
: "cc", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v9", "v10", "v11", "v12", "v13",
"v14", "v15", "v16", "v17", "v18", "v19", "x0");
return megpeak::RUNS * 20;
}下面的内嵌汇编代码中，次要做了几件事件
- 初始化 0–19 号 neon 寄存器为零，这一步不是必须的，但能够防止计算过程中呈现 nan 导致的潜在影响。
- 创立主循环，主循环中每条指令执行，从对应的寄存器读取数据，并执行 fmla 指令，将计算结果写到雷同的寄存器中，同一条指令外部没有数据相干。
这里有一个问题须要解释，为什么抉择 20 个寄存器：
- 如果寄存器抉择太少，上一次循环可能还没有计算实现，下一次循环读取雷同的寄存器，可能造成数据相干，因而循环外面执行的指令条数须要大于指令提早和处理器单个周期内可能执行的指令数的乘积，然而咱们不晓得这条指令提早，然而能够预计，除了非凡的指令，提早个别不超过 10 个时钟周期。
- Arm64 有 32 个 neon 寄存器，为什么不抉择 32 个寄存器，因为 20 个寄存器曾经能够防止数据和管制相干了，测试发现应用更多的寄存器影响很小。
执行下面的代码，能够统计执行的工夫，加上能够提前通过指令的数目以及循环的次数计算出真正的计算量，因而便能够计算出指令的计算峰值。
测试指令提早
为了测量处理器上一条指令的执行提早，咱们须要写出反复执行这条指令，并让这些指令之间存在严格的数据冒险，尽量排除其余冒险。
- 制作数据冒险 —- 让前后两条指令之间的数据存在真正的数据依赖（RAW），即上一条指令的输入为下一条指令的输出
- 尽可能的打消管制冒险 —- 同上
上面是 MegPeak 测试 Arm64 上 fmla 指令提早的外围 Code。
static int fmla_latency() {
asm volatile(
"eor v0.16b, v0.16b, v0.16b\n"
"mov x0, #0\n"
"1:\n"
"fmla v0.4s, v0.4s, v0.4s\n"
// 反复 20 次
...
"fmla v0.4s, v0.4s, v0.4s\n"
"add x0, x0, #1 \n"
"cmp x0, %x[RUNS] \n"
"blt 1b \n"
:
: [RUNS] "r"(megpeak::RUNS)
: "cc", "v0", "x0"
);
return megpeak::RUNS * 20;
}下面的内嵌汇编代码中，次要将 fmla v0.4s, v0.4s, v0.4s\n 这条指令反复了 20 次，这样每条指令都依赖上一条指令的计算结果，所以存在严格的数据相干。
执行代码，统计执行工夫，通过执行的指令条数，能够计算出这条指令最终的提早。
下面的代码在 MegPeak 中实现，不是这么间接，而是通过宏来实现 code 的生成。
用 MegPeak 测到的数据，能够用来干什么
MegPeak 能够测试出处理器的内存带宽，指令的实践计算峰值，指令的提早等信息，因而能够帮忙咱们：
- 绘制 Roofline Model 领导咱们优化模型性能
- 评估程序的优化空间
- 摸索指令组合的实践计算峰值
另外 MegPeak 还能够提供对实践的验证，如咱们通过处理器频率 单核单周期指令发射数量 每条指令执行的计算量能够计算出实践计算峰值，而后咱们能够通过 MegPeak 进行理论测量进行验证。
绘制指令相干的 Roofline Model
Roofline 模型被大量的应用在高性能计算中，是评估算法的可优化水平和优化方向的重要工具。应用 MegPeak 能够绘制出更加具体的对于指令对应的 Roofline 模型，如：在 CPU 中，不同的数据类型，尽管访存带宽不会扭转，然而计算峰值差距比拟大，比方在 arm 上 float 的计算峰值和 int8 的计算峰值差距很大。
评估代码优化空间
在优化具体算法的时候，能够通过 MegPeak 测试出 kernel 外面的次要指令的最大峰值，如在 Arm 上优化 fp32 Matmul 的时候，次要用到的指令是 fmla 指令，这时候能够测试程序理论运行的峰值，如果指令的峰值和程序的峰值差距越小，阐明代码优化的越好。
另外，能够依据算法实现计算出计算量和访存量，并应用 MegPeak 绘制出下面的 Roofline，通过计算理论的计算密度，而后再对应到 Roofline 中，如果计算密度落在上图中的绿色区域，阐明程序须要更多思考优化访存，提供更优的访存模型，如分块，提前 pack 数据等。如果计算强度的点落在灰色区域阐明，代码曾经最优了，如果还想进一步提速，只能思考从算法角度进行优化了，如：在卷积中应用 FFT，Winograd 等算法进行优化。
摸索最优指令组合
很多 Kernel 的优化不是单纯的某一条指令就能够掂量，可能须要多条指令的组合能力代表整个 Kernel 的计算，因而咱们须要摸索如何组织这些指令使其达到处理器最优的性能。上面列举在 A53 小核优化 fp32 Matmul 的过程中，因为 Matmul 是计算密集型算子，思考通过多发射暗藏访存指令的开销，应用 MegPeak 配合进行剖析，摸索如何组合指令实现尽可能多的多发射。
因为小核下面资源无限，指令多发射有很多限度，
- 首先应用 MegPeak 出测试 A53 上 fp32 的 fmla 指令的计算峰值，将其定义为 100% 峰值计算性能
-
测试哪些指令组合能够反对双发射
- 在 MegPeak 中增加 vector load 和 fmla 1:1 组合的代码，而后测试其峰值仅仅为 float 峰值的 36%，表明 Vector load 和 fmla 不能双发射
- 同样能够测得通用寄存器 load 指令 ldr+fmla 的组合能够达到 float 峰值的 93%，阐明 ldr 能够和 fmla 双发射
- 同上能够测得 ins + fmla 能双发射，ins + vector load 64 位 能够双发射
- 依据 Matmul 最内层 Kernel 的 计算原理，如最内层 Kernel 的分块大小是 8×12，那最内层须要读取：20 个 float 数据，计算 24 次 fmla 计算
- 联合下面的 MegPeak 测试的信息，咱们须要找到用起码时钟实现这：20 个 float 数据 load，和 24 次 fmla 数据计算的指令组合，因而须要将尽可能多的数据 load 和 fmla 进行双发射，暗藏数据 load 的耗时
-
最初的指令组合是：
- 应用 vector load 64 指令 + ldr + ins 组合成为一个 neon 寄存器数据，因为 ldr 和 ins 都能够和 fmla 双发射，把他们和 fmla 放在一起能够暗藏他们的耗时
- 在这 3 条指令中交叉 fmla 指令，并尽可能解决数据依赖
依据下面的指令组合能够使得 Matmul 在小核上达到计算峰值的 70% 左右。
总结
MegPeak 作为一个进行高性能计算的辅助工具，可能使得开发人员轻松取得指标处理器的外在的详细信息，辅助进行对代码的性能评估，以及优化办法设计。然而 MegPeak 也有一些须要丰盛的方向：
- 反对获取更多的处理器性能数据，如：L1，L2 cache 的大小，主动摸索各种指令组合的双发射状况，并大略绘制出一个处理器后端的缩略图。如：https://en.wikichip.org/w/images/5/57/cortex-a76_block_diagram.svg
- 反对测量挪动端 OpenCL 的更多细节信息，如：warp size，local memory 大小等。
如果有同学对下面的性能感兴趣，欢送大家提交代码。最初欢送大家应用 MegPeak。
附
GitHub：MegPeak（欢送 star~
MegEngine 官网：MegEngine- 深度学习，简略开发
欢送退出 MegEngine 技术交换 QQ 群：1029741705