关于算法:APReLU跨界应用用于机器故障检测的自适应ReLU-IEEE-TIE-2020

2次阅读

共计 1982 个字符，预计需要花费 5 分钟才能阅读完成。

论文的工作属于深度学习在工业界的利用，借鉴计算机视觉的解决办法，针对机器故障检测的场景提出自适应的 APReLU，对故障检测的准确率有很大的晋升。论文整体思维应该也能够利用于计算机视觉，代码也开源了，大家能够尝试下

起源：晓飞的算法工程笔记公众号

论文: Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis

论文地址：https://ieeexplore.ieee.org/document/8998530/metrics#metrics
代码地址：https://github.com/zhao62/Adaptively-Parametric-ReLU

论文探讨的场景是电子设备的谬误检测，因为在刻薄环境下长期运行，电子设备常常会不可避免地呈现故障，进而造成意外和损失。而振动信号 (vibration signal) 通常蕴含因为机器故障引起脉冲和稳定，可用来检测设施故障。近期，深度学习办法也被用于电子设备的谬误检测中，将振动信号作为输出，输入以后设施是否失常。

支流的分类神经网络应用一组完全相同的非线性变换来解决不同的输出，如图 a 所示，F、G 和 H 代表非线性变动，$=$ 代表非线性变换是否雷同。对于振动信号场景而言，雷同衰弱状态的机器，因为以后操作不同，反馈的振动信号的差别可能较大，很难将不同波形的归为同一衰弱状态。相同的，不同衰弱状态的机器偶尔会产生雷同的振动信号，神经网络会将其映射到相近的区域，难以辨别。综上，固定的非线性变换在振动信号场景中可能会对特色学习能力带来负面的影响，可能主动学习并依据输出信号应用不同的非线性变换是非常有意义的。

论文基于 ResNet 提出了改进版 ResNet-APReLU，如图 b 所示，依据输出信号赋予不同的非线性变换，具体是通过插入一个相似 SE(squeeze-and-excitation)模块的子网来调整激活函数的斜率，可能大幅晋升故障检测的准确率。因为论文的场景比拟非凡，所以次要学习论文提出的办法，至于利用场景相干的局部和试验局部，就简略地带过就好了。

论文以 ResNet 为根底，ResNet 的外围构造如图 2a 所示，置信各位都很分明，就不再介绍了。将 ResNet 利用到机器谬误辨认中，如图 2b 所示，输出振动信号，通过网络的特征提取后进行状态辨认，判断机器是衰弱还是处于其它谬误状态中。论文的外围是通过改良 ReLU 进行自适应的非线性变换，原版 ReLU 可公式化为：

APReLU 集成了一个特地设计的子网，有点相似于 SE 模块，依据输出自适应地预测用于非线性变换的乘法因子，构造如图 3a 所示，输入 channel-wise 的 ReLU 参数，蕴含以下步骤：

用 ReLU 和 GAP 将输出特色映射到 1D 向量，获取侧面特色 (positive feature) 的全局信息。用 min(x, 0)和 GAP 将输出特色映射到另一个 1D 向量，获取负面特色 (negative feature) 的全局信息，负面信息可能蕴含某些有用的故障信息。GAP 可能解决信号的偏移问题，将输出特色图信息压缩为两个 1D 向量，别离代表侧面和负面信息。
将两个 1D 向量 Concate 到一起，进行 FC-BN-ReLU-FC-BN-Sigmoid 计算，两个 FC 的输入与输出特色的维度统一，最初 sigmoid 输入用于公式 10 的 $\\alpha \\in (0, 1)$ 因子：

基于 APEeLU 构建新的 ResBlock，如图 b 所示，与原版的 ResBlock 基本一致，只是将 ReLU 替换为 APReLU 进行自适应非线性激活。APReLU 的输入大小跟输出大小一样，能够简略地嵌入到各种网络中。残缺的网络结构如图 c 所示，最初输入多个机器状态的预测，计算穿插熵损失，进行梯度降落学习。

从后果来看，针对机器故障的场景，论文提出的办法是非常无效的。

论文的工作属于深度学习在工业界的利用，借鉴计算机视觉的解决办法，针对机器故障检测的场景提出自适应的 APReLU，对故障检测的准确率有很大的晋升。论文整体思维应该也能够利用于计算机视觉，代码也开源了，大家能够尝试下。