2015 年 11 月，wikipedia 的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到当初，维基百科页面曾经产生了 391 次更改。在本文中，我通过本人写的一个程序来开掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个惟一激活函数。本文还提供了针对激活函数的适当钻研论文的附加链接，如果没有或者在无奈找到特定钻研论文的状况下，提供了相干的相干论文。
例如：通常人们会将 tanh 用于 FNN，将 ReLU 用于 CNN。
如果咱们包含 Identity Activation 函数，这个列表将蕴含 42 个激活函数，这外面必定有没有见过的。
Binary step
公式
导数
Logistic, sigmoid, or soft step
公式：
导数
还有双极 sigmoid(1.f-expf(-x)) / (1.f + expf(-x))
ElliotSig 或 Softsign
公式：
导数
双曲正切 (tanh)
公式
导数
Arctangent / Arctan / atan
公式
导数
Softplus
公式
导数
Rectified linear unit (ReLU) (ReLU6)
公式
导数
Exponential linear unit (ELU)
公式
导数
Gaussian Error Linear Unit (GELU)
公式
导数
Scaled exponential linear unit (SELU)
公式
导数
Mish
公式
导数
Leaky rectified linear unit (Leaky ReLU)
公式
导数
Parametric rectified linear unit (PReLU)
公式
导数
Parametric Exponential Linear Unit (PELU)
公式
导数
S-shaped rectified linear activation unit (SReLU)
公式
导数
Bipolar rectified linear unit (BReLU)
公式
导数
Randomized leaky rectified linear unit (RReLU)
Sigmoid linear unit (SiLU) or Swish
Gaussian
Growing Cosine Unit (GCU)
Shifted Quadratic Unit (SQU)
Non-Monotonic Cubic Unit (NCU)
Shifted Sinc Unit (SSU)
没有提供导数公式，参考论文：https://arxiv.org/pdf/2111.04…。
Decaying Sine Unit (DSU)
没有提供导数公式，请参考论文：https://arxiv.org/pdf/2111.04…
Phish
没有提供导数公式，请参考论文：https://www.techrxiv.org/ndow…
SQ-RBF
Inverse square root unit (ISRU)
Square nonlinearity (SQNL)
Sigmoid shrinkage
“Squashing functions”
Maxout
该函数导数为正负 有限
Bent Identity
Sinusoid
Sinc (taming the waves)
ArSinH
Soft Clipping (goldilocks)
Piecewise Linear Unit (PLU)
Adaptive piecewise linear (APL)
Inverse Cubic
Soft Exponential
LeCun hyperbolic tangent (42?)
来自 https://drive.google.com/view…
激活函数的 wikipedia 页面：
https://en.wikipedia.org/wiki…
最初阐明，图太多了，如有脱漏或者谬误，请留言
https://www.overfit.cn/post/18eb8aef0eb740c2a6c49bc43b833d1f
作者：Fletch