相比于计算机，我更喜爱数学的推导，感觉数学推导是可触摸的更有立体感，甚至你能够追溯到基本。作为神经网络算法的第一篇文章，我决定用softmax输入层作为开篇之作。

你的UI自动化追得上业务的变更和UI更迭吗？当今瞬息万变的时代，成千上万的App围绕着现代人生存的点点滴滴。为了满足用户的好的体验和时刻的新鲜感，这些App须要时刻放弃变动，也给 UI自动化落地施行带来了挑战。

激活函数（activation functions）的指标是，将神经网络非线性化。激活函数是间断的（continuous），且可导的（differential）。

行 业 要 闻 Industry   News ▲▲▲ 伊隆·马斯克在社交媒体上发表将于 8 月 28 日更新 「智能脑机接口设施」Neuralink 的进度，这次更新进度将会有让人震惊的音讯。 Neuralink 成立于 2016 年 7 月，作为马斯克参加创建的最神秘的公司，其公开的使命是研发人脑和电脑之间的脑机接口界面，把人脑和电脑连接起来，让患者通过…

autoregressive模型应用前t-1个单词预测第t个单词，指标函数如下，$$\max_{\theta} \log p_{\theta}(\mathbf{x})=\sum_{t=1}^{T}\log p_{\theta}(x_t|\mathbf{x}_{<t})$$长处：

$$\begin{equation}S_t = f(UX_t+WS_{t-1})\tag{1}\end{equation}$$$$\begin{equation}O_t=g(VS_t)\tag{2}\end{equation}$$其中，$f$和$g$为激活函数，$U,W,V$为RNN的参数。假如$T$时刻的loss为$L_T$，则反向流传时传递到$t$时刻的对于$W$的梯度为，$$\begin{equation}[\frac{\partial L_T}{\partial W}]_t^T=\frac{\par…

6月29日-7月2日在西班牙召开的 International Conference on Dependable Systems and Networks (DSN 2020)会议上, 来自百度安全对于深度神经网络（DNN）模型安全性的研究Quantifying DNN Model Robustness to theReal-World Threats成功入选。在该文章中，百度安全研究员们建立了一套衡量深度神经网络面对真实存在于物理…

摘要：LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。可以说，LeNet-5就相当于编程语言入门中的“Hello world！”。

rbf网络在我看来应该是一个可以解决函数拟合问题的网络，与之前学的的adaline相比，rbf网络可以做非线性可分的问题，与bp网络相比，rbf网络只有一层隐藏层，计算方便，而且不太会陷入bp网络中常有的局部最优的情况

在学习神经网络的过程中总会听到激活函数（激励函数），激活函数是神经网络中非线性的来源，如果去掉这些激活函数，那神经网络只剩下线性运算，那最终的效果就相当于单层的线性模型，本文主要从以下几个方面来讲解激活函数：