昨天那篇过了一天才审核通过，心愿当前能够略微快一点哈哈😂始终胆战心惊怕思否感觉我太小白了不给过。
明天把第二周的根底作业实现了，难度不大。今天写选做作业。不出意外的话这周能够把神经网络和深度学习这门课刷完。
3.1~3.5
这几节次要是解释计算和一些公式上的习惯标记，以及和向量相干的解释，因为太多数学公式懒得打，就不整顿了。
3.6~3.8 激活函数
激活函数：
深度学习笔记：如何了解激活函数？（附罕用激活函数）
查了几篇文章，都提到了一个中央“激活函数将非线性个性引入到咱们的网络中”。
* 问题是，为什么咱们不能在不激活输出信号的状况下实现此操作呢？
如果咱们不使用激活函数的话，则输入信号将仅仅是一个简略的线性函数。线性函数一个一级多项式。现如今，线性方程是很容易解决的，然而它们的复杂性无限，并且从数据中学习简单函数映射的能力更小。一个没有激活函数的神经网络将只不过是一个线性回归模型（Linear regression Model）罢了，它功率无限，并且大多数状况下执行得并不好。咱们心愿咱们的神经网络不仅仅能够学习和计算线性函数，而且还要比这简单得多。同样是因为没有激活函数，咱们的神经网络将无奈学习和模仿其余简单类型的数据，例如图像、视频、音频、语音等。这就是为什么咱们要应用人工神经网络技术，诸如深度学习（Deep learning），来了解一些简单的事件，一些相互之间具备很多暗藏层的非线性问题，而这也能够帮忙咱们理解简单的数据。
那么为什么咱们须要非线性函数？
非线性函数是那些一级以上的函数，而且当绘制非线性函数时它们具备曲率。当初咱们须要一个能够学习和示意简直任何货色的神经网络模型，以及能够将输出映射到输入的任意简单函数。神经网络被认为是通用函数近似器（Universal Function Approximators）。这意味着他们能够计算和学习任何函数。简直咱们能够想到的任何过程都能够示意为神经网络中的函数计算。
而这所有都归纳于这一点，咱们须要利用激活函数 f（x），以便使网络更加弱小，减少它的能力，使它能够学习简单的事物，简单的表单数据，以及示意输入输出之间非线性的简单的任意函数映射。因而，应用非线性激活函数，咱们便可能从输入输出之间生成非线性映射。
激活函数的另一个重要特色是：它应该是能够辨别的。咱们须要这样做，以便在网络中向后推动以计算绝对于权重的误差（失落）梯度时执行反向优化策略，而后相应地应用梯度降落或任何其余优化技术优化权重以缩小误差。*
摘自什么是激活函数？它有什么作用？
依据我集体的了解，激活函数位于两层之间，即上一层计算输入后，通过激活函数将 output 解决成别的状态，再作为 input 输出到下一层。为什么要用激活函数？如上文所摘，如果没有激活函数，咱们所失去的最终后果 y，不过是输出 x 的线性组合而已。不过单纯线性激活函数适宜于回归模型，即输入后果不是 0、1 分类而是一个实数，例如对价格的预测。
目前罕用的激活函数除了 Chapter2 中提到的 sigmoid 函数外，还有 tanh、ReLU。
Tanh 函数能够看作 sigmoid 函数的变形：先平移，再拉伸。目标是将平均值从 0.5 调整到 0，次要应用在暗藏层中。
如上图所示，无论是 tanh 还是 sigmoid 函数，在达到肯定值后，函数的斜率会靠近于 0，这会升高梯度降落算法的效率；因而引入了 ReLU 函数。
第三章拖得太久了，之前很多细节都遗记了……3.9 及之后的大节次要是和数学无关，难度也不大，就不放上来了。这几天把反向流传和梯度降落再整一下，开始第四章。