摘要：深度神经网络是建设在微积分和一些统计学的根底之上的。
深度神经网络（Deep neural network，DNN）实质上是由具备多个连贯的感知器造成的，其中一个感知器是单个神经元。咱们能够将人工神经网络（Artificial neural network，ANN）看作一个蕴含一组沿着加权门路馈送的输出零碎。而后对这些输出进行解决，并产生一个输入来执行某些工作。随着工夫的推移，人工神经网络将会“学习”，并倒退出不同的门路。各种门路能够具备不同的权重，并且被认为更重要（或产生更现实后果）的门路在模型内被调配的权重比那些产生较少现实后果的门路更高。
在深度神经网络中，如果所有的输出都密集地连贯到所有的输入，那么这些层就称为 密集层 （Dense layers）。此外，深度神经网络能够蕴含多个 暗藏层（Hidden layer）。暗藏层基本上是神经网络输出和输入之间的点，激活函数在这里对输出的信息进行转换。它之所以被称为暗藏层，是因为它不能间接从零碎的输出和输入中察看到。神经网络的深度越深，网络能从数据中辨认的信息就越多。
然而，只管从数据中学习尽可能多的信息是咱们的指标，但深度学习模型可能会受到过拟合的影响。当模型从训练数据中学习了太多的信息，包含随机噪声时，就会呈现这种状况。
模型可能确定数据中非常复杂的模式，但这会对新数据的性能产生负面影响。训练数据中接管到的噪声并不适用于新的或未见过的数据，并且模型无奈对所发现的模式进行泛化。非线性在深度学习模型中也是十分重要的。尽管模型会因为领有多个暗藏层而学到很多信息，但将线性模式利用于非线性问题会导致性能低下。
当初，问题来了，“这些层是如何学习的？”那么，让咱们将人工神经网络利用到一个实在的场景中去解决问题，以理解如何训练模型来实现指标。在目前寰球新冠肺炎疫情之下，很多学校都过渡到了虚构学习，这使得一些学生放心他们通过课程的机会。任何人工智能零碎都应该可能解决“我是否通过这门课程”这种问题。
为简略起见，让咱们构想此模型只有 3 个输出：学生听课次数、花在作业上的工夫，以及在整个授课过程中网络掉线的次数。这个模型的输入将是一个二元分类；学生要么通过课程，要么没通过课程。当初是学期末，学生 A 听了 21 堂课，花了 90 个小时实现作业，并且在这个学期中，网络掉线 7 次。这些输出被输出到模型中，输入预测学生有 5% 的机会通过课程。一个星期后，期末问题颁布，学生 A 通过了这门课程。那么，这个模型的预测出了什么问题呢？
从技术上来说，并没有出问题。该模型原本能够依照目前开发的模型工作。但问题是，模型并不知道产生了什么。咱们原本只是在门路上对一些权重进行了初始化，但模型目前并不知道什么是对的，什么是错的；因而，权重是不正确的。这就是学习的意义所在。咱们的想法是，模型须要理解什么时候是谬误的，咱们通过计算某种模式的 “ 损失 “ 来实现这一点。计算的损失取决于以后的问题，但它通常波及最小化预测输入和理论输入之间的差别。
在下面的场景中，只有一个学生和一个误差点须要最小化。然而，通常状况却并非如此。当初，思考到有多个学生和多个差别最小化。因而，总损失通常计算为所有预测值与理论观测值之差的平均值。
回忆一下，我在后面提到的被计算的损失取决于以后的问题。因而，因为咱们以后的问题是二元分类，适当的损失计算将是 穿插熵损失。这个函数背地的想法是，它将学生是否会通过课程的预测散布与理论散布进行比拟，并试图将这些散布之间的差别最小化。
假如咱们不再想预测学生是否能通过这门课程，而是当初想预测他们这门课的问题。穿插熵损失将不再是一个适合的办法，相同，均方误差损失 将更适合。相同，均方误差损失会更适合。这种办法实用于回归问题，其想法是它将尝试最小化理论值和预测值之间的平方差。
当初，咱们理解了一些损失函数，就能够进入损失优化和模型训练了。领有良好的深度神经网络的一个关键因素是领有适合的权重。损失优化应该是土找到一组权重 $W$，它将使计算的损失最小化。如果只有一个权重重量，则能够在二维图上绘制权重和损失，而后抉择使损失最小的权重。然而，大多数深度神经网络具备多个权重重量，将一个 $n$ 维图进行可视化是十分艰难的。
取而代之的是，计算损失函数绝对于所有权重的导数来确定最大回升方向。既然模型当初曾经了解上行和上行的方向，它就会向下前进，直到在部分最小值处达到收敛点。一旦这个降落点实现，就会返回一组最优权重，这就是深度神经网络应该应用的权重（假如模型开发得很好）。
计算这个导数的过程被称为 反向流传（Back propagation），它实质上是微积分的链式法则。思考到下面显示的神经网络，第一组权重的渺小变动是如何影响最终损失的？这就是导数或梯度试图解释的内容。然而，第一组权值被输出到一个暗藏层，而后暗藏层有另一组权值导致预测的输入和损失。因而，也应该思考权重变动对暗藏层的影响。这是网络中仅有的两个局部。然而，如果有更多的权重须要思考，这个过程能够通过将链式规定从输入利用到输出来持续这一过程。
训练深度神经网络时要思考的另一个重要因素是学习率。当模型在寻找一个最优的权值集时，它须要通过一些因子来更新它的权重。尽管这看起来微不足道，然而决定模型应该挪动的因子是相当艰难的。如果因子太小，那么模型可能会运行一段指数级的工夫，或者陷入某个不是全局最小值的中央。如果因子太大，那么模型可能会齐全偏离指标点，进而发散。
尽管固定的学习率可能是现实的，但 自适应学习率（Adaptive learning rate）会缩小呈现前文所提到的问题的机会。也就是说，因子将依据以后梯度、以后权重的大小或可能影响模型下一步查找最佳权重的地位的某些其余因素而发生变化。
能够看出，深度神经网络是建设在微积分和一些统计学的根底之上的。评估这些过程背地的数学十分有用，因为它能够帮忙人们理解模型外部真正产生的事件，这能够导致开发更好的整体模型。然而，即便这些概念不容易了解，大多数程序都附带了主动微分等工具，所以不必放心。
点击关注，第一工夫理解华为云陈腐技术~