一、深度学习概论
1.1 欢送
以下是吴恩达老师的原话：
深度学习扭转了传统互联网业务，例如如网络搜寻和广告。然而深度学习同时也使得许多新产品和企业以很多形式帮忙人们，从取得更好的衰弱关注。
深度学习做的十分好的一个方面就是读取 X 光图像，到生存中的个性化教育，到精准化农业，甚至到驾驶汽车以及其它一些方面。如果你想要学习深度学习的这些工具，并利用它们来做这些令人窒息的操作，本课程将帮忙你做到这一点。当你实现 cousera 下面的这一系列专项课程，你将能更加自信的持续深度学习之路。在接下来的十年中，我认为咱们所有人都有机会发明一个惊人的世界和社会，这就是AI（人工智能）的力量。我心愿你们能在创立AI（人工智能）社会的过程中施展重要作用。
我认为 AI 是最新的电力，大概在一百年前，咱们社会的电气化扭转了每个次要行业，从交通运输行业到制造业、医疗保健、通信等方面，我认为现在咱们见到了 AI 显著的令人诧异的能量，带来了同样微小的转变。显然，AI 的各个分支中，倒退的最为迅速的就是深度学习。因而当初，深度学习是在科技世界中广受欢迎的一种技巧。
1.2 什么是神经网络？
让咱们从一个房价预测的例子开始讲起。
假如你有一个数据集，它蕴含了六栋房子的信息。所以，你晓得屋宇的面积是多少平方英尺或者平方米，并且晓得屋宇价格。这时，你想要拟合一个依据屋宇面积预测房价的函数。
如果你对线性回归很相熟，那么咱们能够用这些数据拟合一条相似下图的直线。
然而价格永远不会是正数的。因而，为了代替一条可能会让价格为负的直线，咱们把直线蜿蜒一点，让它最终在零完结。这条粗的蓝线所得的函数，用于依据屋宇面积预测价格。有一部分是零，而直线的局部拟合的很好。
作为一个神经网络，这简直可能是最简略的神经网络。咱们把屋宇的面积作为神经网络的“输出”，通过一个节点（一个小圆圈），最终输入了价格（咱们用示意）。其实这个小圆圈就是一个独自的神经元。接着你的网络实现了右边这个函数的性能。
在无关神经网络的文献中，你常常看失去这个函数。从趋近于零开始，而后变成一条直线。这个函数被称作 ReLU 激活函数，它的全称是 Rectified Linear Unit。rectify（修改）能够了解成 max(0,x)，这也是你失去一个这种形态的函数的起因。
如果这是一个单神经元网络，不论规模大小，它正是通过把这些单个神经元叠加在一起来造成。如果你把这些神经元设想成独自的乐高积木，你就通过搭积木来实现一个更大的神经网络。
让咱们再来看一个例子，咱们不仅仅用屋宇的面积来预测它的价格，还能够用卧室的数量，或是一家人的数量也会影响屋宇价格，这个屋宇能住下一家人或者是四五个人的家庭吗？而这的确是基于屋宇大小，以及真正决定一栋房子是否能适宜你们家庭人数的卧室数。
除此之外，你还能够会依据邮政编码能够得出一个地区的大抵地位，进而获取该地的交通水平。比方这左近是不是高度步行化，你是否能步行去杂货店或者是学校，以及你是否须要驾驶汽车。有些人喜爱寓居在以步行为主的区域。
对于一个房子来说，这些都是与它非亲非故的事件。在这个情景里，家庭人口、交通水平以及学校的品质都能帮忙你预测屋宇的价格。以此为例，x 是所有的这四个输出，y 是你尝试预测的价格，把这些单个的神经元叠加在一起，咱们就有了一个略微大一点的神经网络。
当你实现它之后，你要做的只是输出 x，就能失去输入 y。因为它能够本人计算你训练集中样本的数目以及所有的两头过程。所以，你实际上要做的就是：这里有四个输出的神经网络，这输出的特色可能是屋宇的大小、卧室的数量、邮政编码和区域的富裕水平。给出这些输出的特色之后，神经网络的工作就是预测对应的价格。同时也留神到这些被叫做暗藏单元圆圈，在一个神经网络中，它们每个都从输出的四个特色取得本身输出，比如说，第一个结点代表家庭人口，而家庭人口仅仅取决于 x1 和 x2 特色，换句话说，在神经网络中，你决定在这个结点中想要失去什么，而后用所有的四个输出来计算想要失去的。因而，咱们说输出层和中间层被严密的连接起来了。