训练神经网络的根本步骤
回顾逻辑回归模型的训练步骤
- 依据给出的输入值x和参数w,b来确定训练模型
- 确定损失函数和老本函数
- 利用参数值的梯度降落函数，找出使得老本函数部分最小的值
训练神经网络的步骤
- 创立神经网络的模型架构
- 依据模型确定损失函数和代价函数：二分类问题，回归问题
其中二元穿插熵（binary cross entropy）
y是二元标签0或1，p(y)属于输入标签y的概率，即对于标签y为1的状况，loss=-log(p(y)) 如果预测值p(y)趋近于1，那么损失函数的值该当趋近于0。反之，如果此时预测值p(y)趋近 于0，那么损失函数的值该当十分大，y=0时，损失函数loss=-log(1-p(y)) - 对于穿插熵损失函数的补充：
对图像牛、鹿、猴做出预测，通过softmax函数输入各种可能的预测值，而后在one-hot中的label值。label中只有一个类别为1,其余都为0，再把对应的概率的对数和标签值相乘累加求正数失去损失函数，对实在值预测概率越大，loss函数越靠近0，反之loss函数越大，损失越大
应用穿插熵函数的起因：
极大似然预计，信息熵，详情看链接：https://www.bilibili.com/vide... 调用Tensorflow的反向流传函数和二元穿插熵函数来确定梯度降落
sigmoid函数的代替函数
如何抉择sigmoid函数
output layer：
- 解决的是binary classification问题，抉择sigmoid函数
解决的是线性回归问题，比方预测股票的涨跌问题，能够抉择线性激活函数，如果预测值必须是非负值，则能够抉择ReLu函数
hidden layer：
- ReLu函数和sigmoid函数，个别抉择ReLu函数，起因如下：ReLu函数的计算更快，效率更高，而且ReLu函数没有平坦的曲线，而sigmoid函数有两端较为平坦的局部，这使得sigmoid函数的w的梯度降落更为迟缓。个别抉择ReLu函数作为暗藏层的默认函数
抉择激活函数
个别在暗藏层不抉择线性函数而是ReLU函数，为了引入多元
多类分类问题及Softmax函数
- 是指可能有两个及以上的输入标签
逻辑回归与Softmax函数的代价函数的比拟
其中，Softmax的y只能取一个值，损失函数只依据所取的y值来进行计算神经网络的Softmax输入
在Softmax函数中的输入向量an的值与Z1到Zn的值都有关系Softmax的改良实现
在逻辑回归中的改良：
在Softmax中的改良：
疑难：为什么输入层的激活函数是线性函数：
多标签分类问题
学习率的高级优化办法：
Adam Algorithm Intuition:
如果梯度沿着同一个方向挪动，阐明须要减少学习率
如果梯度来回震荡，难以收敛吗，阐明须要减小学习率
代码实现：
其余的网络层类型
convolutional Layer:卷积层
以察看病患的心电图为例子，以心电图的每一个稳定值为一个输出变量x,x1-x20输出到一个神经元，x11-x30输出到一个神经元，以此类推，暗藏层共9个神经元，再输出到下一个暗藏层的时候，只需关注前一层的5个激活值，一个神经元接管5个激活值，共3个神经元，最初再输出到只有一个神经元的sigmoid层，来输入可能的判断
长处：更少的计算量以及须要更少的训练数据