关于机器学习:机器学习吴恩达小白笔记8Tensorflow实现

52次阅读

共计 1346 个字符,预计需要花费 4 分钟才能阅读完成。

训练神经网络的根本步骤

回顾逻辑回归模型的训练步骤

  • 依据给出的输入值 x 和参数 w,b 来确定训练模型
  • 确定损失函数和老本函数
  • 利用参数值的梯度降落函数,找出使得老本函数部分最小的值

训练神经网络的步骤

  • 创立神经网络的模型架构
  • 依据模型确定损失函数和代价函数:二分类问题,回归问题
    其中二元穿插熵(binary cross entropy)

    y 是二元标签 0 或 1,p(y)属于输入标签 y 的概率,即对于标签 y 为 1 的状况,loss=-log(p(y)) 如果预测值 p(y)趋近于 1,那么损失函数的值该当趋近于 0。反之,如果此时预测值 p(y)趋近 于 0,那么损失函数的值该当十分大,y= 0 时,损失函数 loss=-log(1-p(y))

  • 对于穿插熵损失函数的补充:

    对图像牛、鹿、猴做出预测,通过 softmax 函数输入各种可能的预测值,而后在 one-hot 中的 label 值。label 中只有一个类别为 1, 其余都为 0,再把对应的概率的对数和标签值相乘累加求正数失去损失函数,对实在值预测概率越大,loss 函数越靠近 0,反之 loss 函数越大,损失越大
    应用穿插熵函数的起因
    极大似然预计,信息熵,详情看链接:https://www.bilibili.com/vide…

  • 调用 Tensorflow 的反向流传函数和二元穿插熵函数来确定梯度降落

    sigmoid 函数的代替函数

    如何抉择 sigmoid 函数

    output layer:

  • 解决的是 binary classification 问题,抉择 sigmoid 函数
  • 解决的是线性回归问题,比方预测股票的涨跌问题,能够抉择线性激活函数,如果预测值必须是非负值,则能够抉择 ReLu 函数

    hidden layer:

  • ReLu 函数和 sigmoid 函数,个别抉择 ReLu 函数,起因如下:ReLu 函数的计算更快,效率更高,而且 ReLu 函数没有平坦的曲线,而 sigmoid 函数有两端较为平坦的局部,这使得 sigmoid 函数的 w 的梯度降落更为迟缓。个别抉择 ReLu 函数作为暗藏层的默认函数

抉择激活函数

个别在暗藏层不抉择线性函数而是 ReLU 函数,为了引入多元

多类分类问题及 Softmax 函数

  • 是指可能有两个及以上的输入标签

  • 逻辑回归与 Softmax 函数的代价函数的比拟

    其中,Softmax 的 y 只能取一个值,损失函数只依据所取的 y 值来进行计算

    神经网络的 Softmax 输入

    在 Softmax 函数中的输入向量 an 的值与 Z1 到 Zn 的值都有关系

    Softmax 的改良实现

    在逻辑回归中的改良:

    在 Softmax 中的改良:

    疑难:为什么输入层的激活函数是线性函数

多标签分类问题

学习率的高级优化办法:
Adam Algorithm Intuition:

如果梯度沿着同一个方向挪动,阐明须要减少学习率
如果梯度来回震荡,难以收敛吗,阐明须要减小学习率
代码实现:

其余的网络层类型

convolutional Layer: 卷积层

以察看病患的心电图为例子,以心电图的每一个稳定值为一个输出变量 x,x1-x20 输出到一个神经元,x11-x30 输出到一个神经元,以此类推,暗藏层共 9 个神经元,再输出到下一个暗藏层的时候,只需关注前一层的 5 个激活值,一个神经元接管 5 个激活值,共 3 个神经元,最初再输出到只有一个神经元的 sigmoid 层,来输入可能的判断
长处:更少的计算量以及须要更少的训练数据

正文完
 0