逻辑回归

1. 动机与目标

在分类（classification）算法中，对于输出值x，输入值y只是一组无限的可能的值中的一个

比方，辨认邮件欺骗，金融交易欺骗，肿瘤类别都使用到了分类算法，其后果值时no或者yes的一个，也被称为binary classification(二元分类算法），输入值也能够用fasle,ture或者逻辑 0，1代表

线性回归在分类训练集中的问题：

  • 横轴为肿瘤大小，纵轴时可能输入的唯二的后果（yes(1) or no(0))
  • 假如通过线性回归模型输入的y-hat<=0.5，则其分类为yes，y-hat>=0.5示意分类为no
  • 当初给出一组数据，图中的⭕和❌别离示意良性和恶行肿瘤
  • 通过这两组数据的拟合，失去了一条拟合线，f=wx+b
  • 在纵轴是做一条水平线y=0.5,与f=wx+b相交，并在交点对应的横轴做一条垂线为决策边界（decision boundary)
  • 则在垂线的左侧，所有的y都将为0，在其右侧所有的y都将为1

  • 然而如果在图的右上侧增加一组数据，并做一条新的（图中为绿色)的拟合线，则决策边界产生了右移，然而咱们不能因为决策边界的右移而扭转分类的规范，此时回归算法就成了一个蹩脚的算法

    2. 逻辑回归


    逻辑回归函数，输入值介于0，1之间，z的范畴个别在-3到3之间，很容易从函数公式中得悉，当z超过此范畴在，则输入值无线靠近1或者0

    逻辑回归函数举例，以肿瘤分类预测为例，f的值=0.7代表预测其有70%的可能性为恶性肿瘤。

    下图为简略的可视化逻辑回归预测模型，两组样本集之间的决策边界决定了预测的y值为0还是1

下图为简单的可视化逻辑回归预测模型，有wb的取值以及f逻辑回归函数可知，决策边界是一个圆，x^2+y^2>=1时，预测值为1，反之预测值为0

3. 逻辑回归中的代价函数


图一


图二


图三

  • 图一为损失函数（logistics loss function）中当y=1时的状况，在右侧坐标轴画出两种状况下的损失函数图像，将损失函数在f（逻辑回归）在（0，1）区间内的图像放大到左侧，当理论值y=1时，察看损失函数的第一个函数，f越靠近1,则损失函数的值越靠近0，loss->0，表明其损失越小
  • 图二为损失函数（logistics loss function）中当y=0时的状况，同第一种状况，当理论值为1时，察看损失函数的第二个函数，f越靠近1,示意预测的越不精确，其损失靠近无穷大，反之当f越靠近1，也就时越靠近真是的y值时，损失函数的损失loss->0,示意预测的越精确，其损失越小
  • 图三是单个训练样本的代价函数

简化逻辑回归损失函数

原函数为：
当y=1和y=0时，带入原函数得以化简称为相似于分段函数的模式
简化逻辑回归代价函数

2. 梯度降落



线性回归的梯度降落和逻辑回归的梯度降落

  • 二者都具备相似的梯度降落（学习曲线）
  • 利用矢量

  • 特色缩放

    2. 过拟合问题

  • 图一是欠拟合（underfit)的例子，因为样本数据过少而做出的线性回归的模型，产生了比拟高的偏差（high bias）
  • 图二是恰到好处的例子（generalize），十分好的拟合了二次多项式的训练模型
  • 图三是过拟合（overfit），将每个样本集都拟合到了一个四次多项式的训练模型上，然而适度拟合，导致样本集略微呈现变动，就会产生偏差，所取样本集不同，则拟合状况齐全不同，产生的预测也会不同，这种状况也叫做high variance（高方差）
  • 下图也是相似的三个例子

解决过拟合问题

  1. 通过获取更多的样本，但很多状况下并不实用
  2. 特征值抉择（selected features），抉择某些特征值进行拟合，但因而会导致失落一些有用的信息
  3. 正则化（regularization），（reduce size of parameters） 放大参量w，来尽可能的保留更多的属性值，是否正则化参量b影响不大

    正则化

    值的抉择非常重要，过大则为了降低成本函数j的值，会使parameter w的抉择上取十分小的值，则可能会产生欠拟合的状况，如下图：

    的值抉择过小，取0，则老本函数的正则式局部不发挥作用，会导致过拟合的状况，如下图：

用于线性回归的正则办法




用于逻辑回归的正则办法

.

.