逻辑回归
1. 动机与目标
在分类（classification）算法中，对于输出值 x，输入值 y 只是一组无限的可能的值中的一个
比方，辨认邮件欺骗，金融交易欺骗，肿瘤类别都使用到了分类算法，其后果值时 no 或者 yes 的一个，也被称为binary classification(二元分类算法），输入值也能够用 fasle,ture 或者逻辑 0，1 代表
线性回归在分类训练集中的问题：
- 横轴为肿瘤大小，纵轴时可能输入的唯二的后果（yes(1) or no(0))
- 假如通过线性回归模型输入的 y -hat<=0.5，则其分类为 yes，y-hat>=0.5 示意分类为 no
- 当初给出一组数据，图中的⭕和❌别离示意良性和恶行肿瘤
- 通过这两组数据的拟合，失去了一条拟合线，f=wx+b
- 在纵轴是做一条水平线 y =0.5, 与 f =wx+ b 相交，并在交点对应的横轴做一条垂线为决策边界（decision boundary)
- 则在垂线的左侧，所有的 y 都将为 0，在其右侧所有的 y 都将为 1
-
然而如果在图的右上侧增加一组数据，并做一条新的（图中为绿色)的拟合线，则决策边界产生了右移，然而咱们不能因为决策边界的右移而扭转分类的规范，此时回归算法就成了一个蹩脚的算法
2. 逻辑回归
逻辑回归函数，输入值介于 0，1 之间，z 的范畴个别在 - 3 到 3 之间，很容易从函数公式中得悉，当 z 超过此范畴在，则输入值无线靠近 1 或者 0
逻辑回归函数举例，以肿瘤分类预测为例，f 的值 =0.7 代表预测其有 70% 的可能性为恶性肿瘤。
下图为简略的可视化逻辑回归预测模型，两组样本集之间的决策边界决定了预测的 y 值为 0 还是 1
下图为简单的可视化逻辑回归预测模型，有 wb 的取值以及 f 逻辑回归函数可知，决策边界是一个圆，x^2+y^2>= 1 时，预测值为 1，反之预测值为 0
3. 逻辑回归中的代价函数
图一
图二
图三
- 图一为损失函数（logistics loss function）中当 y = 1 时的状况，在右侧坐标轴画出两种状况下的损失函数图像，将损失函数在 f（逻辑回归）在（0，1）区间内的图像放大到左侧，当理论值 y = 1 时，察看损失函数的第一个函数，f 越靠近 1, 则损失函数的值越靠近 0，loss->0，表明其损失越小
- 图二为损失函数（logistics loss function）中当 y = 0 时的状况，同第一种状况，当理论值为 1 时，察看损失函数的第二个函数，f 越靠近 1, 示意预测的越不精确，其损失靠近无穷大，反之当 f 越靠近 1，也就时越靠近真是的 y 值时，损失函数的损失 loss->0, 示意预测的越精确，其损失越小
- 图三是单个训练样本的代价函数
简化逻辑回归损失函数
原函数为：
当 y = 1 和 y = 0 时，带入原函数得以化简称为相似于分段函数的模式
简化逻辑回归代价函数
2. 梯度降落
线性回归的梯度降落和逻辑回归的梯度降落
- 二者都具备相似的梯度降落（学习曲线）
- 利用矢量
-
特色缩放
2. 过拟合问题
- 图一是欠拟合（underfit)的例子，因为样本数据过少而做出的线性回归的模型，产生了比拟高的偏差（high bias）
- 图二是恰到好处的例子（generalize），十分好的拟合了二次多项式的训练模型
- 图三是过拟合（overfit），将每个样本集都拟合到了一个四次多项式的训练模型上，然而适度拟合，导致样本集略微呈现变动，就会产生偏差，所取样本集不同，则拟合状况齐全不同，产生的预测也会不同，这种状况也叫做high variance（高方差）
- 下图也是相似的三个例子
解决过拟合问题
- 通过获取更多的样本，但很多状况下并不实用
- 特征值抉择（selected features），抉择某些特征值进行拟合，但因而会导致失落一些有用的信息
- 正则化（regularization），（reduce size of parameters）放大参量 w，来尽可能的保留更多的属性值，是否正则化参量 b 影响不大
正则化
λ 值的抉择非常重要，过大则为了降低成本函数 j 的值，会使 parameter w 的抉择上取十分小的值，则可能会产生欠拟合的状况，如下图：
λ 的值抉择过小，取 0，则老本函数的正则式局部不发挥作用，会导致过拟合的状况，如下图：
用于线性回归的正则办法
用于逻辑回归的正则办法
.
.