共计 920 个字符，预计需要花费 3 分钟才能阅读完成。
·首先这里有解决过拟合的三种办法：
·(1). 收集更多的训练数据
·(2). 放大参数（w,b）的大小 – 正则化
·(3). 从原有特色中，挑选出局部特色用于训练
* 总结：但在理论训练的过程中，如果数据集是肯定的，没有方法取得更多的训练数据，并且原有的特色中，不晓得该舍弃哪些特色或者不心愿舍弃特色，那么就须要应用正则化办法来解决过拟合的问题。
1. 增加正则化
(1). 正则化线性回归
由上图能够看出：
·线性回归的正则化代价函数是在原有代价函数的根底上加了一项
· 线性回归的梯度降落公式在更新 wj 时，也在原来的根底上增加了一项，而 b 在更新的过程中和原来一样。
(2). 正则化逻辑回归
由上图能够看出：
·逻辑回归的正则化代价函数是在原有代价函数的根底上加了一项
· 逻辑回归的梯度降落公式在更新 wj 时，也在原来的根底上增加了一项，而 b 在更新的过程中和原来一样。
下面的两张图片展现了线性回归和逻辑回归的代价和梯度函数。留神:
Cost:
线性回归和逻辑回归的老本函数差别显著，但在方程中退出正则化是雷同的。
Gradient:
线性回归和逻辑回归的梯度函数十分类似。它们的区别仅仅在于的实现。
2. 具备正则化的代价函数
(1). 正则化线性回归的代价函数
代价函数正则化线性回归方程为:
将此与没有正则化的代价函数 (在之前的实验室中实现) 进行比拟，后者的模式为:
区别在于正则化项
包含这一项的激励梯度降落，以最小化参数的大小。留神，在本例中，参数𝑏不是正则化的。这是规范做法。
(2). 正则化逻辑回归的代价函数
对于正则化逻辑回归，代价函数为
将此与没有正则化的老本函数 (在之前的实验室中实现) 进行比拟:
与下面线性回归的状况一样，差别是正则化项，即
包含这一项的激励梯度降落，以最小化参数的大小。留神，在本例中，参数𝑏不是正则化的。这是规范做法。
3. 带有正则化的梯度降落
运行梯度降落的根本算法不随正则化而扭转，它是:
每个迭代在上为所有𝑗同时执行更新。
正则化扭转的是计算梯度。
4. 用正则化计算梯度(线性 / 逻辑)
线性回归和逻辑回归的梯度计算简直雷同，只有的计算不同。
· m 是数据集中训练示例的数量
模型的预测, 而是指标
· 对于线性回归模型
·对于逻辑回归模型
其中𝑔(𝑧)为 sigmoid 函数:
增加了正则化的术语是
