1.回顾线性回归的平方误差代价函数
代价函数，它能够测量出一组特定参数与训练数据的吻合水平，从而为咱们提供了一种更好参数的办法，在本节课中，咱们会看到平方误差代价函数并不是逻辑回归的现实代价函数。
上面咱们来看一个不同的老本函数，它能够逻辑回归抉择更好的参数
训练集
平方误差代价函数
由下图可知，逻辑回归的平方误差代价函数是非凸代价函数，不是凸的，这意味着，如果应用梯度降落法，因为有很多部分最小值，很容易卡在这些中央，事实证明，对于逻辑回归，平方误差代价函数并不是一个好抉择。
这里有一个能够使得代价函数再次凸化的代价函数，保障梯度降落能够收敛到全局最小值。惟一的扭转就是把1/2放在了求和外面，而不是里面，仔细观察这个求和的式子，咱们把这个项叫做单个训练例子的损失，用大写的L示意损失函数，它是对于f(x)和实在标签y的函数，在这个例子中损失（给了f(x)和y）等于平方差的一半
2.逻辑损失函数
·逻辑回归应用的损失函数更适宜于指标为0或1而不是任何数字的分类工作。
注:在本课程中，应用以下定义:
Loss(损耗)是掂量单个示例与目标值之间的差别，而
Cost（老本）是对训练集损失的度量
这是定义：
·为单个数据点的代价，为:
·为模型的预测值，为目标值。
·其中函数𝑔是sigmoid函数。
这个损失函数的决定性特色是它应用两条独立的曲线。一个用于指标为0或(𝑦=0)时，另一个用于指标为1时(𝑦=1)。联合起来，这些曲线提供了对损失函数有用的行为，即当预测与指标匹配时为零，当预测与指标不同时值迅速减少。思考上面的曲线:
综合起来，这两条曲线相似于误差损失平方的二次曲线。留神，x轴是𝑓𝐰，𝑏是sigmoid的输入。sigmoid输入严格在0和1之间。
下面的损失函数能够重写以更容易实现。
这是一个看起来相当可怕的方程。当您思考只能有两个值，即0和1时，就不那么令人畏惧了。咱们能够将这个方程分为两局部:当=0时，左项被消去:
当=1时，右项消去:
好的，有了这个新的逻辑损失函数，就能够产生一个老本函数它蕴含了所有例子中的损失。这将是下次试验的主题。当初，让咱们看看下面咱们思考的简略例子的老本vs参数曲线:
这条曲线非常适合梯度降落!它没有高原、部分极小值或不间断。留神，在平方误差的状况下，它不是一个碗。老本和老本的对数都被绘制进去，以阐明这样一个事实:当老本很小时，曲线有一个斜率，并持续降落。提醒:您能够应用鼠标旋转下面的情节。
3.简化的代价函数
这个非凡的代价函数是用一种叫做极大似然预计的统计原理中推导进去的
发表回复