1. 代价函数公式

线性回归函数与代价函数

2. 了解代价函数


依据训练集（training set)建设模型，通过代价函数的计算，寻求使得代价函数值最小的参数w,b，以下为简略示例，为了简化模型，将b设为0，右图为参数w和代价函数所求值的关系图

当w=1时，代价函数的值=0：

当w=0.5时，代价函数的值≈0.58

当w=0时，代价函数的值=2.3

通过在肯定范畴内寻找w的值，最终确定回归线性函数的值

3. 可视化代价函数

当w,b两个参数同时参加训练模型的代价函数计算，j,w,b的关系图时一个三维的:

4. 梯度降落

实用于多个参数的更为个别的函数模型

对于不是碗状的函数模型，可能存在不止一个最小值

两条门路达到的最低点都称为部分最小值，沿着某一条门路梯度上来，不会走到另外一条门路，这是梯度降落法的一个个性
Gradient Descent algorithm 公式：

是学习率（learning rate)：区间范畴为0~1，一般来说是0.01，作用：管制梯度降落的幅度
/wJ(w,b)是对w参数的求偏导（derivative）

与上同理
梯度降落算法会反复以上两个更新步骤，直到算法收敛，以达到部分最优，计算w和b时，须要同时进行，下列左侧为正确算法，右侧时谬误算法

梯度降落中导数的意义：

  • 斜率为正时，w向横轴的左侧挪动，w变小，j(w)变小
  • 斜率为负时，w向横轴的右侧挪动，w变大，j(w)变小

学习率过小或过大造成的影响：

过小的状况下，梯度降落十分迟缓，统一老本函数j值降落过慢
过大的状况下，梯度降落过大，可能永远无奈到达到函数的最低值，甚至呈现发散的状况

如果参数是的代价函数降落到了部分最小值，梯度降落将进行

越靠近部分最小值，导数将变得更小，梯度降落更新将会变得更小，函数能够降落到部分最小值而不须要扭转学习率