摘要: 给大家简略介绍了多变量线性回归,还附赠在解决梯度降落过程中通用的两个小技巧。
本文分享自华为云社区《【跟着小 Mi 一起机器学习吧!】多变量线性回归(一)》,原文作者:Skytier。
1 多维特色
当初咱们有四个特色变量,如下图:
具体来说,这个假如是为了预测以万为单位的屋宇价格,一个房子的根本的价格可能是 80w,加上每平方米 1000 元,而后价格会随着楼层数的减少持续增长,随着卧室数的减少而减少,然而呢,随着应用年数的减少而升值,这么一看这个例子是不是很有情理!
2 多变量梯度降落
好了,多变量线性回归假如的模式曾经有了,也就是说料曾经有了,接下来就要开始炒菜啦!
求导数后可失去:
代码示例:
计算代价函数:
Python 代码:
def computeCost(X, y, theta):
inner = np.power(((X * theta.T) - y), 2)
return np.sum(inner) / (2 * len(X))
3 梯度降落法实际 - 特色缩放
接下来,咱们将学习一些在梯度降落运算中的实用技巧,首先给大家介绍一个称为特色缩放的办法,这个办法如下:
4 梯度降落法实际 - 学习率
梯度降落算法收敛所须要的迭代次数依据模型的不同而不同,咱们不能提前预知,咱们能够绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
也有一些自动测试是否收敛的办法,例如将代价函数的变动值小于某个阀值(例如 0.001),那么测试就断定函数曾经收敛,然而抉择一个适合的阈值是相当艰难的,因而,为了检测梯度降落算法是否收敛,更偏向于通过看曲线图,而不是依附主动收敛测试。
点击关注,第一工夫理解华为云陈腐技术~