吴恩达Coursera机器学习 – Chapter 4 多变量线性回归

41次阅读

共计 996 个字符,预计需要花费 3 分钟才能阅读完成。

Chapter 4 – 多变量线性回归 (Linear Regression with Multiple Variables)
相比第二章,这一章无非就是数据集的特征数由一个变为多个,并引入了矩阵的概念。在第二章和高等数学的基础上,学起来也挺快的。
多变量的线性回归

新的假设函数这里我们引入新的变量 n($n \geq 2$),代表模型 / 函数的变量数目。

$$
h\left(x \right) = \theta^{T}X = \theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + \ldots + \theta_{n}x_{n}
$$

代价函数的表示没变

梯度下降函数的表示也没变,但要提一提由于 h(x) 的改变,求导后梯度下降算法变为:如此循环直至收敛。以 n = 2 为例,大括号内可写作:对了,$x_0$ 就是 1,加进来是为了统一。

特征缩放
保持特征值有相近的尺度将使 $J\left(\theta_{0},\ \theta_{1}\right)$ 更快收敛。当数据的各特征值不在一个量级时,我们可以将他们的尺度缩放到 -1~1 之间。
最简单的方法是令:$x_{n} = \frac{x_{n} -\mu_{n}}{s_{n}}$,其中 $\mu_{n}$ 为平均值,$s_{n}$ 为标准差。
多项式回归
线性回归并不适用于所有数据,有时可能用到二次方或三次方模型。这种情况下,先观察数据再决定尝试什么样的模型。有种方法是这样的,如:令 $x_{2}= x_{2}^{2},\ x_{3} = x_{3}^{2}$,从而将二次方模型转化为线性模型
正规方程

原理:求解 $\frac{\partial}{\partial\theta_{j}}J\left(\theta_{j}\right) = 0$

正规方程表示:$\theta = {(X^{T}X)}^{- 1}X^{T}y$ 其中 X 为训练集的特征矩阵,y 为目标变量的矢量

注意:线性代数中,定义方阵可逆的充分必要条件为方阵的行 / 列向量线性无关,因此,若特征之间不独立或特征数量大于训练集数量,正规方程无法使用。(后面所学的正则化方法可以在大量特征值和少量样本的情况下,依然能求解 θ)
正规方程与梯度下降算法的比较

正规方程
梯度下降

不需要多余参数
需要选择学习率 α

一次计算完成
需要多次迭代

矩阵逆计算的时间复杂度为 $O(n^{3})$ 适合 n 较小的情况,一般 n <10000
特征数量 n 较大时适用

仅适用于线性模型
适用各种类型的模型

正文完
 0