明天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在一般的最小二乘回归(OLS)的根底上进行革新的,次要是用来解决异方差问题的。
OLS的惯例模式如下:
咱们在后面讲过OLS有几个根本假设,其中一个就是ui是随机烦扰项,即随机稳定的,不受其余因素的影响,即在x取不同值时var(ui)都是一个固定的常数。但有的时候ui不是随机烦扰项,而是与x的取值无关的,比方在钻研年龄和工资收入的之间的关系时,随着年龄越大,ui的稳定是会越大的,即var(ui)不是常数了,这就是呈现了异方差。此时的数据不满足OLS的根本假设,所以如果间接应用OLS进行预计,会使预计进去的后果是有偏的。
如果咱们在预计的时候能够把不同x的对应的ui的大小思考进去的话,失去的后果应该就是ok的。那咱们应该如何思考进去呢?
假如不同x对应的ui的稳定(方差)为i^2,咱们在OLS根本方程左右两边同时除i,最初失去如下后果:
为了让方程看起来更加相熟一点,咱们再做一个变换:
变换后的方程是不是就和一般的OLS的方程模式是一样的了,此时的方程也满足根本的OLS假设,因为咱们把不同x对应的i给除掉了。就能够利用一般OLS方程的办法进行求解了。咱们把这种变换后的方程称为WLS,即加权最小二乘法。
尽管整体思路上没啥问题了,然而这里还有一个关键问题就是i怎么获取呢?
先用一般最小二乘OLS的办法去预计去进行预计,这样就能够失去每个x对应理论的残差ui,而后将ui作为i。1/ui作为权重在原方程左右两边相乘,将失去的新的样本值再去用一般最小二乘预计即可。
以上就是对于加权最小二乘的一个简略介绍。