乐趣区

关于mysql:统计科学之分析遇到非正态数据该怎么办

咱们在后面讲过数据的正态性测验,介绍了测验数据是否正态的两种办法。这一节咱们来看一下,如果数据不满足正态时该怎么办,答案就是将非正态数据通过 Box-Cox 变换进一步转换成合乎正态分布的数据。这一篇就给大家分享下 Box-Cox 变换的具体内容。

Box-Cox 变换是多种变换的总称,具体的公式如下:

下面公式中 y(λ)示意变换后的值,依据 λ 的值不同,属于不同的变换,当 λ 值取以下特定的几个值时就变成了非凡的数据变换:

  • 当 λ = 0 时,Box-Cox 变换就变成了对数变换,y(λ) = ln(y);
  • 当 λ =0.5 时,Box-Cox 变换就变成了平方根变换,y(λ) = y^1/2
  • 当 λ = 1 时,Box-Cox 变换变换就是它自身,y(λ) = y
  • 当 λ = 2 时,Box-Cox 变换就变成了平方变动,y(λ) = y^2
  • 当 λ =- 1 时,Box-Cox 变换就变成了倒数变动,y(λ) = 1/y。

λ 值除了能够抉择上述特定的值以外,还能够抉择其余值,那当咱们拿到一份非正态数据时,咱们应该取 λ 值等于多少对齐进行变换呢?这个又该怎么定呢?

λ 值取多少,咱们能够利用 Python 中现成的函数,让函数主动去摸索,而后返回给咱们最优的值是多少就能够。这个函数就是boxcox_normmax,这个函数用来计算给定的非正态数据对应的最优 λ 值。

boxcox_normmax(x[, brack, method])
参数:x:非正态数据
    brack:λ 值搜寻距离,默认即可
    method:计算 λ 值的办法,有 pearsonr、mle、all 三种可选,默认为 pearsonr,即依照相关性的办法去计算,如果选 all,则会返回各种办法的计算结果
返回值:返回 λ 值

当咱们失去最优的 λ 值当前,就能够依据 λ 值进行数据转换了,这个时候能够用另外的一个函数boxcox,这个函数是依据指定的 λ 值对原始数据进行转换。

boxcox(x[, lmbda, alpha])
参数:x:非正态数据
    lambda:转换的 λ 值
    alpha:计算置信区间时所用到的 alpha 值
返回值:boxcox:通过转换当前的数据
    maxlog:如果在传入时 lambda 参数值没有指定的话,该函数也会计算一个 λ 值进去
    (min_ci, max_ci):如果 lambda 参数为空且 alpha 参数不为空时,会计算 maxlog 的一个置信区间进去

咱们下面讲了计算 λ 值有不同的办法,那到底哪种办法计算出来的 λ 值更加牢靠一些呢?咱们能够通过另外一个函数 boxcox_normplot 来查看到底哪种办法计算出来的 λ 值更牢靠。

boxcox_normplot(x, la, lb, plot=None, N=80)
参数:x:非正态数据
    la,lb:λ 值的上下界
    plot:绘图的画布
    N:横轴的坐标点个数
返回值:lmbdas:通过 box-cox 算进去的多个 λ 值
    ppcc:相关系数,能够了解成 λ 值的牢靠水平

以上就是 box-cox 变换过程中用到的三个不同的函数,接下来咱们给大家理论演示一下这三个函数如何应用。

首先,咱们导入一份非正态数据,并绘制这份数据的概率密度图,须要这份数据的在公众号后盾回复 非正态数据,即可取得。

import pandas as pd
import numpy as np
import seaborn as sns
df = pd.read_excel(r"非正态数据集.xlsx")
sns.distplot(df["price"],color = "#D86457")

通过下面的概率密度图,咱们能够看出这是一份偏态数据,也就是非正态。接下来咱们先利用 boxcox_normmax 函数来寻找最优 λ 值,代码如下:

from scipy import stats
stats.boxcox_normmax(df["price"])
---
返回:0.17896037184755484

在取得最优 λ 值当前,咱们再利用 boxcox 函数来进行数据转换,具体代码如下:

x = stats.boxcox(df["price"],stats.boxcox_normmax(df["price"]))
sns.distplot(x,color = "#D86457")

对转换后的数据再次进行概率密度图的绘制,咱们能够看到,数据就很正态了。

接下来再来咱们再看一下咱们计算出来的 λ 值是不是最优的,具体代码如下:

fig = plt.figure()
ax = fig.add_subplot(111)
stats.boxcox_normplot(df["price"], -20, 20,plot = ax)
plt.axvline(x = stats.boxcox_normmax(df["price"]),color = "#D86457")
plt.show()


两头红色那条线的地位就是咱们求进去最优的 λ 值,后果很吻合。

以上就是对于 Box-Cox 变换的实践和实战内容,大家多多练习。

退出移动版