关于机器学习:高斯函数高斯积分和正态分布

77次阅读

共计 2877 个字符,预计需要花费 8 分钟才能阅读完成。

正态分布是高斯概率分布。高斯概率分布是反映核心极限定理原理的函数,该定理指出当随机样本足够大时,总体样本将趋向于期望值并且远离期望值的值将不太频繁地呈现。高斯积分是高斯函数在整条实数线上的定积分。这三个主题,高斯函数、高斯积分和高斯概率分布是这样交错在一起的,所以我认为最好尝试一次性解决这三个主题(然而我错了,这是本篇文章的不同主题)。本篇文章咱们首先将钻研高斯函数的个别定义是什么,而后将看一下高斯积分,其后果对于确定正态分布的归一化常数是十分必要的。最初咱们将应用收集的信息了解,推导出正态分布方程。

首先,让咱们理解高斯函数实际上是什么。高斯函数是将指数函数 exp(x) 与凹二次函数(例如 -(ax^2+bx+c) 或 -(ax^2+bx) 或只是 -ax^2 组成的函数。后果是一系列出现“钟形曲线”的形态的函数。

两个高斯函数的图。第一个高斯 (绿色) 的 λ = 1 和 a =1。第二个(橙色)λ= 2 和 a =1.5。两个函数都不是标准化的。也就是说,曲线下的面积不等于 1。

大多数人都相熟这类曲线是因为它们在概率和统计中被宽泛应用,尤其是作为正态分布随机变量的概率密度函数。在这些状况下,函数具备的系数和参数既能够缩放“钟形”的振幅,扭转其标准差 (宽度),又能够平移平均值,所有这一切都是在曲线下的面积进行归一化(缩放钟形,使曲线下的面积总是等于 1) 的同时进行的。后果是一个高斯函数蕴含了一大堆的参数来影响这些后果。

如果将其认为是均值 = μ 且标准差 = σ 的正态分布方程。将其与高斯 λ exp(-ax^2) 的个别模式进行比拟,咱们能够看到:

  • (x – μ)^2 示意的是均值 μ 如何在 x 轴上左右平移图像,这就是均值要做的。如果 μ =0,那么图的核心为 0。
  • σ^2,是一个测量随机变量的方差,也就是说数据是如何扩散的,当咱们应用 a =1/(2σ^2)放大或扩充图形时,咱们心愿同时缩放图形应用 λ =1/√2πσ^2。这样图下的面积能力放弃为 1。

前导系数 λ 有时示意为 1/Z,其中 Z=√2πσ^2,正是这样的一个后果将咱们带到了本文的次要观点之一:√2πσ^2 有时被称为一个自变量的正态分布的归一化常数,而 1 /√2πσ2 则被称为归一化常数。在这两种状况下,公式中都有 π,它是从哪里来的?它通常与圆、径向对称和 / 或极坐标相关联。单个变量的函数如何以 π 作为其在前导系数中的归一化参数之一呢?

能够参考咱们以前的文章,外面有十分具体的形容

高斯积分

不定积分 ∫ exp(x^2) dx 不可能用高等函数求解。有没有任何积分办法能够用来求解不定积分?

能够计算定积分,如上所述,首先对高斯函数求平方从而在 x 和 y 中产生一个具备径向对称二维图的两个变量函数。这样可能将直角坐标系转换为极坐标,在此基础上就能够应用更相熟的积分办法(例如置换)进行积分。而后,简略地取后果的平方根(因为咱们在开始时对积分进行平方)就失去了咱们的答案,顺便说一句,后果是是√π。

对高斯积分求平方

办法的第一步是对积分求平方——也就是说,咱们将一维转换为二维,这样就能够应用多变量微积分的技术来求解积分

能够重写为:

这两个积分用 x 和 y 示意是等价的; 所以它等同于 x 的单个积分的平方。因为变量 x 和 y 是独立的,所以能够把它们移进或移出第二个积分符号,能够这样写:

如果你不相熟如何解二重积分也不必放心。只需先应用外部变量进行积分失去单个积分。而后用右边的变量和里面的变量积分。但当初还不须要这么做。这里须要留神的是当咱们对积分进行平方时,失去了一个二维的图形化的径向对称的高斯函数。用 x 和 y 来示意积分 e 的指数是 - (x^2+y^2)给了咱们下一步应该做什么的线索。

转换为极坐标

这里辣手的局部是,咱们必须将直角坐标下的二重积分转换成极坐标下的二重积分。

为了在极坐标中对整个有限区域进行积分,咱们首先对 exp(−r²) 绝对于从 x=0 开始并延长到无穷大的半径 r 进行积分。后果是一个有限薄的楔形,看起来像咱们原始一维高斯曲线的一半。而后咱们围绕旋转轴 Z 轴旋转楔形,并累积有限数量的这些极薄的楔形。也就是说——咱们在 π 从 0 到 2π 时积分。

咱们当初的二重积分看起来像这样:

咱们能够用 r^2 替换指数中的 −(x^2+y^2),这要感激毕达哥拉斯。然而咱们依然须要将咱们的微分从矩形转换为极坐标。

微分的转换简略的示意如下:

在任何状况下,咱们的二重积分当初看起来像这样:

增加适当的积分边界:

如果咱们设 u =r^2,那么 du=2r,咱们能够写成(对于内积分)

而后求出外积分:

所以:

咱们在下一节求解标准化常数时,这个后果很重要。

正态分布函数的推导

当初咱们有了推导正态分布函数的所有前提。上面将分两步来做:首先确定咱们须要的概率密度函数。这意味着以 λ 为单位从新转换 -a- 产生的函数,无论为 λ 抉择什么值,曲线下的面积总是 1。而后用随机变量的方差 σ^2 来转换 λ。对整个实数线上的方差进行积分 从而失去咱们在前导系数 √2πσ^2 中须要归一化常数的项,也是咱们在分母中须要的项指数 2σ^2。咱们将应用分部积分来求解方差积分。

概率密度函数的推导

咱们将从狭义高斯函数 f(x)=λ exp(−ax^2)开始,正态分布下的面积必须等于 1 所以咱们首先设置狭义高斯函数的值,对整个实数线积分等于 1

这里将 -a- 替换为 a^2 略微批改了高斯分布。为什么要这样做?因为它能够应用 换元积分 U-substitution 来解决这个积分。为什么咱们能够这样做?因为 -a- 是一个任意常数,所以 a^2 也只是一个任意常数,能够应用 U-substitution 求解。让 u=ax 和 du=a dx 这意味着 dx=du/a,因为 λ 和 1/a 是常数,咱们能够将它们移到积分符号之外,失去:

咱们从下面对于高斯积分的探讨中晓得,左边积分的值等于√π。这样就能够改成:

求解 -a- 能够这样写:

依据曾经发现的 λ 和 -a- 之间的关系,批改后的高斯下的面积总是等于 1 也是必须的,所以咱们能够进一步批改,用 πλ^2 代替 a^2 并写:

无论 λ 的值如何,该曲线下的面积始终为 1。这是咱们的概率密度函数。

确定归一化常数

在取得归一化概率分布函数之前还须要做一件事:必须将 λ 重写为随机变量方差 σ^2 的函数。这将波及对整个实数线的方差表达式进行积分所以须要采纳按分部积分来实现此操作。

如果给定一个概率密度函数 f(x) 和一个均值 μ,则方差定义为从均值平方 (x – μ)^2 的偏差乘以整个实数线的概率密度函数 f(x) 的积分:

假如 μ =0,因为曾经有了概率密度函数 h(x),所以能够写成

用分部积分法求解这个积分有:

第一项归零是因为指数中的 x^2 项比前一项分子中的 - x 项趋近于∞的速度快得多所以咱们失去

左边的被积函数是概率密度函数,曾经晓得当对整个实数线进行积分时它的值是 1 :

求解 λ 失去:

将 λ 的 1/√2πσ^2 代入咱们的批改后的公式(即咱们的概率密度函数),咱们失去:

剩下要做的就是将平均值 μ 放入指数的分子中,以便能够依据 μ 的值沿 x 轴平移图形:

这样就实现了方程推导

https://www.overfit.cn/post/ead43bb483024034bd397d6fc63b53eb

作者:Manin Bocss

正文完
 0