关于机器学习:机器学习数学复习-1概率论基础

2次阅读

共计 3813 个字符,预计需要花费 10 分钟才能阅读完成。

概率相干

从骰子试验引出的各种概率概念

1. 投骰子,呈现点数为 6 的概率 $$\frac{1}{6}$$. 投骰子,已知呈现点数为偶数 ,呈现点数为 6 的概率则是 $$\frac{1}{3}$$,这个概率即 条件概率

2.条件概率 为:假如咱们晓得 A 事件曾经产生,在此基础上咱们想晓得 B 事件产生的概率,这个概率为条件概率,记作 $$P(B|A)$$

3.古典概率模型:假如一个试验,有 $$\Omega$$ 个等可能性的后果,事件 A 蕴含其中 $$X$$ 个后果,事件 B 蕴含其中 $$Y$$ 个后果,$$Z$$ 代表其中穿插的事件:

事件 A 产生的概率:$$P(A) = \frac{X}{\Omega}$$;事件 B 产生的概率:$$P(B) = \frac{Y}{\Omega}$$;事件 A、B 都产生的概率:$$P(AB) = \frac{Z}{\Omega}$$ 如果事件 A 曾经产生,那么事件 B 也产生的概率是 $$P(B|A) = \frac{Z}{X}$$,将公式开展:这个公式就是条件概率公式

$$
P(B|A) = \frac{\frac{Z}{\Omega}}{\frac{X}{\Omega}}= \frac{P(AB)}{P(A)}
$$

4. 如果条件概率 $$P(B|A)$$ 大于 $$P(B)$$,代表事件 A 的产生会促成事件 B 的产生,例如下面投骰子的例子。还有能够看下图,自身 $$P(B)$$ 的概率是比拟小的,在事件 A 已产生的状况下,因为相交局部较多,事件 B 产生的概率也晋升了:

5. 如果条件概率 $$P(B|A)$$ 小于 $$P(B)$$,代表事件 A 不会促成事件 B 的产生,例如事件 A 为投骰子点数为偶数,事件 B 为投骰子点数小于 < 4,事件 A 和 事件 B 产生的概率都为 $$1/2$$,事件 A、B 同时产生的概率是 $$1/6$$,条件概率 $$P(B|A)$$ 为 $$1/3$$。还有能够看下图,自身 $$P(B)$$ 的概率是比拟大的,在事件 A 已产生的状况下,因为相交局部较少,事件 B 产生的概率被升高了:

6. 如果条件概率 $$P(B|A)$$ 等于 0,代表事件 A 与事件 B 齐全不相交,即事件 A 产生则事件 B 肯定不会产生,事件 A 与事件 B 是 不相容事件 ,或者是 互斥事件。如下图所示:

7. 还有可能条件概率 $$P(B|A)$$ 等于 $$P(B)$$,在这种状况下其实就是事件 A、B 的产生互不相干,例如有两个骰子,事件 A 为骰子 1 投出点数 6,事件 B 为骰子 2 投出点数 2,事件 A 和 事件 B 产生的概率都为 $$1/6$$,那么事件 A、B 同时产生的概率是 $$\frac{1}{36}$$,条件概率 $$P(B|A)$$ 等于 $$\frac{1}{6}$$,咱们个别称这种为独立事件。如下图所示:

全概率公式与骰子试验验证

假如有 $$A_1,A_2,…,A_n$$ 这些互斥事件,蕴含了试验所有可能的后果:

即有 $$P(A_1) + P(A_2) + … + P(A_n) = 1$$。拿刚刚的骰子举例,其实就是抛一次骰子,点数别离为 1,2,3,4,5,6.

假如再有一个事件 B,用古典概率示意如图:

事件 B 的概率,能够通过事件 B 在 $$A_1,A_2,…,A_n$$ 这些互斥事件上的条件概率以及这些事件的概率进行计算,即全概率公式:

$$
条件:P(A_1) + P(A_2) + … + P(A_n) = 1
$$

$$
后果:P(B) = P(B\Omega) = P(BA_1) + P(BA_2) + … + P(BA_n) = P(A_1)P(B|A_1) + P(A_2)P(B|A_2) + … + P(A_n)P(B|A_n)
$$

例如事件 B 就是投出的骰子为偶数,$$P(B) = \frac{1}{2}$$,$$P(A_{点数 =1})P(B|A_{点数 =1}) + P(A_{点数 =2})P(B|A_{点数 =2}) + P(A_{点数 =3})P(B|A_{点数 =3}) + P(A_{点数 =4})P(B|A_{点数 =4}) + P(A_{点数 =5})P(B|A_{点数 =5}) + P(A_{点数 =6})P(B|A_{点数 =6}) = \frac{1}{6} * 0 + \frac{1}{6} * 1 + \frac{1}{6} * 0 + \frac{1}{6} * 1 + \frac{1}{6} * 0 + \frac{1}{6} * 1 = \frac{1}{2}$$

全概率公式的应用:足球预测

全概率公式的意义在于:在大多数状况下,咱们是 很难像骰子试验一样间接得出事件 B 的概率 的,咱们须要限定事件的样本空间,依据现有样本形象出事件 $$A_1,A_2,…,A_n$$,同时统计这些事件上 B 产生的概率,最初得出事件 B 的概率。

举个例子即揣测本次欧洲杯英国队对阵德国队,英国队胜利的概率,咱们能够通过历史较量数据(例如近几届欧洲杯较量数据,以及两队对阵较量数据)估算出英国队进球数为 0,1,2,3,4,5… 的概率,德国队进球数为 0,1,2,3,4,5… 的概率,其中 英国队进球数大于德国队即英国队胜利的概率。这就是全概率公式的一种利用。

由因推果与由果推因

全概率公式就是 由因推果 ,一个典型的例子就是下面提到本次欧洲杯英国队对阵德国队,英国队胜利的概率的揣测。咱们依据以往较量数据,能够算出英国队还有德国队的均匀进球,进球概率个别合乎 泊松散布 (这个咱们之后还会提到,还会用这个例子详细分析),依据 泊松散布,咱们能够能够得出英国队还有德国队进球数 n 的概率,假如英国队均匀进球为 1.67,德国队均匀进球为 1.52 则(咱们这里只思考到进球数为 4 的状况):

球队 进球数为 0 进球数为 1 进球数为 2 进球数为 3 进球数为 4
英国队 0.1882 0.3144 0.2625 0.1461 0.061
德国队 0.2187 0.3324 0.2527 0.128 0.0486

假如 $$P(A_0)$$ 为英国队进球数为 0 的概率并以此类推:

$$
P(A_0) = 0.1882
$$

$$
P(A_1) = 0.3144
$$

$$
P(A_2) = 0.2625
$$

$$
P(A_3) = 0.1461
$$

$$
P(A_4) = 0.061
$$

假如 $$P(B)$$ 为英国队胜利的概率,则依据全概率公式有:

$$
P(B) = P(A_0)P(B|A_0) + P(A_1)P(B|A_1) + P(A_2)P(B|A_2) + P(A_3)P(B|A_3) + P(A_4)P(B|A_4)
$$

$$
P(B|A_0) = 0
$$

$$
P(B|A_1) = 德国队进球为 0 的概率 = 0.2187
$$

$$
P(B|A_2) = 德国队进球为 0,1 的概率 = 0.2187 + 0.3324 = 0.5511
$$

$$
P(B|A_3) = 德国队进球为 0,1,2 的概率 = 0.2187 + 0.3324 + 0.2527 = 0.8038
$$

$$
P(B|A_4) = 德国队进球为 0,1,2,3 的概率 = 0.2187 + 0.3324 + 0.2527 + 0.128 = 0.9318
$$

$$
P(B) = 0.1882 * 0 + 0.3144 * 0.2187 + 0.2625 * 0.5511 + 0.1461 * 0.8038 + 0.061 * 0.9318 = 0.3877
$$

然而,事实问题中,咱们常常还会遇到由果推因的问题,例如咱们体检,检测进去了胆囊息肉,那它到底是否是肿瘤造成的还是胆固醇造成的或者是其余起因呢?这就须要咱们从这个后果揣测造成的起因。这就引出了 贝叶斯公式

从足球预测例子了解先验概率与后验概率

在提到贝叶斯公式之前,咱们先搞清楚两个概念,先验概率 后验概率

先验概率 个别是通过教训得出,即依据历史采集到的数据,没有做任何限度,得出的教训概率。下面的例子提到的通过历史较量数据揣测进去的两队进球数的概率,就是 先验概率 。这时候假如较量开始,而后产生了一个事件,德国队后卫失误被英国队凯恩先进了一球,这时候咱们须要在这个前提下从新计算两队进球数的概率,这个就是 后验概率

先验概率 即齐全依据历史数据揣测出的教训概率,没有任何已产生前提状况下的概率。后验概率 即察看到某个景象须要对 先验概率 进行修改的概率。能够这样简略了解,较量开始前,预计的概率个别就是先验概率,较量开始后,产生红黄牌,点球,进球,换人等等这些事件后,对概率进行修改后得出的就是后验概率。

贝叶斯公式与胆囊息肉造成起因揣测

假如有事件 A、B,则:

$$
P(A|B) = \frac{P(AB)}{P(B)} = \frac{P(B|A)P(A)}{P(B)}
$$

这就是贝叶斯公式,咱们再联合起来全概率公式,假如咱们事件 $$A_1, A_2, …, A_n$$ 这些互斥事件形成了样本空间的选集,则有:

$$
P(A_1|B) = \frac{P(B|A_1)P(A_1)}{P(B)} = \frac{P(B|A_1)P(A_1)}{P(B|A_1)P(A_1) + P(B|A_2)P(A_2) + … + P(B|A_n)P(A_n)}
$$

咱们来用胆囊息肉造成起因揣测举个例子,假如咱们统计到在某个医院一百万个病人样本中,患有肿瘤的有 8%,其中的 20% 已经发现胆囊息肉,具备高胆固醇症状的人有 80%,其中 40% 已经发现胆囊息肉,剩下其余的 12% 中 30% 已经发现胆囊息肉。假如 $$A_1$$ 为患有肿瘤,$$A_2$$ 为胆固醇,$$A_3$$ 为其余。$$B$$ 为胆囊息肉。则胆囊息肉为肿瘤的概率为:

$$
P(A_1|B) = \frac{P(B|A_1)P(A_1)}{P(B|A_1)P(A_1) + P(B|A_2)P(A_2) + P(B|A_3)P(A_3)} = \frac{0.2 * 0.08}{0.2 * 0.08 + 0.4 * 0.8 + 0.3 * 0.12} = 0.043
$$

正文完
 0