关于深度学习:概率和似然

在日常生活中，咱们常常应用这些术语。然而在统计学和机器学习上下文中应用时，有一个实质的区别。本文将用实践和例子来解释概率和似然之间的要害区别。

概率与似然

假如在一场棒球较量中，两队的队长都被招集到场上掷硬币。获胜的队长将依据掷硬币的后果抉择先击球还是先投球。

当初，获胜的队长抉择先击球的概率是多少？咱们当初晓得只有两种可能的后果：获胜的队长决定先投球或开始击球。获胜的队有50%的几率会抉择先击球。

评论员当初正在探讨获胜队长抉择首先在击球的可能性。在理论中这个数字可能不到 50%，因为抉择先击球会受球场类型、天气、对方球队等因素的影响。比如说如果较量前下了大雨，决定先击球的可能性会低至 1%。如果天气条件恰到好处，那么获胜的队抉择先击球的可能性可能高达 95%。

所以在计算概率值时，咱们置信参数值=0.5是正确的。在思考了所有参数之后，咱们假如咱们确定参数值 =0.5。然而在计算似然时，咱们的指标是确定咱们是否能够信赖该参数。

所以咱们能够说概率是基于纯数学的；然而似然是一个有许多参数和条件的函数。

为什么似然不是概率分布？

在抛硬币的状况下，咱们能够论述以下对于潜在后果 x 的状况。

硬币侧面朝上的概率是，

在此基础上，咱们能够提出以下对于求硬币侧面朝上和背面朝上的概率的问题。

上面的方程能够推广前一组方程。

当初，咱们能够看到下面的公式实用于k=1和k=0的值。

有了以上的根底，当初要思考两种不同的状况。

1、概率

假如在抛硬币之前，咱们晓得参数=3/4的值。在此基础上能够说失去侧面的概率是P(侧面)= = 3/4, P(背面)= 1- = 1/4。让咱们把这些数据画在一个简略的图表上。咱们放弃参数()不变，并扭转数据(x=1或x=0)。

2、似然

当初，假如咱们在抛硬币之前不晓得侧面或背面的概率，而咱们有数据的后果， 也就是说咱们曾经掷过硬币。当初，给定 x=1，找到 的概率是多少。在这种状况下，咱们保持数据 (x=1) 不变并更改参数 ()。

咱们指标是想找到定义这种后果的散布。简而言之，咱们想要找到给定 x 的 值。能够将其写成如下的数学格局。

P(x=1 | ) = L( | x=1)

这里须要留神的要害是曲线下的面积是1/2。所以，咱们能够说它不是一个无效的概率分布。它被称为似然散布。似然函数不遵从概率定律。因而似然函数在[0,1]区间内是无界的。

概率和似然之间的要害区别

假如咱们从参数化散布 F(X;) 中失去一个随机变量 X。在此参数化散布中， 是定义散布 F(X;) 的参数。随机变量 X=x 的概率为 P(X=x) = F(x;)，这里的参数 是已知的。

而咱们个别状况下会领有事实世界中的数据 (x)，而定义散布 () 的参数是未知的。给定模型 F(X;)，似然度定义为观测数据 X 随 变动的概率。咱们能够将其写为 L() = P(; X=x)。这里X 已知，但定义散布 () 的参数未知。定义似然的动机是为了确定散布的参数。

在咱们的日常生活中，常常将概率和似然称为同一事物。例如：今天下雨的概率是多少？或者今天下雨的可能性（似然）有多大？然而这些术语在机器学习和统计学中有很大不同。上面的一个例子能够解释概率和似然之间的要害区别。

当咱们计算概率后果时，咱们假如模型的参数是值得信赖的。然而当咱们计算似然时，咱们会依据咱们察看到的样本数据来确定咱们是否能够信赖模型中的参数。

抛硬币

如果一枚硬币侧面朝上和反面朝上的概率相等，就称其为平均硬币。换句话说，P(侧面)= P(背面)= 1/2。

假如有一枚平均硬币。咱们假如硬币参数值( = 0.5)。在寻找概率时，咱们假如参数是可信的。也就是说如果咱们抛这枚硬币一次，它侧面朝上的概率是1/2。当初咱们抛硬币100次，发现只有12次是侧面朝上的。基于这些证据，咱们会说硬币是平均的可能性非常低。因为如果硬币是平均的，咱们预计它侧面朝上的概率是一半，也就是50次。

在下面的例子中，咱们能够说，100次硬币侧面朝上的概率只有12次，这让咱们高度狐疑，因为在给定的条件中，硬币侧面朝下的理论概率实际上是p = 0.5。但如果这枚硬币55次侧面，咱们就能够说这枚硬币很可能是平均的。

概率问题和统计问题的区别

假如咱们还是抛硬币。思考以下两个场景。

概率问题:

咱们假如硬币是平均的。间断失去两个侧面的概率是多少?

它示意给定参数值(P = 0.5)，察看数据(序列)的概率是多少。

统计问题:

咱们不晓得硬币是否偏心（咱们正在试图确定硬币的公平性）。假如咱们抛硬币两次，间断失去两次侧面。

问:依据察看到的数据，这枚硬币是平均的可能性有多大?(p = 0.5)?

这意味着咱们在给定数据(sequence = HH)的状况下确定参数的值(P = 0.5)。也就是说“咱们的样本在多大程度上反对咱们的假如 P = 0.5?”

咱们能够将似然定义为参数模型中样本对给定参数值的反对水平的度量。

二项分布的概率和似然

持续抛硬币，让咱们思考一个简略的二项分布的例子。假如咱们抛硬币十次，并记录后果。后果是9次侧面1次背面。

咱们晓得硬币是平均的，即p = 0.5。依据这个信息，咱们要算出投掷10次失去9次侧面的概率。咱们能够用公式

这里0.009765是在p = 0.5的状况下失去x = 9个侧面的概率。

个别状况下咱们能够这样写:

上面，如果咱们不确定硬币是否平均。这意味着咱们不晓得参数p的值。而咱们曾经投掷了十次硬币，并失去了投掷后果。后果是9次侧面1次背面。基于此，咱们能够得出以下论断。

在这里，咱们试图依据给定的数据样本(10次抛掷中有9次侧面)找到参数P的值。

总结

在机器学习的背景下：

• 概率是指基于模型中参数指定的值，特定后果产生的概率，咱们置信参数值是精确的。
• 似然指的是样本对参数模型中给定参数值的反对水平，咱们试图依据提供的样本数据确定模型的参数值。

https://avoid.overfit.cn/post/02f9cd888b274752b17a9fc3f1120fbc

作者：Pratik Shukla