共计 2152 个字符，预计需要花费 6 分钟才能阅读完成。
A/B 试验的外围统计学实践是（双样本）假设检验，是用来判断样本与样本、样本与总体的差别是由 抽样误差 引起还是 实质差异 造成的一种统计推断办法。
假设检验，顾名思义，是一种对本人做出的假如进行数据验证的过程。
艰深地说，假设检验是一门 做出回绝 的实践，测验后果有两种：回绝原假如 (reject H0)，无奈回绝原假如 (fail to reject H0)。实验者往往将主观不心愿看到的后果（新策略没有成果）置于 原假如（从英文命名就可以看进去感情色调 – 它叫 null hypothesis），而将原假如的互斥事件，即对事实自身无利的后果（新策略有晋升）置于 备则假如（alternative hypothesis），如此形成的假设检验目标在于用现有的数据通过一系列实践演绎 回绝原假如，达到证实备择假如是正确的，即某项改良无效的目标，所以这一套办法也被称作 null hypothesis significance testing (NHST)。
因为咱们永远只能抽取流量做 小样本 试验，所以每个假设检验都面临着 随机抽样误差，因而在做出推论的过程中，所有都围绕 概率 开展。
这意味着没有任何一个基于假设检验的演绎过程能够对后果 100% 确定。但所幸，统计实践能够通知咱们在每一步中犯错的机会。因而，当时通晓咱们 可能犯什么错，以及 有多大机会犯错 就成了设计和解读假设检验的关键所在。
实验者在假设检验的过程中可能会做出 两类错误判断 – 不意外地 – 它们被命名为 第一类谬误（弃真）和 第二类谬误（取伪）。第一类谬误 (Type I Error)：H0 为真，回绝 H0。“自身没晋升，但误判为有晋升”第二类谬误 (Type II Error)：H1 为真，承受 H0。“自身有晋升，但没有觉察晋升”
比照上图，第一类谬误指的是原假如正确然而咱们做出了回绝原假如的论断，这个谬误在事实中经常体现为“我作出了统计显著的论断然而我的改变实际上没用”；相应地，第二类谬误指的是原假如谬误然而咱们没能回绝原假如，这个谬误在事实中经常体现为“我的改变无效，但试验没能检测进去”。
在 AB 试验的场景下，如果对某一个新 feature 是否无效进行假设检验，H0 为新 feature 没有成果，第一类谬误指的是“新 feature 理论有效但检测出存在显著性成果”，第二类谬误则指的是“新 feature 理论无效但未能检测出成果”。如果犯了第一类谬误，会导致新 feature 的谬误上线，可能会带来理论利益损失，如果犯了第二类谬误，理论无效的 feature 将不会上线，带来的是潜在利益的损失。
两相比拟，应该更严格地管制第一类谬误产生的概率。定性通晓咱们可能犯什么错当前，咱们依然须要定量地剖析有多大机会犯错。在频率统计学中，显著性程度（α）以及（1 – 测验效劳 power）（beta）别离形容了实验者犯第一类谬误和第二类谬误的概率。
这两个统计指标联合在一起比拟残缺地刻画一个假设检验的总体根本性能，也是进行一个假设检验所需统计指标的最小集。应该说，短少任何一个，咱们都没有足够的信息作出迷信的推论，甚至可能谬误影响产品的走向。
适用范围能够对 单个总体参数 (H0:μ=c) 或者 两个总体参数 (H0: μ1= μ2) 进行测验，假如的内容能够是双侧测验 如参数是否等于某个值 (H0:μ=c)，也能够为单侧测验如 参数是否大于或小于某个值 (H0:μ><c)。在 AB 试验的背景下，咱们通常进行的测验是 两总体双侧测验。
测验步骤
1. 提出假如：H0: μ1= μ2v.s. H1: μ1!= μ2
2. 结构统计量
3. 计算统计量、测验阈值、置信区间及 p 值
4. 得出结论：若 p<0.05 或统计量绝对值 > 阈值或置信区间蕴含 0，则回绝原假如；若 p>0.05 或统计量绝对值 <= 阈值或置信区间不蕴含 0，则无奈回绝原假如。
Note：有些其余的计算公式会假设两组的总体方差相等，在方差的计算形式上有区别，这类公式不举荐，因为该假如在 AB 试验利用中并不常见。
p-valueP 值就是当原假如为真是所失去的样本察看后果或更极其后果呈现的概率。如果 P 值很小，阐明这种状况产生的概率很小，但如果呈现了，依据小概率原理，咱们就有理由回绝原假如。
P 值越小，阐明试验发现的差别是因为抽样误差导致的概率越小，极大水平上还是因为实质上存在差别造成，咱们回绝原假如的理由越充沛。
注：两样本均值差的置信区间蕴含 0 等价于 P 值大于 0.05 , 此时承受原假如。思维上 与区间预计的原理中提到的“对称”有相通之处。两样本均值差的置信区间蕴含 0 等价于 均值差与 0 的间隔小于 1.96 倍标准差 等价于 统计量的绝对值小于 1.96 等价于 P 值大于 0.05
DataTester 是火山引擎数智平台旗下产品，能基于先进的底层算法，提供迷信分流能力和智能的统计引擎，反对多种简单的 A/B 试验类型。DataTester 深度耦合举荐、广告、搜寻、UI、产品性能等多种业务场景需要，为业务增长、转化、产品迭代、策略优化、经营提效等各个环节提供迷信的决策依据，让业务真正做到数据驱动。
DataTester 通过抖音、今日头条等字节业务多年验证，截至 2022 年 8 月，已在字节跳动外部累计实现 150 万次 A/B 试验。此外也曾经服务了美的、失去、凯叔讲故事等在内多家标杆客户，将成熟的“数据驱动增长”教训赋能给各行业。
点击跳转 火山引擎 DataTester 官网 理解更多