DataTester 是字节跳动在 2019 年正式通过火山引擎数智平台推出的对外服务的 A/B 试验工具，它基于先进的底层算法，提供迷信分流能力，提供智能的统计引擎，试验后果牢靠无效，助力业务决策。
让中小企业也能借助字节跳动的技术力量拥抱最新的产品趋势，融入字节跳动的各种方法论，打造更加优良的产品。DataTester 在字节内每日新增 1500+ 试验，累计已有 150W+ 的 A/B 试验进行过。
在内部客户的服务上，也已笼罩举荐、广告、搜寻、UI、产品性能等业务场景，提供从实验设计、试验创立、指标计算、统计分析到最终评估上线等贯通整个试验生命周期的服务。来自失去、美的、凯叔讲故事 APP 等企业客户，曾经通过火山引擎 DataTeser 开启了用数据驱动科学决策的路线。
点击 火山引擎 DataTester 官网 理解更多
一、初阶
1.AB 试验
为了验证一个新策略的成果，筹备原策略 A 和新策略 B 两种计划。随后在总体用户中取出一小部分，将这部分用户齐全随机地分在两个组中，使两组用户在统计角度无差别。将原策略 A 和新策略 B 别离展现给不同的用户组，一段时间后，联合统计办法剖析数据，失去两种策略失效后指标的变动后果，并以此判断新策略 B 是否合乎预期。
- 上述过程即 A/B 试验，亦被称为“对照试验”或“小流量随机试验”。
2. 互斥组
互斥组，也称互斥层、试验层。“试验层”技术是为了让多个试验可能并行不互相烦扰，且都取得足够的流量而研发的流量分层技术。
举个例子，如果我当初有 4 个试验要进行，每一个试验要取用 30% 的流量才可能得出可信的试验后果。此时为了同时运行这 4 个试验就须要 4*30%=120% 的流量，这意味着 100% 的流量不够同时调配给这 4 个试验。
那么此时咱们只能抉择给试验排序，让几个试验先后实现。但这会造成试验效率低下。试验层技术就能够完满解决这个问题。
咱们把总体流量“复制”无数遍，造成无数个流量层，让总体流量能够被无数次复用，从而进步试验效率。各层之间的流量是正交的，你能够简略了解为：在流量层抉择正确的前提下，流量通过迷信的调配，能够保障各试验的后果不会受到其余层试验的烦扰。
3. 互斥试验
互斥试验：互斥组中的所有试验都不会共享用户，如果一个用户 / 设施命中了试验 A，就不会命中该互斥组中的其余试验。
举例，你要同时做按钮色彩和按钮形态的试验，就须要将两个试验退出到一个互斥组列表。
4. 正交试验
互斥组 = 互斥层 = 试验层
- 每个独立试验为一层，一份流量穿梭每层试验时，都会随机打散再重组，保障每层流量数量雷同。
如何了解流量正交？
举个例子。假如我当初有 2 个试验。试验 A（实验组标记为 A1，对照组标记为 A2）散布于试验层 1，取用该层 100% 的流量；试验 B（实验组标记为 B1，对照组标记为 B2）散布于试验层 2，也取用该层 100% 的流量。（要留神，试验层 1 和试验层 2 实际上是同一批用户，试验层 2 只是复用了试验层 1 的流量）
援用
如果把 A1 组的流量分成 2 半，一份放进 B1 组，一份放进 B2 组；再把 A2 组的流量也分成 2 半，一份放进 B1 组，一份放进 B2 组。那么两个试验对于流量的调用就会如下图所示。此时试验 A 和试验 B 之间，就造成了流量“正交”。
流量正交有什么意义呢？
- 咱们能够发现，因为 A1 组的一半流量在 B1 中，另一半流量在 B2 中，因而即便 A1 的策略会对试验 B 产生影响，那么这种影响也平均的散布在了试验 B 的两个组之中；
- 在这种状况下，如果 B1 组的指标上涨了，那么就能够排除 B1 是受 A1 影响才造成上涨。这就是流量正交存在的意义。
5. 实验组
实验组和对照组是一组绝对的概念，A/B 试验通常是为了验证一个新策略的成果。假如在试验中，所抽取的用户被随机地调配到 A 组和 B 组中，A 组用户在产品中体验到新策略，B 组用户在试验中体验的仍旧是旧策略。在这一试验过程中，A 组便为实验组，B 组则为对照组。
6. 参数、参数类型、参数值
在开一个试验时，你须要通过一个标识来辨别对照组和实验组，咱们用参数来解决标识的问题。在 A/B 测试的试验中，每一个对照组和实验组能够有 1 个参数也能够有多个参数，每个参数都会有参数类型（目前反对 String、Number、Boolean），每个参数还会有参数值。
- 如，对于注册文案的试验，咱们能够建设一个 String 类型的参数（命名为：register_name），对照组的参数值为 ” 一键注册 ”，实验组的参数值为 ” 立刻注册 ”。
7. 指标
在开一个试验时，目标是比照对照组和实验组的某个或者某几个指标。
- 如，剖析点击按钮的次数时，须要上报注册按钮的点击事件，而后在「A/B 测试」产品上配置指标即可。
8. 流量
互联网行业的 A/B 试验中，流量通常用于形容产品所领有的总体用户数量。
9. 流量调配
开 A/B 试验时，个别都会小流量测试，当看到某个实验组成果后，再大流量测试，最终再全量上线。
10. 过滤条件
在试验中减少一些限度条件，规定被试验命中的用户必须合乎（或不合乎）这些条件，进而达到放大用户集群、精准找到用户的目标，这种限度条件即“过滤条件”，亦称 filter。
11. 白名单用户
在试验正式开启之前，通常须要先抉择几名用户进入测试阶段，察看试验是否可能失常获取想要收集的数据，或客户端是否有 bug 等。参加这一步的用户被称为“白名单用户”。
12. 命中
用户通过随机调配后，进入实验组或对照组，参加到试验之中，即称为用户被试验“命中”；反之则为“未命中”。
13. 时长
即 A/B 试验继续的工夫长度，在「A/B 测试」产品中，时长的单位是“天”。
14.SDK
SDK 就是 Software Development Kit 的缩写，中文意思就是“软件开发工具包”。辅助开发某一类软件的相干文档、范例和工具的汇合都能够叫做“SDK”，咱们能够把 SDK 了解成一个小型工具包，来实现指定的性能，帮忙咱们解决指定的问题，集成「AB 客户端 SDK」的次要作用就是帮忙实验者进行分流。
15.WAU
WAU（Weekly Active Users），周沉闷用户数，最近一周（含当日的 7 天）启动应用产品的用户数，个别依照天然周进行计算。
16.MAU
MAU（Monthly Active Users），月沉闷用户数，最近一个月（含当日的 30 天）启动应用产品的用户数，个别依照天然月进行计算。
17. 方差与标准差
方差：方差是数据组中各数据值与核心值间距的平方和的平均值。
方差的计算公式：公式中 M 为数据的平均数，n 为数据的个数，s²为方差。
标准差：标准差是方差的平方根，即 s。
二、中阶
1. 留存率
实验报告中的留存率指的是“按进组工夫拆分的留存率”，是依据【用户首次进实验组的工夫】作为起始，用户回到 App 作为回访，计算用户 n 日留存。
统计形式如下：
举个例子阐明：第一天实验组 A 的用户数为：10000，第一天 base_user 为 10000。
第二天实验组 A 的用户数为：10400，其中 9200 用户是第一天便曾经在 A 中的用户，1200 用户为当天新进组用户；第二天 base_user 为 1200，第一天的次日留存为 9200/10000=92%。
第三天实验组 A 的用户数为：10200，其中 8000 用户为第一天便曾经在 A 中的用户，1100 用户为第二天进入 A 中的用户，1100 为第三天进入 A 的用户；第三天的 base_user 为 1100，第一天的 2 日留存为 8000/10000=80%，第二天的次日留存为 1100/1200=91.67%。
而后别离把每个进入试验日期的指标用 base_user 进行加权均匀，失去次日留存率、第 2 天留存率等。
当日 ” 已进组用户 ” 示意当日曝光进组的总用户数，包含之前已进组的老用户和首次到访的 ” 新进组用户 ”。
3. 置信区间
置信度区间就是用来对一组试验数据的总体参数进行预计的区间范畴。
举个例子，咱们当初开了一个试验来优化商品页面的用户购买率，其中采纳了新策略 B 的实验组，购买率晋升均值为 5%，置信区间为 [-3%，13%]。
怎么了解此处的置信区间呢？
因为在 A/B 试验中咱们采取小流量抽样的形式，样本不能齐全代表总体，那么实际上策略 B 如果在总体流量中失效，不见得会取得 5% 的增长。如果咱们设策略 B 在总体流量中推广所导致的实在增长率为 μ，那么在这个案例中，μ 的实在取值会在 [-3%，13%] 之间。
值得注意的是，μ 并不是 100% 概率落在这一区间里，在计算置信区间的过程中，咱们会先取一个置信水平，计算这一置信水平下的置信区间是多少，A/B 试验中咱们通常计算 95% 置信度下的置信区间。回到刚刚的例子，咱们就能够得悉，μ 的实在取值有 95% 的可能落在 [-3%，13%] 之间。
4. 多天累计指标
“多天累计指标”是所选试验日期范畴内，对应指标多天合并的累计值。
举个例子，如果当初咱们要看 6 月 1 日号到 6 月 3 日，用户 A、B、C 的用户阅读数这一指标：上表中的数字关系很清晰地展现了多天累计指标与单日指标之间的逻辑（其实就是加一起而已）。
在 A/B 试验中，如果咱们所检测的指标反对多天累计指标，那么咱们基本上应该以多天累计指标为准，而不要过多关注试验周期内的单日指标。多天累积数据意味着，随着试验的进行，试验的总体样本一直减少，试验的测验灵敏度在一直进步。
5.A/B 试验分流服务
开设 A/B 试验，顾名思义，咱们至多须要一个 A 组和一个 B 组，那么到底是什么决定了哪些用户被试验命中，以及哪些用户进入 A 组 /B 组呢？就是靠 A/B 试验分流服务。
- 分流服务会帮忙实验者，从总体流量中抽取局部流量，并将抽取的流量随机地调配进 A 组与 B 组之中，尽量减少抽样误差。
- 须要留神的一点是，当分流服务分流实现后，被选中进入试验的用户会被赋予一个“身份信息”——ab_version(又称 vid)，这个 id 标记着你到底应该进入试验的哪一组中。
三、高阶
1. 假设检验
A/B 试验的外围统计学实践是（双样本）假设检验。假设检验，即首先做出假如，而后使用数据来测验假如是否成立。须要留神的是，咱们在测验假如时，逻辑上采纳了反证法。通过 A/B 试验，咱们实际上要验证的是一对互相对抗的假如：原假如和备择假如。
- 原假如（null hypothesis）：是实验者想要收集证据予以拥护的假如。A/B 试验中的原假如就是指“新策略没有成果”。
- 备择假如（alternative hypothesis）：是实验者想要收集证据予以反对的假如，与原假如互斥。A/B 试验中的备择假如就是指“新策略有成果”。
利用反证法来测验假如，意味着咱们要利用现有的数据，通过一系列办法证实原假如是谬误的（伪），并借此证实备择假如是正确的（真）。这一套办法在统计学上被称作原假如显著性测验 null hypothesis significance testing (NHST)。
举个例子：咱们要针对某页面的购买按钮做一个试验。我认为：将购买按钮的色彩从蓝色改为红色，能够进步购买率 3%。在这个试验中，咱们想通过统计学测验的“原假如”就是“购买按钮改成红色不能晋升购买率”；
“备择假如”就是“购买按钮改成红色可能晋升购买率”。这是一对互斥的假如。也就是说，实际上咱们要证实的就是“改成红色不能晋升购买率”是谬误的。
2. 第一类谬误 & 显著性程度（α）
- 第一类谬误，指原假如正确（真），然而咱们假设检验的论断却显示原假如谬误。这一过程中咱们回绝了正确的原假如，所以第一类谬误是“弃真”。
- 第一类谬误在实际操作中体现为：试验论断显示我的新策略有用，但实际上我的新策略没有用。
在统计学中，咱们用显著性程度（α）来形容实验者犯第一类谬误的概率。
当某个实验组的指标是显著的，阐明这个试验后果大概率是可信的。这个概率是 95%，也就是说，零碎有 95% 的信念确认这个试验后果是精确的。
3. 显著性程度存在的意义是什么？
一个按钮从蓝色改成红色，一个窗口从右边移到左边，到底用户体验会变好还是变差呢？咱们并不确定，因而咱们试图应用 A/B 试验的方法，帮忙咱们转化这种“不确定”——察看小流量试验中新旧策略的体现，从而确定新旧策略的优劣。
然而，这样就能齐全打消不确定性了吗？
答案是不能，因为存在抽样误差。
- 举个例子，假如瑞士人均收入为中国的十倍，那么随机抽三个瑞士人和三个中国人，能保障样本里这三个瑞士人的平均收入是三个中国人的十倍吗？万一这三个中国人是马云，王健林和一个小学生呢？
- 反过来想，假如在 1% 的流量下，组 A（按钮呈红色）比组 B（按钮出现蓝色）购买率高，将流量扩充至 100%，能保障策略 A 的体现仍旧比策略 B 杰出吗？显然，咱们还是不确定。
抽样误差带来的不确定性，使得咱们在做小流量试验时，永远没法保障论断是完全正确的。侥幸的是，对于抽样的不确定性，在统计学中，咱们有一套办法来量化这种不确定性到底有多大，这便是显著性程度（α）存在的意义。
4. 第二类谬误(β)& 统计效用（statistics power）
- 第二类谬误，指原假如谬误（伪），然而咱们假设检验的论断却显示“原假如正确（真）、备择假如是谬误的”，这一过程中咱们承受了谬误的原假如，所以第二类谬误是“取伪”。
- 第二类谬误在实际操作中体现为：我的新策略其实无效，但试验没能检测进去。
在统计学中，统计效用 = 1 – 第二类谬误的概率，统计效用在事实中体现为：我的新策略是无效的，我有多大概率在试验中检测进去。
5. 统计显著性 / 置信水平 / 置信度 / 相信系数
- 置信水平（也称置信度、相信系数、统计显著性），指实验组与对照组之间存在真正性能差别的概率，实验组和对照组之间掂量指标（即配置的指标）的差别不是因为随机而引起的概率。置信水平使咱们可能了解后果什么时候是正确的，对于大多数企业而言，一般来说，置信水平高于 95%都能够了解为试验后果是正确的。因而，默认状况下，「A/B 测试」产品将置信水平参数值设置为 95%。
- 在 A/B 试验中，因为咱们只能抽取流量做小样本试验。样本流量的散布与总体流量不会完全一致，这就导致没有一个试验后果能够 100% 精确——即便数据涨了，也可能仅仅由抽样误差造成，跟咱们采取的策略无关。在统计学中，置信度的存在就是为了形容试验后果的可信度。
在试验的过程中，咱们所抽取的样本流量实际上与总体流量会存在些许的差别，这些差别就决定了咱们通过试验得出的论断或多或少会存在一些“误差”。
举个例子，试验中，我通过扭转落地页的色彩让购买率晋升了 3%，然而因为样本流量并不能齐全代表总体流量，有可能“我扭转色彩这一策略其实没用，购买率晋升 3% 是抽样后果导致的”。
那么产生这种“我的策略其实没用”事件的概率有多大呢？在统计学中，咱们会用“显著性程度(α)”来形容产生这一事件的概率是多少。而置信度 =1-α。
在「A/B 测试」产品上，依据业界规范，显著性程度 α 取 0.05。在 A/B 试验中，如果产生“我的策略其实没用”这一事件的概率小于 0.05，咱们即称试验论断曾经“统计显著 / 可相信”。这意味着你采取的新策略大概率（A/B 试验中意味着大于 95%）是无效的。相同，如果这一事件的概率大于 0.05，则称试验论断“不显著 / 不可相信”。
6. 核心极限定理
显著性程度的理论依据便是核心极限定理。咱们能够量化抽样误差的根基在于核心极限定理的存在。
什么是核心极限定理？
- 因为存在抽样误差，咱们每次实验所失去的指标后果，都可能与咱们冀望失去的真正后果有误差。假如咱们从总体中抽取样本，计算其指标的均值，每一次计算，样本均值都会受抽样误差影响。如果咱们做有数屡次试验，那么实践上，这有数多个样本均值中，总应该有一个是“真的”，不受抽样误差影响的，这个值在统计学里被称为“真值”。
-
核心极限定理定通知咱们，如果咱们从总体流量里一直抽取样本，做无数次小流量试验，这无数次抽样所观测到的均值，近似出现正态分布（就是下图这样的散布）。这个散布以真值为核心，均值越靠近真值，呈现的概率就越大；反之均值越偏离真值，呈现的概率就越小。
PS：此处为了便于了解，放弃了论述统计学概念，仅从 A/B 试验场景下登程，解释核心极限定理。为什么样本均值越靠近真值，呈现的概率越大？
举个例子，如果从全中国人这个总体中，抽取很多很多次样本，计算很多很多次平均收入。能够预感，咱们会因为样本不同而失去很多个不同的平均收入值。这些数值的确有可能因为偶尔抽到顶级富豪而偏高，或因为抽到极贫苦的人口而偏低。
然而，上述两种状况毕竟是多数（均值越偏离真值，呈现的概率小）。随着抽样次数增多，咱们会发现，平均收入落在大多数普通人支出范畴内的次数，会显著增多（均值靠近真值，呈现的概率大）。并且，有了核心极限定理的帮忙，咱们能够晓得每个均值呈现的概率是多少。
8. 校验灵敏度 MDE
- MDE 是什么：Minimum Detectable Effect (MDE)，最小可检测单位，即测验灵敏度，是试验在以后条件下能无效检测的指标 diff 幅度。以后条件，指以后样本量，指标值和指标散布状况，并假如样本方差与总体指标方差足够靠近。无效检测，指检出概率大于等于 80%（type II error 小于等于 20%）。
- MDE 能够用来做什么：通过比拟指标 MDE 与指标的指标晋升率，来判断不显著的指标论断是否 solid，能够防止试验在灵敏度有余的状况下被过早作出非显著论断而完结，错失有后劲的 feature。
- 如何设置：MDE 越小，意味着您要求测试的灵敏度越高，所需的样本量也越大。如果 MDE 设置过于精密，不仅会节约不必要的流量，同时理论收益可能不能补救新策略的研发和推广老本。灵敏度有余（比方预期 1% 就达标，但试验灵敏度仅能检测 5% 及以上），可能会导致错失有后劲的 feature。