在线 AB 试验成为当今互联网公司中必不可少的数据驱动的工具，很多公司把本人的利用来做一次 AB 试验作为数据驱动的试金石。
文 | 松宝 来自 字节跳动数据平台团队增长平台
在线 AB 试验成为当今互联网公司中必不可少的数据驱动的工具，很多公司把本人的利用来做一次 AB 试验作为数据驱动的试金石。
数据 => 洞察 => 优化，周而复始寻找最优解，寻找增长的办法。
AB 中有句经典的名言：大胆假如，小心求证。
本系列连载会从数据驱动、AB 试验根本架构、指标选取与数据分析等角度切入，第一篇着重介绍 AB 试验与数据驱动的条件和 AB 试验的根本架构。
AB 试验与数据驱动
AB 试验阶段对应数据驱动的不同阶段，从最根本的设计执行分析阶段到绝大多数改变须要 AB 验证，从简略到简单，从大量试验到大规模试验，正好反馈的数据驱动从「爬，走，跑，飞」的四个阶段，关系是层层递进的。
1、设计执行分析阶段
设计执行分析阶段次要是：数据检测设置和数据迷信能力搭建。在 AB 试验上进行屡次的试验，从试验的设计，指标的定义，试验的开启，试验后果的剖析，并且找到胜利的一些试验案例有助于咱们进入到下一阶段。
2、标准化指标阶段
标准化指标阶段次要是：运行大量试验到定义规范指标再到开启更多试验。AB 试验开始运行更加简单的 case 来继续验证数据的可行性，并且通过运行 AA 试验来验证平台潜在的问题，同时可能进行样本比率偏差检测。
3、大面积试验 AB 试验阶段
从上一个阶段的标准化指标，曾经能够运行大量试验，并且各种指标也逐步绝对成熟，每次试验进行多个指标的衡量，而后在一个利用上利用 AB 试验对绝大多数的新性能和改变做试验。
4、绝大多数改变须要 AB 验证阶段
简直所有的改变都须要通过 AB 试验的验证，能够在没有数据科学家的辅助下，能够对大多数的试验进行独立的剖析和运作。同时通过对过来试验的剖析，AB 试验的有效性和最佳实际也能失去一直的更新。
数据驱动的条件
1、试验标准化
数据决策必定是一套标准化的货色来标准，试验标准化也是 AB 数据驱动的必备条件。
那什么是 AB 试验的标准化呢？
AB 试验须要留神辛普森悖论，幸存者偏差，抉择偏差等，注意事项都是来源于对撞因子，简略来说就是「是指同时被两个以上的变数影响的变数」，具体能够在 Google 深刻理解一下。
2、试验后果可信性
有数字容易，让人信赖的数字须要下功夫。开启试验容易，实验报告有数字很容易，这些数字的可信度，这些数字让人信赖更重要，须要破费更长的工夫。
大量试验中可能只有很小一部分试验，例如微软大概 30% 的后果是正向踊跃的，最终能够公布到整个利用上。
举个例子：如果我抛起三枚硬币，落地别离是正正反，那么我能够说抛硬币侧面朝上的概率是三分之二吗？
概率和频率并不是一个货色，同理，少数几次 AB 试验的后果也不能证实版本 A 和版本 B 的优劣。
咱们须要统计学上的严格论证和计算，来判断一个试验后果是否显著，是否可信。
3、如何掂量好的想法
对于任何一个想法咱们很难去掂量它的好坏，大胆假如小心求证。短期指标可能会与更要害的长期指标发生冲突。
举个例子：一家超市忽然进步价格，可能会在短期带来更高利润。但久远看，如果更多的顾客改从竞争对手那里购买商品，那么这家店的支出就会缩小。
离奇效应如何防止？
对于用户有感知的 A /B Test，如 UI 改版、新的经营计划、新性能上线等，实验组做的任何扭转都可能引起用户的留神，好奇心驱使他们先体验一番，从而导致 A /B Test 中实验组成果一开始优于对照组，p-value 极小，试验成果十分显著。然而一段时间过来后，用户对于新的改版不再敏感，实验组成果回落，显著性可能会降落，最初趋于稳定。足够的样本量能保障一个正当的试验周期，能够应用咱们的流量计算器中计算流量和试验周期，从而防止这种离奇效应的影响。
AB 试验根本架构
01 – 流量宰割
流量宰割的形式：分流和分层。
每个独立试验为一层，层与层之间流量是正交的（简略来讲，就是一份流量穿梭每层试验时，都会再次随机打散，且随机成果离散）。试验在同一层拆分流量，不论如何拆分，不同组的流量是不重叠的。
分流
分流是指咱们间接将整体用户切割为几块，用户只能在一个试验中。然而这种状况很不事实，因为如果我要同时上线多个试验，流量不够切怎么办？那为了达到最小样本量，咱们就得缩短试验周期，要是做一个试验，要几个月。
简略来说：分流是指对流量进行整体切割，试验之间互斥。
- 目标：为了获取污浊的分区，不会相互影响。
- 毛病：节约流量，导致流量不够。
分层
就是将同一批用户，不停的随机后，处于不同的桶。也就是说，一个用户会处于多个试验中，只有试验之间不相互影响，咱们就可能有限次的切割用户。这样在保障了每个试验都能用全流量切割的同时，也保障了试验数据是相信的。
简略来说：对整体流量分流分层。
- 目标：同一个用户在不同的实验组，互相不会影响。
- 毛病：不同层之间的 hash 值尽量不要重合。
02 – 如何对待随机单元？
什么是随机单元呢？
简略来说，随机单元就是 AB 试验须要达到随机的最小单元。一个 web 网站中，最小单元可能是页面级别，可能是会话级别，或者是用户级别。
举个例子：咱们抉择页面级别的随机单元，AB 试验针对某一个页面，用户每一次关上页面的时候决定把该用户导向某一个实验组。
最简略的状况就是：随机单元和剖析单元是统一的。咱们大多数状况也是将随机单元和剖析单元采纳用户级别。两种单元不统一可能使得试验剖析变得更加简单。
03 – 随机算法
首先什么是随机数？
不确定的数。大多数随机算法应用的是伪数字生成器。
那什么是伪数字生成器？一个生产数字序列的算法，特色近似随机数序列的个性。伪随机数生成器通常承受一个随机种子（seed）用来初始化生成器的初始状态。
依照密码学来将「随机」分为三种级别：
- 伪随机 (PRNG)
- 密码学平安的伪随机 (CSPRNG)
- 真随机 (TRNG)
机 PRNG 生成的序列并不是真随机。
它齐全是由一个初始值决定，初始值称为随机种子（seed）。靠近于真随机序列能够通过硬件随机数生成器生成。然而伪随机数生成器因为其生成速度和可再现的劣势，实际中也很重要。
寻找一个适合的随机算法是十分重要的。
一个试验的每一个 variant（实验组或对照组）都具备对于 users 的一个随机抽样。随机算法必须有一些特色。特色如下：
- 特色（1）：用户必须等可能看到一个试验的每个 variant，对于任意的 variant 必须是无偏的。
- 特色（2）：同一个试验中，对于单个 user 反复调配必须是统一的，对于该用户每次后续拜访中，该 user 必须被调配到雷同的 variant 上。
- 特色（3）：当多个试验同时并行运行的时候，试验之间必须没有关联关系。也就是在一个试验中，一个 user 被调配到一个 variant，对于被调配给其余任意试验的一个 variant，在概率上没有影响。
- 特色（4）：算法必须反对枯燥递增的，也就是说，如果没有对那些曾经被调配给实验组的用户调配进行变更，用户看到一个实验组的百分比可能会迟缓减少的。
应用 caching 的伪随机
伪随机数的随机性能够用它的统计个性来掂量，次要特色是每个数呈现的可能性和它呈现时与数序中其余数的关系。
伪随机数的长处是它的计算比较简单，而且只应用多数的数值很难推断出它的计算算法。
应用 caching 缓存，能够应用规范伪数字生成器作为随机算法，一个好的伪数字生成器会满足特色（1）和特色（3）。
对于特色（2），须要引入状态，用户的调配必须被缓存，或者缓存实现能够是数据库存储，便于下次再次拜访利用。
Hash 和分区
不同于伪随机办法，hash 和分区是无状态的，每一个 user 都会被调配一个惟一的 user_unique_id，应用 ssid 和 webid（或者其余）来维持。user_unique_id 会和试验的 id 进行映射绑定，接着 user_unique_id 和试验 id 应用 hash 函数来取得一个整数，整数的范畴是均匀分布的。
hash 函数的选取须要留神⚠️，如果 hash 函数有漏斗（那些相邻 key 的实例会映射到雷同的 hash code），会造成均匀分布的抵触，如果 hash 函数有个性（某一个 key 变动会产生一个 hash code 上可预测的变动），会造成试验之间会产生相干。
「加密 hash 函数 MD5」生成的数据在试验间没有相关性。其实还能够关注「大质数素数 hash 算法」等更加精细低劣的算法。
04 – 试验灰度公布
试验公布是一个容易疏忽但又十分重要的步骤，从比拟小的流量缓缓公布到绝对比拟大的流量，直到最初全站公布。这个过程是须要自动化和危险管制相结合。
咱们常常的做法就是：
试验公布之后，还能够预留一些流量来掂量试验的长期成果。
还能够反复公布某一个试验，看试验的后果是否能够放弃。
指标选取
选取什么指标来进行检测，从而更好的帮忙咱们进行数据驱动决策。
对于一个利用或者产品来说，可能会有很多指标的抉择，哪些指标须要被重点关注，哪些仅仅是关注，哪些是能够不关注。为什么要定义这个指标，这个指标的定义是为了阐明什么状况，如果这个指标发生变化，将须要怎么去解释它。
（一）指标个性
1、依照试验的角度来划分
- 外围指标：须要优化的指标指标，决定这个试验的最终倒退方向。这种指标在一个试验是非常少的，在运行之后是不做扭转的。
- 非核心指标指标：与外围指标有因果关系的 + 根底数据的指标，根底数据的指标是利用运行的底线。
2、指标敏感性和鲁棒性
- 指标敏感性：指标对所关怀的事物是否足够敏感
- 指标鲁棒性：指标对不关怀的事物是否足够不敏感
能够通过事后小规模试验来验证，或者 AA 试验来排除伪关系。
3、指标分类
- （1）计数或者求和（比方：拜访页面的用户数）
- （2）指标散布的平均数，中位数，百分位
- （3）概率与比率
- （4）比例
（二）自顶向下设计指标
- （1）高层次的指标（比方：沉闷用户数，点击转化率 CTR 等等）
- （2）指标细节（比方：如何定义用户沉闷）
- （3）应用一组指标，并将它们整合成一个繁多指标（比方：总体评估指标 OEC）
总体评估指标 OEC：如果是应用一套指标，能够把他们聚合成一个指标，比方结构一个指标函数，或者是简略的加权指标。比方 OEC = A 0.6 + B 04 + C * 2
举个例子：点击率的定义
定义一：登陆后总点击次数 / 登陆后的去重后的拜访总数
定义二：被点击的页面数 / 总页面数
定义三：总的页面点击次数 / 总页面数
数据分析
有了 AB 试验，并且有试验指标选取之后，试验后果的剖析就成为一件十分重要而且有挑战的事件。
产生一组数据很容易，然而从数据中剖析失去试验的洞察（Insight）并不简略。
（一）试验后果显著
下面有说到试验后果的可信度，接下来具体来介绍。
说到试验后果是否显著，咱们须要晓得统计学中 2 类统计谬误，咱们简略阐明一下，这里咱们不开展说。
- （0）两类统计学谬误
在统计学的世界里，咱们往往只说概率，不说确定，在事实世界中往往只能基于样本进行推断。在 AB 试验中，咱们 不晓得真实情况是什么，因而做假设检验的时候就会犯错误，这种谬误能够划分为两类：
这是第一类谬误：理论没有区别，但试验后果示意有区别，咱们失去显著后果因而否定原假如，认为实验组更优，产生的概率用 𝛂 示意。
这是第二类谬误：理论有区别，然而理论后果示意没有区别，咱们失去不显著的后果因而无奈回绝原假如，认为实验组和对照组没有区别，产生的概率用 𝜷 示意。
现实状态下当然是心愿能够同时管制这两类谬误，然而这是不可能的，两个概率值之间是负向关系，其中一个值的缩小必然随同着另一个值的增大，为什么呢？后续有机会再分享。
是否显著，是否可信，咱们能够通过以下几种因素来判断：
（1）p 值。
展现该指标在试验中犯第一类谬误的概率，该概率小于显著性程度 α，统计学中称为显著，1-α 为置信度或置信水平。
简略来说：p 值判断不同版本的试验后果之间不存在显著差别的概率。
p-value 越小越可信，有显著差别的指标，P-value=0.01 的比 P -value=0.05 的可信度更高。
p 值基本上还有另一个绝对应的叫作 t 值，这个 p 值其实就是在 t 散布下≥t 值的概率密度值(P(x≥t))。
通常状况下：
p 值 > α（显著程度 α，α 值个别 5%），阐明 A 版本和 B 版本没有太大差异，不存在显著性差别。
p 值 < α（显著程度，α 值个别 5%），阐明 A 版本和 B 版本有很大的差异，存在显著性差别。
咱们依据判断 p 值和第一类谬误概率 α 比拟，曾经做了决策。是不是感觉功败垂成，不，咱们能够持续思考 power 统计效用来掂量试验的可信。也就是咱们要同时思考第二类谬误概率，这时候引入 power 统计效用。
（2）power 统计效用（1 – 𝜷）。
试验能正确做出存在差别判断的概率。
能够了解为有多少的把握认为版本之间有差异。
该值越大则示意概率越大、效用越充沛。
一般来说，咱们个别并设置的最低的统计效用值为 80% 以上。认为这样的可信度是能够承受的。
举个例子：试验 A 显示，power（统计效用）为 92%，那么就能够了解为有 92% 的把握认为版本 A 和版本 B 之间是有差异的。
然而 power 基本算不进去，power 作为须要满足的前提条件，作为先验的输出值。
试验开启前，通过流量计算器中计算流量和试验运行时长。
试验开启后，通过 power=80%，而后计算 MDE。
（3）MDE 测验灵敏度，能无效测验出指标置信度的 diff 幅度。
通过比拟指标 MDE 与指标的指标晋升率来判断不显著的论断是否 solid，能够防止试验在灵敏度有余的状况下被过早作出非显著论断而完结，错失有后劲的 feature。
MDE 越小，阐明以后的试验灵敏度越高，并且能够认为：实验组相比于对照组，只有高于 MDE 的晋升能力大概率检测出效果显著。小于 MDE 的晋升，大概率不会被检测出显著。
- 以后条件：指以后样本量，指标值和指标散布状况，并假如样本方差与总体指标方差足够靠近。
- 无效检测：指检出概率大于等于 80%（也就是犯第二类谬误概率 𝜷 <=20%）
次要影响因素：样本量大小
举个例子：假如你对该指标的预期指标晋升率为 1%。
如果此时 MDE=0.5%，MDE < 预期晋升值，阐明指标变动真的不显著，请联合业务 ROI 和其余维度里例如用户体验、长期策略价值等来综合判断是否值得上线；
如果那此时 MDE=2%，MDE > 预期晋升值，阐明以后能测验出显著性的最小差别值是 2%，因为灵敏度有余未能检测出。这种状况下倡议增大样本量，例如扩充流量、再察看一段时间积攒更多进组用户，指标还有相信的可能。
（4）置信区间。
置信区间就是用来对一个概率样本的总体参数的进行区间预计的样本均值范畴。一般来说，咱们应用 95% 的置信水平来进行区间预计。
置信区间能够辅助确定版本间是否有存在显著差别的可能性：
如果置信区间上上限的值同为正或负，认为存在有显著差别的可能性；
如果同时正负值，那么则认为不存在有显著差别的可能性。
具体视图中有个值叫绝对差，该值就是指标变动的点估计值，而置信区间给出的是指标预期变动的区间估计值，区间估计值有更大的可能性笼罩到指标绝对变动的实在值。（假如做 100 次试验，有 95 次算出的置信区间蕴含了实在值）。
能够这样简略但不谨严地解读置信区间：假如策略全量上线，你有 95% 的把握会看到实在的指标收益在置信区间这个范畴内。
（5）决策流程
（二）屡次测试
简略的说：传统的假设检验的设置是对须要检测的「假如」进行惟一测试，而后计算 p 值。咱们有 5% 的概率观测到某一个并没有理论变动的“指标”显得有统计意义上的显著变动。
事实中，对于同一个试验，咱们通过 AB 试验重复察看后果，或者重复针对同一个想法进行迭代。
呈现更重大的问题就是：咱们针对同一个试验，经常同时观测几十个或者上百个指标，导致呈现屡次试验的问题，大大增加了观测并不该有显著变动的指标有了统计意义变动的概率。
（三）方差的计算
t 检测中咱们须要对数据的办法进行计算。有时候咱们的“方差”计算是有问题的，之前有说到的「随机单元」和「剖析单元」不统一的状况下，计算比率型的指标，比方点击率。
咱们来看一个场景：常常咱们的「随机单元」是用户级别的，然而咱们心愿计算的是一些页面级别的点击率，而后看对照组和实验组之间的差异的，这个时候就存在「随机单元」和「剖析单元」不统一的问题，传统的计算点击率的「方差」公式可能存在问题。
（四）样本比率偏差
在现实的状态下，对照组和实验组的流量是一半一半的，也就是 50% 的进入到对照组，50% 的进入到实验组。然而事实是残暴的，比方会呈现 50.27% 的用户进入到对照组，另外 49.73% 的用户进入到实验组。
这种状况失常吗？咱们还信赖这样的试验后果吗？
这样状况的排查和剖析。简略的说，咱们须要把这样的分流后果当作假设检验，看这样的后果是否异样。
（五）AA 试验
AA 试验往往作为检测平台稳定性和试验设置是否正确的重要伎俩。
也就是说，对 AB 零碎自身进行测试，以确保零碎在 95% 的工夫内正确辨认出没有统计学意义上的显著差别。
（六）对照组和实验组之间干预
传统的试验咱们假如对照组和实验组是齐全断绝的，而后理论中，齐全的隔离是不可能的。
举个例子：社招网络中，敌人与敌人的关系，咱们依照传统的随机划分流量的办法，可能一个用户在对照组，他的敌人在实验组，这样这个用户可能接触到对照组的一些信息，从而违反了假设检验的一系列根本假如。
（七）指标的长期成果
有一些“指标”的成果在 A / B 试验之后，可能会呈现一些“好转”，也就是说，成果可能没有之前那么显著了，甚至会呈现成果齐全隐没。
如果遇到短期成果与长期成果可能呈现不统一的状况，倡议缩短测试工夫，察看长期成果。
然而长期存在一些问题：
（1）ssid 跳变的状况，进行试验时候，通过随机调配的 ssid，进行确定用户身份，然而用户能够在浏览器中批改 localstorage 中的 ssid，放弃一个稳固的样本简直不可能，试验进行的越久，问题越重大。
（2）幸存者偏差的状况，适度关注幸存者，疏忽没有幸存的而造成谬误论断。
（3）抉择偏差的状况，因为 ssid 跳变，只有登陆的用户组成，不具备代表性。
参考
https://www.cambridge.org/cor…
https://stats.stackexchange.c…
火山引擎 A / B 测试
A/ B 测试，解脱猜想，用迷信的试验掂量决策收益，打造更好的产品，让业务的每一步都通往增长。点击理解
欢送关注 字节跳动数据平台 同名公众号