火山引擎 DataTester 是迷信可信的 A / B 测试与智能优化平台，源自字节跳动长期积淀，可能深度耦合举荐、广告、搜寻、UI、产品性能等多种行业场景需要，为业务增长、转化、产品迭代，经营提效等各环节提供迷信的决策依据，让业务真正做到数据驱动。目前，火山引擎 DataTester 曾经服务了美的、失去、凯叔讲故事等在内的上百家标杆客户，将成熟的 ” 数据驱动增长 ” 教训赋能给各行业。
想真正把握 A / B 试验，你不仅要晓得“你该做什么”，更重要的是，你还要明确本人“不该做什么”。这篇文章中，咱们就为大家总结了 A / B 试验中常见的 8 个谬误，一起来看看吧。
No.1 产生 AA 相信则否定分流服务 / 统计
通常来说，在 AB 试验平台中，利用 AA 试验来验证分流服务是否运行失常，这一动作确有其合理性。然而，一旦产生 AA 相信，则一口咬定是分流服务 / 数据统计出了问题，这就存在一些了解偏差了。咱们在解释显著性程度的时候曾经提过，在测验假如的过程中，会犯第一类谬误——我的策略没有用，但试验结果显示我的策略有用。在 95% 的显著性程度下这类谬误呈现的概率是 5%，即咱们开 100 次 AA 试验，而后观测某个指标，可能会有 5 次失去显著的后果。这是因为不可避免的抽样误差所导致的。因而，如果 AA 试验指标差别出现统计显著，也不过是一个概率问题；相同，假设检验正是利用「抽样误差」来帮忙咱们量化犯错的概率，并将其管制在 5% 以内的（95% 显著性程度下），也就是说，如果咱们观测到 AB 显著的论断，犯错的概率就是 p -value 的大小。综上，产生 AA 相信的状况属于失常景象。
No.2 疏忽适度曝光什么是适度曝光？
在开设试验时，大量并没有体验到试验版本性能的用户被计入到了试验指标的分母中，导致指标值被浓缩（试验中波及的性能可能“入口较深”，用户关上利用后其实并没有进入到这一性能，但依然被算作了进组用户，参加了指标计算）。「指标被浓缩」对试验数据分析的影响次要体现在：试验中，无效样本量低于“理论统计到的进组用户量”，无效数据中引入了噪声，因而试验达到统计显著性须要更长的工夫；同时因为指标被浓缩，晋升值的置信区间也存在肯定的统计误差。
No.3 多重比拟问题
多重比拟会导致统计指标犯错的概率更高。以假设检验为理论依据的 A / B 试验，仅实用于 A、B 两组进行比照的场景，可能帮忙大家从 A 策略和 B 策略之中抉择一个更好的：在 95% 的置信水平下，假如新策略没用，咱们做一次比照，犯第一类谬误（即我的策略没用，但试验论断显示我的策略有用）的概率是 5%。然而，如果试验是 AABB 试验，或者 ABCD 试验，或者 ABCDEFG 试验等，那么状况就截然不同了——咱们将面临多重比拟问题：当实验组多于 2 组时，咱们犯错的概率将大大增加，不再是 5%。以 ABCD 试验为例：假如策略 A、B、C、D 间没有显著差别，咱们对 ABCD 两两比照，共计有 6 种组合，须要进行 6 次比照。6 次比照中只有有一次犯错，咱们的论断就算犯错，因而每个统计指标的犯错概率就变为了 1 -(1-5%)^6=26.5%，远大于 5%。另外须要留神的一点是，假设检验以「AB 没有显著差别」为原假如，B 绝对于 A 所失去的 p -value，并不等同于 B 比 A 好的概率就是 1 -(p-value)。也正是因而，当存在多重比拟的状况时（特地是各组策略没有显著的优劣差别甚至是旗鼓相当时），假设检验难以提供判断哪个策略最优的规范。以上两个问题大大增加了咱们评估 ABCD 谁更优的难度以及决策出错的危险。
No.4 为显著而显著
什么叫做为显著而显著呢？在理论的业务过程中，咱们发现这种谬误次要体现为 2 种状况：关注过多无关紧要的指标，只有一个指标显著，即认为策略无效。咱们一再强调，在试验中，咱们要明确指标，提前确定哪些指标可能真正掂量试验成果，并把这部分指标定为试验中要观测的外围指标。如果咱们在试验中观测过多指标，泛滥无关紧要的指标中，碰巧呈现显著是很失常的状况。实验者很可能被这种显著误导，进而认为他的策略无效。对外围指标进行多维度下钻，指标在某一维度上出现显著，即认为策略无效。实验报告中，有些指标会带有一个 M 样符号，这示意该指标尽管总体上不显著，但在多维下钻的状况下，该指标于某一维度上出现显著。局部实验者会在剖析试验后果时认为：在新策略的影响下，指标在某一维度下显著了，那么我的策略必定是无效的。然而实际上，这种了解并不精确。举个例子：假如一款 APP 的用户散布于 5 个国家，有 3 种客户端，那么将国家和客户端组合起来，咱们能够下钻出 15 个维度。某指标在其中一个维度下偶尔出现显著的可能性有多高呢？
通过计算可知，有超过 50% 的可能呈现显著。因此，利用某一维度下的显著来验证策略的成果是并不合理的。综上，保持实验设计阶段确定的指标和评估规范，不要为了取得统计显著的论断而将原定外围指标更换为其余因果关系弱的指标；也不要适度宰割数据。如经剖析，确定新策略的确对某人群属性有非凡的影响，倡议更新试验指标，再开一个针对该人群的定向 A / B 试验进行二次评估。
No.5 试验显著就立即进行试验
在字节的数据分析师中有一句风行的话：“不要过早看实验报告。”什么意思呢？就是达到预估的样本量（也能够了解为达到预设的试验天数）之前，不要过早地去看试验后果，因为这种时候试验后果有可能会显著，你会忍不住想要停下试验，并用目前的显著后果作为试验论断，然而这是不正确的做法。对于理论没有显著差别的试验（能够了解为新策略有效），在试验初期进行观测，指标也很有可能呈现显著，这种状况咱们称之为假阳性。咱们应用假设检验来量化抽样误差的实践需建设在「满足肯定的样本量」这一前提之上，当样本量有余时，抽样误差对指标的影响会更大。随工夫的缩短，试验样本量一直减少，p-value 取值也会发生变化，待进组用户累计达到预估样本量的时候，试验论断可能从后期的假阳性变为不显著。来看下图中的例子，这在这个 AA 试验中，预估的样本量是 5000。从图中能够发现，试验在中期达到显著（置信度 95% 以上）；随着样本量的逐步增多，试验论断最终固定为不显著。
因而，在试验未达到预估样本量之前，显著性可能会在显著和不显著之间来回稳定，过早决策的试验论断是不牢靠的。字节本人的 A / B 测试平台——DataTester 举荐用户应用多天累计指标来进行指标观测。从业务角度来讲，多天累积指标自身存在天与天间稳定，且周末和工作日体现差别较大，倡议试验运行整数个残缺天然周后，再做试验决策。
No.6 试验不显著就不进行试验
与谬误 No.4 相同，在这种状况下，实验者会继续开启试验，直到试验显著。A/ B 试验中，无论 A 策略与 B 策略如许相像，他们终归是不一样的。实践上来说，只有样本足够多（比方无穷多时），实验组和对照组策略的任何一点差别都会以致试验后果造成统计显著。比方一个试验开启了整整 10 年，新策略使指标晋升 0.001%，且统计显著，但这种显著意义不大。因而在试验中，应该听从实验设计，如果试验曾经在预期运行周期内达到所需的样本量，但指标指标变动依然不显著，那这个试验没有必要持续运行了，进行试验换个方向持续尝试吧。
No.7 认为策略上线后晋升值应与试验雷同
假如当初开了一个试验来优化商品页面的用户购买率，其中采纳了新策略 B 的实验组，购买率晋升了为 3%，且论断相信，这是不是代表策略 B 全量上线之后，该商品页面的购买率就肯定能晋升 3% 呢？并非如此。因为在 A / B 试验中咱们采取小流量抽样的形式，样本不能齐全代表总体。正确的数据是通过假设检验，联合显著性程度，咳估算出晋升值的范畴，这一范畴被称为置信区间。假如在后面的例子里，通过计算，置信区间为 [1.5%，4.5%]，那么在策略 B 实际上线后，预估区间[1.5%，4.5%] 将有 95% 的可能蕴含实在的购买率增长率（如果显著性程度取 0.05 的话）。综上，如果你想晓得新策略上线后，指标可能产生的变动状况，能够参考置信区间。
No.8 齐全地唯数据至上
咱们提倡用数据谈话，不主观臆断，在评估试验时不仅要看指标的晋升量，还要联合置信度来判断数据的牢靠水平。然而，在局部状况下，数据仅能传播给咱们全面的信息，还须要咱们基于数据背地的事实进行因果推断，以保证数据论据与要证实的论点之间是具备正当的因果关系的，这样数据才是咱们论证观点的无效利器。否则，咱们就仅仅只是单纯地领有数据而已。在试验中，咱们须要依据本身的业务判断，正当设计试验，明确预期；当 A/B 试验后果违反咱们的业务直觉时，该当放弃狐疑。