关于ab测试:如何提供一个可信的AB测试解决方案

本文以履约场景下的具体实际为背景，介绍如何提供一个可信赖的 AB 测试解决方案。一方面从试验办法的角度阐述试验过程中容易被忽视的统计陷阱，给出具体的解决方案，一方面从平台建设角度阐述针对业务场景和对应束缚制订试验计划提供给用户，而不只是性能和办法由用户自由选择，因为试验办法差之毫厘，后果可能是失之千里。

1 背景

尽管 AB 测试（AB 试验）的统计根底曾经有一个世纪的历史了，但大规模地构建一个正确牢靠的 A / B 测试平台依然是一个微小的挑战：不仅要在实验设计环节应答溢出效应和小样本的双重挑战，均衡好试验偏差与方差以确定适合的试验单元、分组办法和分析方法，给出正当的实验设计，而且要在剖析环节应对方差计算、P 值计算、多重比拟、混同因素、假阴性（理论策略有成果，然而检测显示无成果）等多种统计陷阱。因而，要取得高质量的后果须要对试验和统计有专家级的了解，这无疑减少了试验门槛，难以达成任何人进行试验都可得出可信论断的指标。

本文将从试验办法和平台建设的两个视角，别离介绍如何正确地应用统计办法防止统计陷阱，以及输入什么样的平台能力，从而确保任何人应用该平台时都可得出可信论断。同时，咱们也积攒了如何进行更好的试验，以及如何利用试验来做出更好的决策，心愿能给从事相干工作的同学有所帮忙，也真诚地心愿欢送大家给出反馈或者倡议，一直优化咱们的工作。

2 走进 AB 测试

哪个线上选项会更好？咱们常常须要做出这样的抉择。当咱们想要在两个策略之间做出决定时，现实的计划是面向同一拨用户，在两个平行时空，平行时空 1 体验原策略 A，平行时空 2 体验新策略 B，而后依据观测到的事实进行比拟，以决定哪个策略胜出。然而在事实世界中，不存在两个平行时空，针对同一用户，咱们只能察看到其承受策略 A 或策略 B 的一种成果，即反事实后果是观测不到的。

因而，在事实世界中，咱们通常采纳试验的办法做出决策。它将用户调配到不同的组，同一组内的用户在试验期间应用雷同的策略，不同组的用户应用不同的策略。同时，日志零碎依据试验零碎为用户打标记，用于记录用户的行为，而后依据带有标记的日志计算度量差别，并进行统计分析以排除因为噪声导致的任何差别。实验者通过这些指标去了解和剖析不同的策略对用户起了什么样的作用，是否合乎试验事后假如。

2.1 AB 测试概述

实证中因为不可能同时观测到同一群体在不同策略下的两种潜在后果，无奈决定哪个策略胜出，须要构建一个反事实（Counterfactual）用来代表承受策略 B 的群体在承受 A 策略时的潜在后果。

具体来讲，构建一个与实验组群体特色均值无差别的对照组，用其观测后果代表实验组群体在施加 A 策略时的潜在后果，此时两种后果的均值差便是策略效应大小。因为是基于样本的观测数据得出的论断，须要通过显著性剖析（Significance Test），以证实论断具备统计意义，这便是策略评估的残缺门路。

依据是否在试验前控制策略的调配，咱们将试验分为 AB 试验和察看性钻研（Observational Studies），在 AB 试验分支下，依据是否控制策略的随机调配，又将 AB 试验分为随机对照试验（Randomized Experiments）和准试验（Quasi Experiments）。不同的试验类型应用不同的分组办法，在肯定水平上影响着试验后剖析数据的表现形式，试验后抉择与试验类型匹配的分析方法尤为重要，间接制约着咱们是否统计意义上的迷信论断。具体分类如下：

对于大部分的试验场景，咱们能够在试验前管制对不同的试验对象调配不同的策略，然而在有些场景下，如：①测试线上演唱会流动对短视频平台的影响，思考到用户偏心，须要给全副用户施加演唱会流动策略；②在测试不同的营销邮件策略对用户影响的场景中，咱们无法控制哪些用户会最终承受策略。咱们要么不能控制策略调配，要么不能控制策略在对应的人群失效，只能采纳察看性钻研，即在天然状态下对钻研对象的特色进行察看、记录，并对后果进行形容和剖析。

在咱们能够管制对试验对象施加策略的场景，如①测试不同的产品 UI 对用户的影响，进而决定应用哪种 UI；②疾速验证首页商品列表图素材对转化率的影响。这些典型的 C 端试验场景，不仅有海量用户且用户在实验组、对照组间的行为不会相互影响，能够通过随机分组的形式找到同质且独立的实验组和对照组，这类试验称之为随机对照试验，是业界掂量策略效应的黄金规范。

然而在美团履约业务场景中，如调度场景，要测试不同的调度策略对区域内用户体验的影响，策略施加单位是区域，因为区域数量少，同时区域之间各项指标（商家、运力、消费者）差别较大，采纳随机分组难以得出同质的实验组、对照组，而且因为区域之间能够共享运力，施加不同策略的实验组、对照组区域之间相互影响，不满足试验单位独立的条件。在这种场景下，咱们不能对试验对象进行随机调配，只能有抉择的进行实验组和对照组的调配，这种尽管可能控制策略调配但不能控制策略随机调配的试验，咱们称之为准试验，罕用的准试验办法如双重差分。

随机对照试验，因为其可能保障实验组、对照组两组的特色均值雷同，不会因为分组差别烦扰对实在效应的掂量，是业界掂量策略效应的黄金规范。在不满足随机对照试验束缚的业务场景下掂量策略效应，咱们采纳准试验的办法，通过改良分组办法打消实验组、对照组可观测特色的差别或使其放弃恒定差别，剖析环节采纳适配准试验场景的分析方法。

如果因为场景束缚，只能基于试验后失去的数据来进行试验的话，就只能采纳实用于察看性钻研的办法。准试验和察看性钻研尽管不是掂量策略效应的金规范，然而如果应用切当，也能够得出绝对迷信可信的剖析论断。在学界，三种不同试验类型的可信度等级如下：

2.2 AB 测试的关键问题

不论何种类型的 AB 试验，都合乎分流 -> 试验 -> 数据分析 -> 决策的根本流程，以及须要满足 AB 试验的 3 个基本要素。分流是试验平台的顶层设计，它标准和束缚了不同实验者如何在平台上独立运行各自试验而不相互影响，运行试验，看似简略，然而胜利运行不同类型试验的前提是试验场景要满足其实践假如。

AB 试验次要是通过观察抽样的样本来推断总体的行为，属于预测型论断，数据分析波及大量的统计学实践，稍有不慎，容易掉入统计陷阱。上述流程，任一环节出错，都可能导致谬误的论断，因而，AB 试验统计一个数字容易，失去牢靠可信的统计论断并不容易。

2.2.1 AB 测试的分流框架

在履约技术平台，咱们通过试验掂量实在的用户反馈，以确定新产品性能的成果，如果无奈同时运行多个并行试验，将会大大减慢迭代速度。扩充同时运行试验的数量对于实现更快的迭代是必不可少的。为了减少能够同时运行的试验数量，进步并行性，并容许同时运行多个互斥试验，业界呈现了两种分流框架，一种是像谷歌、微软、脸书这种单边业务状态的公司，采纳层、域嵌套的分流框架；另一种是像 Uber、DoorDash 这种多边业务状态的公司，采纳基于束缚的分流框架。具体如下图所示：

基于层、域嵌套的重叠分流框架 ：该分流框架的特点是当时将流量随机打散做桶号标识并提前布局流量的用处，如上图所示，提前将全国流量划分为 10 等份并用 1 到 10 桶号来标识流量，1- 6 号桶的流量用于短期策略验证，7-10 号桶用于长期性策略验证。为了反对同时运行多个互斥试验，晋升迭代效率，别离在 1 - 6 号桶和 7 -10 号桶中，进一步辨别了正交桶和互斥桶，落在正交桶中的流量能够同时进入多个试验，在每进入一个试验前，从新打散一次流量，防止上一试验的残留效应做下一试验造成影响，实现了多个互斥试验的并行运行，落在互斥桶的流量，每次只能进入一个试验，用于运行不满足随机打散条件的试验。基于桶号划分的用于特定用处的一组流量汇合，咱们称为域；同一流量进入的不同类型的试验，咱们称为层。

该分流框架的长处是不仅能够实现流量复用，扩充试验并行度，而且较容易防止具备潜在交互作用的试验可能给用户带来的蹩脚体验。引入层的概念，将零碎参数划分为多个层，束缚让组合在一起可能产生较差用户体验的试验必须位于同一层，同一用户可进入不同层多个试验以试验流量复用，并避免其进入同一层多个试验，防止蹩脚的用户体验。

不足之处在于 ：首先，这种分流框架的一大前提是提前将流量打散，这种在大流量的单边场景下尚可，在小流量的多边场景下，难以行得通。多边场景下，思考到溢出效应，无奈间接采纳单边实体进行分流，而是采纳聚类的形式将有相互作用的多边聚合成一个大的实体，基于大的实体进行分流，思考到无限的实体数量，这种提前打散的形式难以获得平均的流量；其次，域提前规定了流量用处，这种提前隔离的形式，升高了流量利用率，无奈满足小流量场下试验效用要求，如即便在互斥域中没有试验，也无奈采纳该流量进行其它的正交试验；第三，这种提前预布局流量用处的分流框架灵活性有余，如果前期发现域的设置不合理，要扭转域的配置将付出较大的代价。

基于冲突检测的分流框架 ：该分流框架的特点是由实验者制订束缚，平台依据实验者制订的束缚，确保无奈防止潜在交互影响的试验没有同时曝光给用户。如微软、Uber 等公司，试验平台都集成了检测交互作用的自动化零碎，以防止试验间潜在交互影响。以 Uber 为例，将策略看作是一组独立参数的汇合，并提前申明对应策略波及的专用参数和与其它策略共享的参数，配置试验时检测是否有任何影响雷同参数的两个试验重叠，只有它们没有重叠，便容许试验创立或更新操作。

该分流框架的长处是灵便且能最大限度的复用流量，相较于重叠流量框架，不受提前划分的域的束缚只能在特定域中进行试验，即便对应的域中此时并无其它试验。只有满足进行并行试验的条件，便能够任意圈定流量进行试验；不足之处在于：试验平台须要构建自动检测交互作用的能力。

2.2.2 AB 测试满足的基本要素

在运行 AB 试验时，要满足三个基本要素：①施加不同策略的实验组、对照组可比拟，即实验组、对照组的特色均值在试验前雷同或在试验前具备固定差别，便于试验后计算哪些差别是因为策略不同导致的；②策略之间没有烦扰，试验群体互相独立，即当咱们比拟策略 A 和策略 B 时，承受策略 A 的用户行为不会受承受策略 B 的用户行为影响；③试验群体的数量要足够，以满足效用要求，防止试验后果假阴性，即理论策略有成果然而因为样本量有余没有检测进去。

不满足因素一，试验后难以确定实验组对照组的差别是由策略导致的还是因为分组导致的，难以精确掂量策略的实在效应；不满足条件二，可能会高估策略效应。举个例子，在履约配送范畴试验中，橘色是实验组，商户 A 范畴的扩充，会使用户的需要从商户 B 转移到商户 A，如果评估的是商户汇合的单量，会造成实验组单量绝对对照组多，试验环节，得出扩充配送范畴，会进步整体单量，然而当策略在全国利用后，发现单量并没有明显增加，因为试验期间察看的减少仅仅是单量转移，实验组单量转移到了对照组。不满足条件三，难以确定策略无成果是真正的无成果还是因为样本量有余，没有检测到策略成果。

2.2.3 不可漠视的统计陷阱

AB 试验次要是通过观察抽样的样本来推断总体的行为，属于预测型论断，波及大量的统计学实践，稍有不慎，容易掉入统计陷阱，难以得出牢靠的统计论断。

实验组和对照组之间的差别是实在的还是乐音通过显著性测验来辅助判断，要得出结论波及方差、测验形式和 P 值计算，这些环节充斥着统计陷阱，稍有不慎便会导致咱们通过假设检验失去谬误的论断。样本的抽样形式、散布特点以及样本量大小决定了咱们的测验形式和采纳的具体 P 值计算方法，试验单元、剖析单元和实验组、对照组差值类型，决定了方差计算，方差作为 P 值计算的一个输出，间接影响着 P 值后果。上述环节，疏忽任一因素，会导致 P 值计算错误，使咱们通过假设检验失去谬误的论断。

容易漠视的方差计算陷阱 ：如果不能正确的预计方差，那么 P 值和置信区间都将是错的，这些谬误会导致咱们通过假设检验失去谬误的论断。高估的方差会导致假阴性，而低估的方差会导致假阳性。上面是几个预计方差时的常见谬误。

两者不相等。例如，在按天交替轮转的轮转试验中，一旦确定了试验开始第一天在实验组还是对照组，后续其它天在实验组和对照组相继确定。此时，实验组、对照组两组样本不独立，如果依照独立的办法计算方差，将谬误预计方差。实际上，样本的分配机制影响着其方差计算，在 AB 测试中，咱们将流量划分为实验组和对照组并在实验组施加策略，而后计算实验组绝对对照组的某个度量指标的相对晋升值或者绝对晋升率，并测验该差别是否存在统计上的显著性，进而判断试验策略是否真实有效。

从上述公式能够看出，方差计算与分配机制无关，如果疏忽分配机制将导致谬误的方差计算。

评估绝对晋升或试验单元与剖析单元不统一时，谬误的方差计算形式容易低估理论方差，导致假阳性 。在计算指标的绝对晋升率，如下公式所示：

容易漠视的测验形式导致的 P 值计算陷阱 ：统计学对于多大样本量即可认为核心极限定理成立并没有齐全的定论，并非所有大样本场景下的样本分布都满足正态性假如，防止有偏样本采纳默认正态分布下的测验办法。Weich t 假设检验是参数检验罕用的一种测验办法，其本质上假设实验组、对照组样本均值等的渐近正态性成立，该实践实际上是建设在大样本情景下的核心极限定理根底上。统计学对于多大样本量即可认为核心极限定理成立并没有齐全的定论，这实际上也取决于原始散布自身偏离正态分布的水平。

从教训来看，若样本仅略微偏离正态总体，大于 30 的样本量或者就足够了。然而对于有偏样本，Ron Kohavi 等 (2014)  指出当样本偏度大于等于 1 时，一个教训准则便是只有计算样本均值的观测样本量大于 $355 s^2$ 时才可认为核心极限定律成立。理论抽取了一个样本量为 13832 的流动试验，其实验组、对照组差值的抽样散布出现右偏，不合乎正态分布，如下图所示：

如果所有场景下默认采纳正态分布情景下的测验形式计算 P 值，容易导致谬误的 P 值计算。

2.3 基于一组外围形象的平台建设难以适配所有业务场景

整个 AB 试验的过程波及大量统计学常识，正确使用书本理论知识的前提是理论业务场景满足实践假如，理论状况是很多场景不满足实践假如。在这种状况下，取得高质量的后果须要对试验和统计有专家级的了解，以及大量的工作包含：实验设计、配置、指标加工、自定义剖析等流水线工作，任一环节出错，将会导致大量的工作节约。

通过外围形象为实验者输入不同办法能力的平台建设思路，难以避免办法使用不当导致的试验相信问题，在此过程中任一设计的渺小偏差，会导致无奈比拟的实验组、对照组，从而影响试验后果。例如，事例一方差预计谬误：在试验剖析时，常常犯的一个谬误，不论分组形式是不是随机分组，在理论剖析时，依然依照样本满足独立同散布的条件计算方差，造成咱们对估计值的准确性适度自信，低估了方差，容易犯假阳性的谬误。

一个极其的例子，随机抽取 100 个学生用于预计该须要的均匀问题，如果被抽查的 100 人都是同一个学生，他们的问题只反映了一个学生的问题，对于预计所有学生均匀问题的信息含量等同于一个学生提供的信息。

如果咱们把它们当成独立的，所得的样本平均值的标准误差显然是不对的，其后果是造成咱们对估计值的准确性适度自信，即估计值的标准误差预计过小。

事例二业务场景不满足实践束缚：双重差分是咱们准试验中罕用的分析模型，它的计算过程很简略，即实验组干涉前后的均值的差减去对照组干涉前后均值的差，依据业务场景，能够抉择传统 DID 模型或固定效应的 DID 模型，但具体哪种模型适合，须要进一步看，在当下的业务场景下，哪种模型满足平行趋势假如，即在没有干涉的状况下，实验组和对照组指标的均值差别在不同工夫内保持一致，在都满足平行趋势假如下，哪种模型更优？如果不进行严格的测验，将会导致有偏预计。如下是咱们具体场景下的案例：

尽管依据大抵的场景特点，能够判断出采纳双重差分模型，然而到底采纳双重差分的哪个模型，还须要基于理论数据，做进一步验证和抉择。依据上图所示，在以后的业务场景下，并不满足传统 DID 模型的平行趋势假如，如果贸然应用，会造成预计偏差，工夫效应的双重差分模型和个体 + 工夫效应的双重差分模型，尽管都满足平行趋势假如，但从理论置信区间看，后者因为思考了策略对不同个体的差别，稳定较小，预计后果更加靠近理论值，所以应采纳后者。

3 在履约咱们如何进行 AB 测试

3.1 多边业务模式下面临的 AB 测试难题

溢出效应和小样本是以后业务场景下试验面临的最大挑战，其次策略施加的公平性束缚了试验分组也是咱们不得不面对的挑战。每个因素的独自制约，对得出相信试验论断将是不小挑战，而履约场景下，这些因素综合的叠加在一起，加剧了挑战。

咱们的即时配送物流零碎在多边市场中扮演着交易中间人的角色，它通过平台匹配用户、骑手、商家三方的需要，平台通过产品策略优化这一匹配过程，每一次匹配都会对同一时刻及后续一段时间内其它的匹配产生影响，具备较强的溢出效应。受溢出效应影响，试验单元的试验后果不仅取决于个体自身，还会受其余试验单元的影响。网络效应的存在违反了试验单元独立的准则，导致有偏的试验后果。

如履约业务下的商家配送范畴试验，试验 Treatment（配送范畴划分）间接决定了用户是否在某家商家下单，且同一时空下不同商家共享雷同的用户，某一策略的施加会导致本来只能在商家 B 下单的用户能够在商家 A 下单，导致本来在对照组中的单转移到了实验组，尽管从试验成果上看，策略晋升了单量规模，策略推全后，成果并未达到试验的先验预期甚至无成果。因为这种晋升可能仅仅是单量转移，并非策略真正带来了晋升。

履约 LBS 的业务状态决定了其大部分策略都是地区（次要是配送区域）开展的，受限于配送区域数量及自身的地区差别，难以获得足够的样本检测出策略的小晋升。如调度试验，受限于本身业务状态和空间维度限度，调度算法的最小作用单元为区域或区域组，试验必须思考区域或者更粗粒度的分流，然而大部分城市区域和区域组很少，并且城市各地区间的差别往往比较显著，这在数据上体现为区域间指标稳定激烈。

该场景下严厉的小样本与地区间差别显著的问题导致统计效用低，从而很难无效地检测出策略小的晋升成果。其也会导致随机分流下与响应变量相干的协变量在实验组、对照组的散布差距较大，放大业务上实验组对照组不同质问题的同时给试验后果带来质疑。

更致命的是，该场景下的混合调度模式，不同运力类型的重叠区域能够共享运力互派单，区域能够召回其左近的其它区域运力并派单的特点带来的溢出效应，会导致试验成果预计不够准确甚至带来显著的预计偏差。相似调度试验同时要克服小样本和溢出效应的双重束缚，是不小的挑战。

3.2 AB 测试的组织和流程

随着履约业务的倒退，咱们越来越依赖于良好的策略驱动业务规模疾速倒退，以及效率、体验和老本的继续优化。A/ B 测试提供了最迷信的办法来评估策略变动的影响，并绘制出清晰的因果关系。通过 A / B 测试量化影响，最终辅助团队做出决策。咱们将人员、流程和平台更严密地联合在一起——这是胜利试验生态系统的基本要素。

人员方面，咱们将算法（试验用户）、算法工程、数据迷信（下称数科）有机组合成了一个虚构团队，数科同学在策略迭代之初，就参加到算法年度指标的探讨中，辅助算法一起制订量化策略好坏的综合评估指标，并基于场景特点抉择适合的试验办法，实现对应场景下的实验设计，算法工程同学，负责将新办法集成到试验平台，作为公共能力为用户提供服务。

有了组织、平台后，构建高效、基于 AB 试验的数据驱动工作流是通过 AB 试验帮忙咱们达成产品指标获得成功的要害，咱们将整个流程分为三个阶段：构建想法，通过 AB 试验验证想法、积淀知识库造成试验记忆。

构建想法是试验的输出阶段，构建想法的品质间接决定了试验的成果，如果这个阶段构建的想法不够好，那么 AB 试验阶段只能起到验证谬误的作用，升高犯错误的概率，无奈带来增长。

验证想法就是实际 AB 试验的过程，能够分为试验假如、实验设计、试验运行、试验剖析和试验决策五个关节，试验假如环节，即造成试验指标，构建综合评估指标，实验设计，基于场景束缚，抉择适合的试验办法。

最初，通过 Launch Review 发动试验决策；将胜利和失败的案例积淀下来，造成试验记忆，不仅能够帮忙咱们发现策略的通用性，而且有助于帮忙咱们从失败中寻找机会。

3.3 AB 测试平台简介

3.3.1 平台概述

AB 试验得以在工程中广泛应用和推广，与 AB 试验的并行性（多个试验可并行发展）和先验性（通过小流量事后取得成果评估）密不可分，分流框架间接决定了试验的并行度，与场景匹配的试验解决方案间接影响着试验先验论断的可信度。

为进步试验并行度并让咱们同时运行多个互斥的试验，咱们构建了基于束缚的分流量框架，以标准和束缚不同试验如何共享和应用流量。为确保平台提供牢靠的试验后果，平台针对实验设计间接输入解决方案而非能力，试验剖析齐全自动化，即基于实验设计和数据特点自适应抉择与之匹配的办法。以达成不论是试验或统计畛域的专家进行试验，还是无统计和试验常识的普通用户进行试验，任何人都可能置信试验的后果。

为进步试验并行度，业界有层、域嵌套的重叠分流框架和基于束缚的分流框架，前者以谷歌为代表，后者以 Uber、微软为代表。层、域嵌套的重叠分流框架要求提前将流量平均打散并布局好用处，这不仅须要大流量以确保可能被平均打散，而且对业务将来演进须要有精准预判确保正当划分流量用处。小流量无奈实现平均打散，流量用处划分不合理，不仅会导致调配流量大的域试验数量少而节约流量，调配流量小的域试验数量多导致流量不够用而排队；而且从新划分流量用处会导致线上试验生效、新策略无奈正确推全、无奈进行长期试验。

在履约技术平台，分流单位常常是区域、区域组甚至城市，样本量无限，不满足平均打散的样本量要求，其次，履约业务继续演进变动，难以基于业务预判提前布局好流量用处，基于以上两点，履约采纳了基于束缚的分流框架。

在试验畛域应用统计办法统计一个数字容易，然而确保统计办法正当适配得出牢靠的试验论断并不容易，特地是在履约这种连贯用户、骑手、商家三边的平台型经济业务模式下，不同的试验须要在升高网络效应和进步试验效用两个指标之间衡量，制订与场景匹配的试验办法并得出相信试验论断。

做到这一点，须要实验者对试验和统计有专家级的了解。为升高试验门槛，确保试验相信，平台建设提出了，针对实验设计间接输入解决方案而非能力。针对试验剖析，实现齐全自动化，防止实验者将大量精力放在计划的论证上和人为因素导致的试验相信问题。

3.3.2 基于束缚的分流框架，以适配履约业务场景

分流框架像法律法规标准着标准着大家的日常行为，使大家在社会小家庭中有序生存一样，它标准和束缚着不同的试验在不相互影响的前提下如何共享和应用流量，它是试验平台的顶层设计。基于束缚的分流框架让实验者指定束缚，平台冲突检测依据实验者指定的束缚，进一步判断是否容许试验。在开展之前，先引入三个概念：算法 Key、场景和试验模版。

算法 Key 代表一组可独立测试的性能，在技术层面能够示意为一组独立参数汇合，场景代表对应算法 Key（对于联结试验而言，是多个算法 Key；非联结试验，是一个算法 Key）下具备雷同试验模版的试验汇合，试验模版为一组雷同试验类型、试验单位、分组办法、评估办法的配置。

思考到：①同一算法 Key，不同试验是针对同一性能不同版本的测试，试验间要互斥；②不同算法 Key 之间，只有其对应的性能之间没有潜在的交互作用，其对应的试验间人造正交能够释怀的复用流量，如存在潜在交互作用，只有确保流量能被随机打散，便可打消策略间的潜在相互作用对试验论断的影响。

因而，针对并行试验，初步的束缚如下：①同一算法 Key 下的任意两个试验不能复用流量，抵触；②不同算法 Key 下存在潜在交互作用的两个试验，只有有一个试验类型是随机对照试验，皆可复用流量。束缚②不仅防止了全因子流量框架不同策略试验间潜在相互影响的危险，而且防止了重叠流量框架因不同域流量隔离导致的流量复用率低的问题，特地是在准试验、察看性钻研比随机对照试验多的情景下，因为准试验、察看性钻研分处不同的域，无奈实现随机对照试验和准试验、察看性钻研之间的流量复用。

思考到同一算法 Key 下不同试验因指标流量或迭代验证的性能不同，同一个算法 Key 下的不同试验与另一算法 Key 下的不同试验间是否抵触取决于其对应的测试性能或试验办法，咱们引入场景来形容不同算法 Key 的性能形容和其对应的试验办法，并依据业务教训结构不同场景间的业务影响矩阵。基于不同场景的业务影响矩阵、场景试验办法和并行试验束缚，生成场景试验抵触矩阵，基于此矩阵实现不同算法 Key 试验间的冲突检测。

不同场景下的联结试验，与其对应算法 Key 下所有场景试验抵触，与其它算法 Key 场景试验，依据束缚 2 进一步断定；为防止抵触试验间的流量重叠，提供了基于表达式定义流量范畴的能力，通过检测表达式流量覆盖范围防止抵触试验间的流量重叠。基于束缚的分流框架，不事后布局流量用处，也没有层、域简单概念，试验时按需抉择流量，只有通过冲突检测，就能够上线试验，不仅升高了用户应用门槛，而且进步了平台灵活性，以适应履约业务场景。

3.3.3 打包输入实验设计，升高试验门槛，确保试验品质

受履约溢出效应、小样本和公平性因素制约，实验设计是升高溢出效应、进步试验效用、关注试验偏心等多种指标进行方差和偏差均衡的过程 。

实验者尽管能够依据对应场景所容许的分组形式（是否容许分组以及在容许分组的前提下是否容许随机分组），初步判断能够思考应采纳如下“一般随机对照试验”、“随机轮转试验”、“准试验”、“察看性钻研”中的哪一种试验形式，然而具体应该采纳哪种试验形式以及对应试验形式下应该采纳什么分流单元，是综合思考溢出效应、试验效用、公平性等因素多方均衡的后果。

例如：在运单试验中，实验组、对照组运单能够来源于同一区域，因为同一区域的运单能够共享骑手，运单间不独立，导致实验组、对照组存在溢出效应。轮转试验是解决该问题的一个可选项，前提是咱们须要在如下两个互相抵触的指标之间做均衡。

• 咱们心愿能够划分更多的试验单元来减少样本量，这就须要咱们将试验单元划的足够小以得出更多的试验单元来保障咱们有更多的样本量来满足试验灵敏度要求。
• 咱们心愿试验单元划的足够大确保将相互影响的个体蕴含在一个独立单元中，以打消溢出效应对试验后果的影响。

在无限的样本下，如果只是进行简略的随机分组，不仅会导致实验组对照组的一些指标在试验前存在偏差，而且会因为样本量有余导致无奈检测出策略的渺小晋升，咱们到底是通过管制影响指标差别的协变量和改良分组形式来达成偏差和方差的均衡，还是试验前容许偏差存在，通过试验后纠偏的办法进行补充，这些都须要在实验设计时基于算力，以及基于分组形式和分析方法组合计划得出的数据体现综合判断，来制订正当的试验计划。

为数科同学提供一系列试验计划的设计工具，辅助其实现实验设计中要害的方差和偏差均衡，输入与场景匹配的解决方案 。因为用户、商家、骑手通过履约平台造成的简单交互关系，在履约进行 AB 试验，须要去衡量溢出效应和试验效用，给出正当的实验设计，这不仅须要从事该工作的人对试验和统计有专家级的了解以及足够的工夫投入，而且须要平台提供实验设计的能力，可按需抉择试验类型、试验单位、分组形式、分析方法、评估指标，实现实验设计并验证该设计的可行性。

在履约技术部，由数科同学承当实验设计的职责，由其为对应场景制订与之匹配的试验计划，开释算法同学精力，让其有更多的工夫思考如何进行策略迭代。为满足履约各种场景试验诉求，平台提供了如下几种类型试验模版：

为了便于数科同学基于要检测的指标、对应指标的预计晋升量、可用样本等束缚进一步确定对应试验模版下的试验单位、具体的分组办法和分析方法，制订出与场景匹配的试验计划，平台为其提供了实验设计工具包，包含：分组工具包、降方差工具包、显著性剖析工具包，实验设计报告工具包，包含：MDE 剖析、同质性测验、样本量预估等工具包。

平台为实验者间接输入与其场景匹配的实验设计计划，实验者无需放心试验办法使用不当导致的相信问题 。在平台的场景治理模块，配置着该场景下具体的试验计划：具体的试验类型、试验单位、分组形式、评估指标（包含：指标指标、护栏指标、驱动指标）、降方差办法，实验者进行试验配置时，依据平台为其提供样本量预估和“MDE”剖析工具，实现流量圈选和试验周期确定，之后平台输入实验设计报告，输入分组后果、“MDE”剖析和同质性测验报告，测验通过后，实验者可进一步配置实验组、对照组对应的策略参数，实现最终的试验配置，进而公布试验。

3.3.4 构建实用于不同试验办法的剖析引擎，标准化试验剖析

牢靠的数据和迷信的分析方法是得出可信剖析的要害。试验剖析波及大量的统计学实践，稍有不慎，容易掉入统计陷阱，思考到大多数实验者不足统计常识且自助剖析带来的工夫耗费，咱们构建了对立的剖析引擎，标准化试验剖析过程，为不同的实验设计提供与之匹配的分析方法，通过验证相干指标的统计显著性和预计策略效应，帮忙咱们依据剖析后果做出数据驱动的决策。剖析流程大抵包含如下过程：

1. 通过数据诊断，确保剖析数据的可靠性；
2. 基于分组形式、分析方法，进行试验效应预计，得出试验效应预计；
3. 基于分组形式、数据类型、试验单元与剖析单元的关系、分析方法，抉择适合的方差计算形式进行降方差以进步试验灵敏度，防止假阴性；
4. 基于分组形式、数据分布特点，抉择适合的测验形式计算方差计算和 P 值，验证相干指标的统计显著性给出统计论断；
5. 基于诊断和剖析，输入实验报告。

剖析环节的数据诊断，旨在揭示实验者留神可能违反试验假如的状况。很多人认为试验肯定依照设计运行，实际上这一假如失败的概率远高于人们的预期。失败试验的剖析论断通常是有重大偏颇的，甚至一些论断是齐全谬误的。在输入显著性剖析报告之前，通过护栏指标测验，确保业务不会因策略的迭代受到挫伤，通过分组同质性测验、“SRM”测验查看试验执行是否合乎预期，确保试验自身的可信度，抽样散布测验，为后续抉择适合的显著性测验办法提供根据。

剖析环节的试验剖析，主动抉择与数据和实验设计匹配的分析方法，防止统计陷阱。依据分组形式，提供了差值法和双重差分两种效应预计办法，方差计算和 P 值计算是统计陷阱集中产生的两个环节，别离提供了判断方差和 P 值计算形式的判断引擎。

首先，方差计算依据是否随机抽样，将其分为独立样本方差计算和非独立样本方差计算，独立样本方差计算，依据指标是增量晋升还是绝对晋升和分流单位与剖析单位是否统一综合因素，提供了间接计算和 Delta 办法计算，防止方差计算陷阱，非独立样本，通过模仿数据的理论散布，给出方差的精确计算。

其次，在样本量小于 30 的超小样本下，采纳非参的 Fisher 测验以满足效用要求，在样本量大概 1 万的超大样本下，承受测验统计量的渐近正态性成立并采纳 Weich t 假设检验；在样本量大于 30 小于 1 万下，进一步样本理论散布状况，如果统计量渐近正态性成立，则采纳 Weich t 测验，如果不成立，采纳 Bootstrap 估散布进行统计推断。

3.3.5 平台建设不仅要根植于业务场景，而且要做到严格的品质管制，确保后果可信

履约试验平台建设回绝性能的简略堆砌，而是设计了可灵便扩大的试验 Pipeline 工程架构，而后将更多的精力放在业务场景的实验设计和剖析计划上，严格控制品质，确保试验后果可信。在此过程中，数科同学表演了双重角色，作为平台建设的一员，他们永远比工程建设快半步，深刻业务，定义新问题并找到答案，协同工程同学一起实现新能力建设。

同时，数科同学又作为一批非凡的用户，承担者平台品质把控和产品易用性职责，特地是品质把控，在平台对外公布新试验办法前，都须要通过他们的 AA 模仿，通过模仿几百次 AA 试验，查看关注指标的 P 值是否在 0 到 1 之间均匀分布，通过验证后如果合乎新能力公布条件，进行新能力公布，否则，持续剖析找出问题所在。下表是在随机轮转试验中，引入入 Fisher 和 Neyman 测验时的模仿验证。

4 总结与瞻望

在履约算法和业务同学每年别离运行数以万计的试验，测试内容涵盖履约业务的各方面，咱们曾经积攒了如何进行更好的试验以及如何利用试验来做出更好的决策的常识。本文从试验通识的视角，介绍了履约在建设可信试验的实际，心愿能对实验者有所帮忙。因为履约的规模、影响力和多边业务模式的特色，履约的问题空间带来了独特挑战。溢出效应、小样本、策略公平性等综合因素制约着咱们运行可信试验，咱们在解决上述问题时，也积淀了一系列实际，后续也会陆续推出相干实际文章。

基于不同的因素，如指标类型、样本量、样本分布特点等，能够利用不同的办法如线性模型、Delta 办法、Bootstrap 办法来计算 P 值和标准误差，并且在以城市、区域、站点为试验单位的试验中，能够主动抉择不同的办法来调整标准误差，防止了因为数据聚类而导致的误报。这种灵便剖析能力对策略的疾速迭代十分重要，并且深受数据工程师的欢送，这样他们就能够把精力和工夫集中在试验的其余要害方面。

基于此，咱们构建了对立的剖析引擎，它标准化了试验外围框架，如一般随机对照试验、随机轮转试验、协变量自适应试验、准试验和察看性钻研，以及一些其它的在产业界和学术界前沿的试验评估技术：如样本量预估、降方差、MED 剖析、数据纠偏、轮转试验的携带效应预计等，以缩小大家花在剖析上的工夫。将来，咱们进一步凋谢该能力，以服务于更多的用户。

5 本文作者

王鹏、永斌、中锋等，均来自美团到家研发平台 - 履约平台技术部。

招聘信息

履约平台技术部 - 数据迷信工程师

咱们冀望候选人能够建设统计模型、利用机器学习技术、剖析配送业务数据，并应用这些建模技术构建相干指标来帮助要害的业务决策。

1. 与算法或业务合作负责各类试验，确保试验的科学性与高效率；负责简单试验的设计和评估，通过试验剖析给业务决策提供举荐计划；负责科学实验评估平台的布局和演进。
2. 和业务严密协同，深刻了解业务和产品，将业务和产品的问题转化为数据和技术的问题，并且设计正当的解决方案，如被动通过数据摸索和开掘，帮忙业务自动识别虚伪申述并驱动其欠缺管控规定；通过体系化的因果推断解释日常业务外围指标的稳定变动，及时发现问题等。
3. 把握技术趋势增强行业对标调研实用于配送各业务的因果推断、统计推断，异样检测以及其它数据迷信的办法，并把这些办法利用到理论业务问题。
4. 领导团队成员和数据分析师，帮忙他们疾速成长，为团队造就数据分析人才。

欢送退出咱们，简历请投递至：wangpeng47@meituan.com

| 在美团公众号菜单栏对话框回复【2022 年货】、【2021 年货】、【2020 年货】、【2019 年货】、【2018 年货】、【2017 年货】等关键词，可查看美团技术团队历年技术文章合集。

| 本文系美团技术团队出品，著作权归属美团。欢送出于分享和交换等非商业目标转载或应用本文内容，敬请注明“内容转载自美团技术团队”。本文未经许可，不得进行商业性转载或者应用。任何商用行为，请发送邮件至 tech@meituan.com 申请受权。