共计 3679 个字符，预计需要花费 10 分钟才能阅读完成。
A/B 测试，听起来如同就是在 A 和 B 两个计划中择优抉择一个的样子。
然而判断的规范是什么，如何实现始终没有思考过。
正好最近在做数据分析方面的工作，稍有接触，Mark 一下。
A/B test 起源
A/B 测试，其实源于学术层面的“随机对照试验”，作为一种方法论，这种对照试验有着悠久的历史：
1747 年，为了医治坏血病，皇家海军的外科医生 James Lind 设计了一项试验。他测试了苹果醋、大麦水、橘子等六种不同药方。最终发现陈腐的橘子为最佳的医治药物，只管那时并不分明是橘子中维 C 的作用。
1835 年，医学史上第一次“双盲实验”在纽伦堡实现。一位名为弗里德里希的公共卫生官员，为反抗过后颇为风行的趁势疗法开启了一个赌注：将 25 瓶趁势疗法盐水和 25 瓶蒸馏水分发给 50 位双盲受试者。最初 8 位宣称产生了医治成果，但揭盲后发现，有 3 位喝的其实是蒸馏水，弗里德里希博得了赌注。
1944 年，在制作原子弹的过程中，曼哈顿打算的领军科学家奥本海默，用 3 种办法测试如何拆散铀 235，这一步骤成为整个我的项目中最要害的环节之一。
1960 年代，大卫·奥格威用对照测试的办法验证广告的有效性——写两条不同的文案并要求报纸将其各印一半，同时在文案中留下索取收费样品的邮编和地址，但款式不一样，最终依据理论样品索取量来察看哪种文案成果更好。
能够分明地看到，随机对照试验作为一种方法论，在现代科学和商业倒退中施展了重要作用。
它实质上能通过管制繁多变量的办法来寻找最优解决方案，曾经被宽泛使用到工程学、医学、教育学和多个畛域的商业实际中。
而咱们明天要聊的 A/B 测试其实就是随机对照试验在互联网畛域的具体利用。
A/ B 测试，互联网巨头的标配
2000 年 2 月 27 日，谷歌搜寻部门的一位工程师进行了互联网时代的第一次 A/B 测试——他想晓得搜寻后果每页展现多少条是成果最好的，过后默认为 10。
试验是这样设计的：对于 0.1% 的搜寻流量，每页显示 20 条后果；另外两个 0.1% 别离显示 25 条、30 条。
这次测试从间接后果看并不胜利——因为技术故障，实验组页面的加载速度显著慢于对照组，最终导致试验的相干指标降落。
但谷歌因而取得了意外播种——他们发现即使是 0.1 秒的加载提早也会显著影响用户满意度。很快，谷歌将改善响应工夫晋升为高优先级事项。
以这次试验为开始，A/B 测试在谷歌外部疾速流行起来。
2013 年，今日头条在起名字的时候，开创团队没有头脑风暴，没有投票，没有老大拍板儿，而是采纳科学实验的形式，通过数据确定了头条的名称。
首先将 App Store 上各类收费榜单的前 10 名整理出来；而后依据名字归类（朗朗上口文言类，外延情怀类，模仿非凡声音类，公司名 + 用处类等），剖析各类的占比，剖析论断是朗朗上口的大白话成果最好。再而后，对于设计的名称，分渠道 A/B 测试，确定先验成果相似的公布渠道，别离投放，界面性能 logo 齐全一样，统计各个渠道的用户下载和沉闷等外围数据指标，最初测得《今日头条》成果最好。
张一鸣也曾示意——“即便你有 99% 的把握某个名字比另一个名字更好，测一测又有什么关系呢？”
在 Facebook，CEO 扎克伯格曾公开声称：“在任何给定的工夫点，都不会只有一个版本的 Facebook 在线上运行，而是有超过一万个，咱们的试验框架能随时发现和感知用户最轻微的行为差别。”
增长离不开 A/B 测试
在理解如何迷信进行一项 A/B 测试之前，咱们须要对“A/B 测试是什么”有一个定性的意识。
置信绝大部分人对 A/B 测试的认知是这样的：
两套产品计划，别离让 50% 的用户各自拜访不同的两个计划，察看谁的数据成果更好。
这样的形容并不是不正确，但没有说到 A/B 测试的实质。
那 A/B 测试的实质到底是什么？自然界中达尔文雀演变的例子曾经通知了咱们答案:
达尔文雀族群是生存在加拉帕古斯群岛的多种近缘雀鸟物种的统称。他们之所以被称作为达尔文雀，是因为达尔文发现，它们在体型上简直完全相同，仅仅只有鸟喙状态不同，并且品种多达十几种，散布在群岛不同的地位。钻研后果证实，这些雀鸟族群源属同一种鸟类，因为群岛上不同中央的环境差别，让它们进化出了最适宜以后环境的鸟喙。
达尔文雀的抉择进化是自然界中活生生的 A/B 测试例子，而这个例子也揭示了 A/B 测试的实质：A/B 测试是一个特定条件上来择优的过程。
在这个案例中，咱们还能发现 A/B 测试 3 个最次要的特色：
1）A/B 测试是多计划并行的，并不是传统认知上的 A、B 两种计划：就像达尔文雀同时进化出了多达 18 种鸟喙。
2）一个 A/B 测试只有一个变量：达尔文雀的演变只影响了鸟喙这一个部位，而其余部位并没有变动。
3)肯定遵循了某些规定或特定环境：只有在群岛自然环境的影响下，能力让它们进化出适宜以后环境的鸟喙。
正如达尔文雀通过进化出更优的新形态来适应以后的自然环境那样，A/B 测试也是在以后环境下找到最适宜用户的产品计划的过程。
在 A/B 测试时，咱们犯了什么错？
咱们了解了 A/B 测试之后，回顾咱们之前做的所谓“A/B 测试”，以及验证产品假如的过程，能找到很多不够谨严的中央，咱们在这里一一列举：
做测试时只测两种计划。
咱们曾经晓得，A/B 测试其实是多计划并行的。在很多场合下，咱们对一个产品假如其实会有各种各样的争议，但咱们通常会被惯性思维所驱使，认为这个假如“非对即错”，正确的办法“不是 A 就是 B”。咱们该当对本人的业务有更多的思考，列出足够多的正当假如，并尝试。
新性能公布先上一个新版本，和上一个时间段的老版本比照数据。
这种验证假如的办法不能称做“A/B 测试”，并且不足严谨性。犯这种谬误，是因为惯性思维使得咱们脑中通常会有这样一个认知：产品两个不同版本的用户始终都是同一批人，会有雷同的需要场景以及行为偏向。
这种认知最大的破绽就是工夫。显然，不同工夫周期中的用户行为是不同的，那用户行为反馈出的数据天然就会不同：双十一前和双十一后，用户的生产偏向会不同；入夏前和入夏后，用户的生存作息会不同；产品上个版本有强经营的流动，而这个版本没有，用户在产品上的注意力会发生变化 …
即便咱们管制产品自身的经营节奏，工夫周期性造成的用户行为变动通常也是很难预测并量化的，这对产品数据的谨严水平造成了很大的挑战。因为 A/B 测试不受这些因素带来的影响，所以它可能在业界失去越来越多的利用。
批改产品的两处或更多中央并 A/B 测试，只察看整体指标
咱们在达尔文雀的案例中曾经提到，A/B 测试的特点是一个测试只有一个变量。因为在这个特定条件下，咱们可能容易的推断：A/B 测试中引起产品数据的变动，肯定是这单个模块的策略调整引起的。一旦一个产品页面 / 流程批改了两处以上，如果只看整体数据，那这个页面/流程数据变动的起因将无从查究，因为你基本不晓得数据变动到底是哪个模块引起的，每个模块到底施展了踊跃的作用，还是消极的作用。
但这并不是说咱们不能同时批改一个业务流程的多处中央。相同，在理论的产品与业务迭代中，因为业务自身的须要，这种状况不可避免地产生，须要有一个解决办法。
既然一个 A/B 测试试验只能有一个变量，咱们就能够认为：一个业务流程上的有多少各中央进行了调整，那这个业务流程上就同时进行着对应数量的 A/B 测试试验。将这些产品流程上的每处策略调整都抽离成一个个独立的 A/B 测试试验，别离察看同一个整体指标的变动，能取出每个试验的最优计划。每个试验最优计划的组合，就是整个产品模块的最优解。
A/ B 测试的真正价值
第一点，最直观的一点，A/ B 测试能真正落地数据驱动，帮忙企业科学决策。
在传统的经验主义经营模式下，业务负责人能力再强，也不免有失手的时候。但作为一种前置验证的伎俩，A/ B 测试的价值不仅能帮忙企业精确评估哪个计划更好，还能评估出好多少、为决策提供量化参考。
第二点，同时也是科学决策的另一面，A/ B 测试能帮忙企业躲避危险。
如果一个带有谬误个性的新版本全量推给用户，影响的可能是千万、甚至上亿用户的体验，后续挽回损失的代价也同样让企业难以承受。A/ B 测试能够通过分流出小局部流量进行测试，将负面影响管制在试验范畴内，避免谬误决策造成更大的损失。“A/ B 测试实质上，是帮忙咱们进步抉择、判断的准确性，以及晋升决策时的效率，降低成本。”
第三点，从企业倒退的久远角度看，A/ B 测试是企业复利式增长的新标配，其尽可能地让企业的每个决策都带来正向收益，继续循环，最终实现指数级增长。
一家公司，从初创企业到独角兽，再到成为行业巨头，整个过程中最令人惊叹的中央往往是：这家企业须要在每个重要节点都做出正确的抉择。如果稍有不慎，哪怕只是一次谬误，也可能让原处于高歌猛进状态的企业走起下坡路。情理不难懂，难点在于，没有人能看到将来，只能尽最大致力基于已有信息作判断。而 A / B 测试，是一个把消费者行为数据化、用数据对行为进行量化反馈的过程，这对企业预判趋势大有裨益。
A/ B 测试的重要性日益凸显，价值曾经十分明确。挑战当然有，但当企业真正把握这把增长利剑时，业务增长门路就会恍然大悟。
参考内容
达尔文雀相干介绍：https://zh.wikipedia.org/wiki…