AB Testing在软体工程畛域是一个耳熟能详的词，大家都晓得AB Test的重要性。当产品经理提出的需要不合里（太难做）时，程序员们心理总是os，你怎么晓得客户到底要什么，不也是拍脑袋想的吗，这时候咱们可能会提出另一种作法，并要求他（她）去做一个AB Test来验证哪一个作法更好。
然而，大家可能不晓得，要做一个胜利的AB Test试验，它背地的老本是十分微小的。首先，你必须做许多的剖析，理解用户习惯与需要，而后做出正当的假如并决定变数（variation），接著，须要工程部门帮助将AB Test进行实作并采集相干数据，有了数据之后，产品经理须要依据假如建设模型来验证假如，一直迭代最初取得一个论断。这个老本在B2B中尤其宏大，影响因素十分的多，蕴含取样率、用户个性等，这也使得许多B2B畛域的产品经理对AB Test望而怯步。
那么，到底在B2B畛域中要不要做AB Test呢？本篇大哉问就要带大家来探讨下这个问题了！
什么是AB Test
在开始大哉问之前，想先跟大家科普一下何谓AB Test，也让咱们在后续探讨时能有更多的共鸣。
AB Test是一种以统计为导向的测试方法，在一个页面中，针对某一场景进行两种或以上的假如，并在同一时间内对不同的用户进行测试，以察看用户的反馈。
AB Test通常蕴含以下的流程：
首先，在进行AB测试之前，产品经理须要先针对场景进行钻研，并建设假说。接著，从假说当中演绎出变数，来决定试验如何进行，有了这些前置步骤后，就能进入到真正的测试环节，将两种假说实现到产品当中并投放给不同的人群进行应用以蒐集数据。最初，产品经理须要针对这些反馈数据进行剖析，以取得试验后果并确立计划。
咱们用几个实在的案例来形容一个AB Test是如何进行的。
实在案例：form表单设计
第一个案例是某云计算产品相干公司的报价单产生零碎。产品经理在设计阶段调研了自家产品目前用户的报价习惯与流量，演绎出了A与B两种报价单的设计假说。其中A版本是一份具体的报价单，外面波及了具体的配置与规格，设计上给人一种业余感，没有过多的装点。B版本是一份看起来比拟平易近人的报价单，须要填写的材料绝对较少。这两种设计别离示意了两种假如，第一种假如是一份具体的报价单能凸显业余度，使用户置信业余并违心来填写报价单，另一个则假如简略的填写表格能让用户更有志愿来填写。在变数上，蕴含了填写的难易水平、好看性、提交按钮的显易水平等等。
通过假说与变量管制后，最初落地的就是上图两个版本的表单，产品经理别离在同一时间对不同用户投放并蒐集数据。通过继续察看语剖析，最初B表单胜出，流量差距高达385%。证实了平易近人的表单设计更受用户青睐。
实在案例：DHL折扣广告
第二个案例是国内出名快递公司DHL的折扣广告。产品经理在设计广告时设立了两个假说，女性的广告代言人更加吸引民众的眼光，以及，男性的广告代言人更加吸引民众的眼光。因而，这里的变量就很显著，角色的性别对流量的影响。通过投放测试后发现，女性的广告代言人更加的吸引人，转化率比男性代言人高了8个百分比，阐明对民众来说，女性代言人更具亲和力且更违心点击购买，是不是很乏味？
能够把B2C畛域的教训间接套用到B2B畛域吗？
答案是不行的，两个畛域个性相差太大。如同后面所说的，一个胜利的AB Test大略会经验几个阶段。蕴含钻研、建设假说、建设与执行试验、评估后果并验证假说等。
在试验过程中，试验后果通常有两种可能，第一是试验后果具备强有力的统计论证以证实假说的正确性，二是试验后果不具备足以证实假说的证据（在AB Test中这很常产生）。如果你的试验具备强有力的证据撑持每一个假说并且试验的过程是很快的，那么这样的AB Test将会十分有效率。在B2C场景中，假说绝对容易造成，因为数据量大，所蒐集的数据具备统计意义，更不便产品经理造成假说，也因而做AB Test相对来说更有效率。然而，在B2B畛域中就不是这么一回事了。因为B2B的客户面相的是公司，在取样率上远远比不上C端用户，这也导致B2B畛域的统计个性单薄，假说也绝对难以造成。
另一个不行的起因在于流量。在B2C畛域中，流量与收益经常是成正比关系，越多的流量就能带来越多的收益，因而在进行变量管制时，流量总是会随机地调配到一个或数个变量当中。然而，在B2B畛域中，流量不全然反比于收益，拜访B2B网站的用户中，可能很大一部分是游客，他们可能是透过广告或搜寻进到网页当中进行调研。他们并不会花钱，因为他们可能只是企业员工的一员，没有决定洽购的势力。这使得许多在B2C畛域中曾经耳熟能详的决策模型变得毫无用武之地。
AB Test在B2B畛域中的挑战
B2B畛域的产品经理们当初面临了三个AB Test的挑战：
- 难以制订最佳的KPI指标
- 须要大量的资源来进行AB Test
- 须要很长的工夫能力失去后果
1. 难以制订最佳的KPI指标
在B2B场景中，咱们所关注并且心愿达到的后果往往是支出。现实上，咱们在做试验时，应以支出为次要考量因子。在理论场景中，许多的B2B产品经理会将指标细化成应用潜在客户的转化率（如中长尾客户）、渠道机会（如客户单干等）与市场影响支出（如产品市场占有额）等评估指标，在SaaS中，可能会以LTV（生命周期总价值）作为次要的掂量指标。
如果你没方法测量这些指标，那就意味著你没方法最佳化它。当初市面上大多数的AB Test工具都是针B2C场景，这意味著你没方法间接套用这些工具，因为他们所应用的量测指标没方法满足B2B的场景。
2. 须要大量的资源来进行AB Test
假如咱们要做一场最节省成本的AB Test试验，那咱们至多须要UED相干的设计师、前端开发工程师与数据分析工程师投入到这场试验当中。投入的工夫也不是短暂的（一两个礼拜），因为一场胜利的试验，必须长时间的察看以获取无效的样本数及防止落入「錯誤测试」当中。在B2C畛域中，测试的工夫绝对较短，因为样本数能够很容易地被满足，同时取样自身根本合乎常态散布。但在B2B畛域中测试的工夫绝对会被拉长，除了样本数的起因外，另一个重要因素是取样偏差，因为在B2B畛域中可能大多数的流量皆是访客，只有少部分人能成为真正带来收益的用户。因而，同样的人力资源在B2B的实验场中须要停留的工夫就更久，须要剖析的数据也更加简单且可能无意义。
3. 须要很长的工夫能力失去后果
如同2中所述，在B2B畛域中因为样本数有余与样本偏差问题，会导致整体试验工夫被拉长。然而，消耗的工夫可能还不止于此。一般来说，AB Test是一个周期性并且迭代的一个过程，因为咱们须要依据试验的后果来修改假说或从新定义变数，这会使得原本破费工夫就长的试验变本加厉。也因而要取得后果的工夫会比B2C畛域长的更多。
那B2B畛域还须要做AB Test吗？
看了下面那么多的挑战，咱们还须要在B2B畛域中做AB Test吗？我的答案是必定的。因为AB Test所能带来的收益也是微小的。我认为的长处：
1. AB Test能够帮忙B2B产品更好的取得业务反馈
B2B产品尽管在用户体系上与B2C产品截然不同（客户不肯定是用户），然而，咱们仍然能够透过服务好用户来影响客户的形式，来间接的减少收益。因而，怎么从AB Test当中获取用户的反馈来改良产品是很重要的。
2. AB Test能够帮忙B2B产品减少流量
流量尽管在B2B产品中不是次要的掂量指标（因为与收益不肯定成正比），然而，它的边际效益却能间接的达成收益的目标。例如下面所提到的市场影响支出、渠道机会等等。因而，透过AB Test，咱们能够更好地改善产品来晋升流量以达成收益的目标。
3. AB Test能够帮忙B2B产品更好的摸索市场
有时候，咱们会有许多的新需要与新想法，但咱们却不晓得市场能不能承受它，这时候就能施展AB Test真正的价值。
4. AB Test能够帮忙B2B产品更好地增进用户体验
如上所述，用户与客户尽管在B2B场景中不是同一个人，然而有时候咱们能够透过服务好用户来进阶的影响客户决策。例如在Dataworks产品中，良好的一个编辑体验与产品流程能够减少用户的工作效率，并间接的影响客户对Dataworks产品的评估。
5. AB Test能够帮忙B2B产品渐进的来迭代产品
透过AB Test，咱们能够理解用户对新性能或新版本的反馈，进而增进产品进行优化与迭代。
尽管在B2B畛域中AB Test的老本相对来说高很多，但它的劣势却是无奈取代的！
怎么用正确的形式在B2B畛域中做AB Test？
这里总结了几个在B2B畛域中做AB Test的一些技巧。
1. 应该将重点放在大的变动上而不是小的细节中
为什么将重点放在大的变动上？一般来说，AB Test是一种统计学的试验形式，并且像其余的统计试验一样，它的可信度取决于样本数的多寡。什么叫做足够的样本数取决于以下三个因素：
- 根底转化率
- 欲达到的转化率晋升状况
- 信赖区间
个别状况下，咱们在做AB Test时会以95%来做为信赖区间，这也意味著有5%的状况会产生例外的状况。这也示意，当咱们有足够多的样本数时，例外产生的可能性也越低。
依据一份报告指出，若咱们心愿在2%的根底转化率下再减少10%，那咱们至多须要39488份样本数能力达到95%的信赖区间; 同样地，若咱们心愿在2%的根底转化率上再减少50%，则只须要1871个样本数就能达到95%信赖区间。这之间差了21倍的样本数。因而，越大的转化率晋升能够缩小所须要的样本数。
因为这些起因，B2B产品应该思考在一些大的扭转上进行AB Test，而不是一些小的改变，例如按钮的色彩变动、或是减少一段正文文字等。
例如上图，依据AB 测试，版本B的转化率晋升了整整1.07倍，像这样的测试基本上不须要太多的样本数就可能达到统计学上的意义。
2. 从个性化开始
「大的变动」的其中要害一点是从买家个性化订制开始。
少数的B2B网站应该为不同的买方提供一些个性化订制的维度。个别AB Test的变数考量能够从端客户、畛域别或是商业模式来著手。
举个例子，在某一个业余软件网站中便用了个性化试验。试验中他们应用考量了三个次要的畛域客户：医疗、教育与金融。在分桶上，有50%的用户调配到了个性化页面，另外50%的用户则维持原来规范的页面。最初试验发现：
- 透过个性化举荐的形式使业务增长了7%
- 个性化举荐的首页减少了30%的点击率
- 个性化举荐的页面减少了10%的PV
- 周期同比增加了4%的业绩
个性化订制的收益显而易见。
3. 用正确的工具做正确的事
在抉择工具时，咱们应该正视到一点，咱们做的是B2B业务而非B2C业务。若仍然依照B2C的形式来做测试
只会徒劳无功。
现今市面上许多的AB Test产品多半面向的是B2C的场景。尽管测试的办法与实践并无差别，但在试验变量与掂量试验后果的办法上却天差地别，造成这个状况的次要起因有：
- 试验样本数的差别
- 试验周期长短的差别
- 试验后果解读的差别
在B2B当中，因为天生的样本数劣势，导致咱们做起事来碍手碍脚的。为了补救短版，咱们应该抉择一个适合的工具，这个工具可能提供咱们适合的算法来解读试验后果，例如一些不须要大量样本数的统计学办法。另外，可能为B2B场景提供更多的试验变数。
结语
AB Test在B2B场景中尽管充斥挑战，但我认为仍有做的必要，因为它带来的效益是没有其余办法可能取代的。为了更舒服的在B2B场景中进行AB Test，咱们应该将重点放在大的变动上，使测试后果更具意义且节省成本开销，此外，咱们应该从个性化开始，为不同的客户「定制化」他的网页。最初，咱们应该选用正确的工具来进行AB Test。
原文链接
本文为阿里云原创内容，未经容许不得转载。