618 邻近，各大电商 APP 的预热流动未然拉开序幕。对企业而言，一场流动从策动到上线，两头通过成果验证，其业务老本很高。一个好的流动创意从策动、开发、到最终公布，至多会经验几周实际，如果两头还经验 A / B 试验的小流量成果验证，会更加耗时耗力。但一个不容忽视的现状是，很多短期的线上流动很可能前几次的 A / B 试验后果都是不显著的，但因为流动排期紧凑、试验调试工夫短，惯例 A / B 试验能为流动优化带来的收益常会收效甚微。企业在短周期的流动经营场景中，如何通过疾速、低成本的 A / B 试验，取得更好的收益呢？火山引擎 A / B 测试 DataTester 推出的新性能——MAB 智能调优试验，能够解决企业短周期流动经营场景的 A / B 试验痛点。传统 A / B 试验依赖于统计显著性的经典假设检验，在试验期间不可能变更每个子版本的流量；因而这类试验须要至多 7 天的专门预留周期、要有足够的样本进入试验，并且在试验开始后不能有任何变动，才可能得出显著后果。而不同于传统的 A / B 试验，DataTester 的 MAB 智能调优试验能反对 1 - 2 天的短期疾速 A / B 试验，试验以整个流动收益最优为外围指标，可实现动静实时的流量调节。
以某款游戏 APP 促活流动试验为例，该 APP 接入了火山引擎 DataTester，心愿验证多文案 push 场景下，MAB 智能调优策略能比平均分流的策略带来点击率更高的收益。该 APP 的经营团队首先拟定了 4 款不同的推送文案：题目 1: 巨量元宝限量发！！！内容 1: 宝箱已满，整整 300 颗元宝待领 \n 马上点击取得 >> 题目 2:@你，有人偷偷给你送元宝啦😊内容 2: 整整 300 颗元宝待领 \n 马上点击取得 >> 题目 3: 收费的元宝福利到啦～～🎁内容 3: 最高可取得 540 颗元宝，还不连忙来支付👉👉> 题目 4: 明天的元宝处分来啦～～～内容 4: 元宝曾经溢出来了！\n 点击支付能力持续收集哦 >> 在实验设计时，他们将整个试验层的流量（100%）均分为两组，试验总时长和流动时长统一，设为 5 天。对照组给 50% 流量，并在对照组流量中开设一个 ABCD 试验。将流量等分为 4 份，别离分给上述 4 个文案。实验组同样给 50% 流量，对实验组进行 MAB 智能调优试验。在为期 5 天的试验完结后，能够看到对照组和实验组的 5 日累计指标数据，发现基于 DataTester MAB 智能调优试验进行流量调配的实验组，在总体点击率上取得 +9.1% 的正向收益，且增长显著（p value=0.002）。
通过上述案例能够发现，在两组试验中，理论观测的点击率（CTR）最高的文案并不太一样。这意味着，受推送公布工夫、用户心理等多种不确定影响因素影响，假如以对照组策略（固定平均分流试验）作为先导试验来抉择文案，最终取得的试验论断并不见得牢靠。而如果采纳 MAB 智能调优试验，企业只需接入 DataTester 并启动所有的题目文案，DataTester 会采纳智能优化能力来进行流量的实时的调整和调配，企业的转化效率均匀可晋升 10% 以上。而除去推送文案试验场景之外，有多种营销流动场景，如落地页择优、折扣策略择优等，也都能通过 DataTester MAB 智能调优试验实时开启。DataTester 是火山引擎数智平台旗下产品，可能深度耦合举荐、广告、搜寻、UI、产品性能等多种行业场景需要，为业务增长、转化、产品迭代，经营提效等各环节提供迷信的决策依据，目前已服务了美的、失去、凯叔讲故事等在内的上百家内部企业。据理解，火山引擎 DataTester 目前推出了 30 天收费试用的流动，用户只有在火山引擎 A / B 测试官网申请试用，无需企业认证，一键申请即刻开明！