关于大数据:火山引擎-DataTester-上线全新-MAB-智能调优实验

2次阅读

共计 1265 个字符,预计需要花费 4 分钟才能阅读完成。

更多技术交换、求职机会,欢送关注字节跳动数据平台微信公众号,回复【1】进入官网交换群

近期 DataTester 上线了 MAB 智能调优试验性能,心愿通过智能化、自动化的 A/B 试验模式,帮忙业务团队实现收益最大化

在 A/B 试验平台的研发路线上,火山引擎 DataTester 走在业内前沿,在惯例的 A/B 试验之外,始终在摸索实际智能试验。此次新性能 MAB 智能调优试验 (Multi-Armed Bandit),是一种能依据以后试验数据体现,来智能调整试验内不同实验组的流量比例调配的试验类型。

传统 A/B 试验依赖于统计显著性的经典假设检验,为对照版本和试验版本调配相应的流量,但在试验期间不可能变更每个子版本的流量。因而这类试验须要专门的预留周期(至多 7 天),必须有足够的样本进入试验,并且在试验开始后不能有任何变动,能力得出显著后果。而火山引擎 DataTester 的 MAB 智能调优试验,克服了传统 A/B 试验的上述限度,在如下几个场景上有非凡的利用劣势。

在冷启动、流量少的场景下,MAB 试验也能施展 A/B 试验的劣势点。 对于初创公司,或在产品、流动冷启动期间,面临的一大问题是没有足够的流量进行试验。但因为 MAB 试验会基于当下指标的体现动静进行流量调配,所以可能在总流量不多的状况下,通过 A/B 试验的模式将收益最大化。

有了 DataTester 的 MAB 试验,短周期的流动也一样能够依附 A/B 试验进行优化了。 流动经营有很大一部分是持续时间较短的流动,例如很多电商流动的继续周期只有 1-3 天,如果受限于传统 A/B 试验的限度,仅试验流量就要跑 7 天以上能力失去显著性的成绩,无奈利用在短周期流动中。而 DataTester 的 MAB 试验,因为试验外围指标是整个流动收益最大化,而非帮忙用户找到数据最优组,因而对试验时限无要求,短周期流动也能够用 A/B 试验优化。

在促成高价值流量转化方面,MAB 智能调优试验能够起到减速作用。 对于一些高客单价的大额商品,如汽车、钻石等,每一个转化机会的老本都很高。如果采纳传统的 A/B 试验,在取得统计上显著计划的过程中,会错失一部分的后期试验流量,但 MAB 试验可能在过程中依据实时数据进行动静调优,缩小试验过程中的转化机会损失。

此外,一些特定场景下,如波及到 App 文案题目、缩略图、视频内容等的 A/B 试验优化测试,它们须要在短的窗口期内取得最大点击量,却受限于传统 A/B 试验实时性较弱,难以利用优化。而 MAB 能够在短周期内即可查问各版本的转化成果,火山引擎 DataTester 目前能够实现每半小时,即可获取更新数据反馈。

DataTester 是火山引擎数智平台旗下产品,可能深度耦合举荐、广告、搜寻、UI、产品性能等多种行业场景需要,为业务增长、转化、产品迭代,经营提效等各环节提供迷信的决策依据。

目前,DataTester 推出了 30 天收费试用的流动,在理解了 MAB 智能调优试验的利用场景后,如果你感兴趣,能够返回火山引擎 A/B 测试官网进行申请试用,无需企业认证,一键申请即刻开明!

点击跳转 火山引擎 A / B 测试 DataTester 理解更多

正文完
 0