关于大数据:火山引擎-DataTester-应用故事一个-AB-测试将产品-DAU-提升了数十万

49次阅读

共计 1444 个字符,预计需要花费 4 分钟才能阅读完成。

疫情让线下的需要大量转移到线上,催生出了近程办公、网络授课、线上健身等新的生态景象。如何更好地为用户服务,晋升用户体验,成为了诸多平台的一大课题。

明天的故事来自字节的一款 App,当它的倒退进入成熟期后,通过 A/B 测试等精细化数据分析晋升用户体验,实现 DAU(日沉闷用户数)增长数十万的故事。

在字节有一个专门保障用户使用性能体验的团队,他们在日常的数据察看中发现了一个景象:用户所应用的设施性能好坏,会影响到他们在产品应用中的活跃度。同时,他们在钻研中发现,这些根底性能体验的晋升,会缩短不同细分畛域的用户生命周期,最终晋升短视频产品的大盘 DAU。

为了进一步准确归因,这个团队应用专门为 A/B 试验打造的数据产品——DataTester,该产品是字节跳动外部利用多年的 A/B 试验平台,在 2020 年已通过火山引擎面向内部企业凋谢服务。

他们通过 DataTester 查看曾经取得正向收益的 A/B 试验,并对其中的每个性能指标和业务指标做线性剖析,尝试寻找会对业务指标造成影响的性能指标。

数据显示,字节每日有 3 万余个 A/B 试验在同时运行,而每一次渺小的产品改变,也都会通过 A/B 实验所得出的数据验证。

能够说小到按钮色彩和地位,大到举荐算法策略和规定,在字节都经验过 DataTester 的 A/B 试验成果验证。因而,该短视频产品也在 DataTester 中积攒了大量的试验记录。

当性能体验团队将 DataTester 中的历史试验进行演绎整顿后,他们发现有几个性能指标和产品的业务指标具备高度的相关性——当用户在刷短视频的过程中,遭逢到较多晦涩度、贮存占用、网络速度等问题,会间接的升高用户应用短视频产品的活跃度,而这个问题在设施性能较低的用户群体中更为显著和集中。

定位到问题后,性能体验团队开始有针对性地开启了产品策略的优化。他们集中优化了设施性能较低的用户,在关上产品启动速度和视频加载流畅性方面——启动速度:首刷视频加载工夫过长;流畅性:UI 动画和视频加载卡顿。

他们设计了优化后的产品状态,外围是将页面展现简洁化,并再次通过 DataTester 投放 A/B 试验,用以验证成果。

配合产品页面展现简洁化,也同时加重了一些特效、动效、快捷性能、附加组件等加载,综合性大幅晋升了该短视频 App 的启动速度和视频播放的晦涩度。从 DataTester 的试验后果上看,优化后的实验组计划在性能指标上有了大幅晋升,App 启动速度、播放晦涩度显著晋升,播放卡顿指标大幅降落。

而在业务指标的数据反馈中,用户生命周期、用户拜访时长等都有不同水平的正向收益。最终,本次的产品优化在 DataTester 中获得了晋升整个短视频 App 数十万日活的收益,超出预期。

从今日头条开始,字节的每款产品,在迭代中都离不开 A/B 测试。也正是因为 DataTester 在字节全业务线的深度遍及和利用,帮忙业务在每一个渺小决策的岔路口上,都做出了那个“更正确一点”的抉择。

DataTester 基于先进的底层算法,提供迷信分流能力和智能的统计引擎,反对多种简单的 A/B 试验类型。在利用和剖析场景上,DataTester 深度耦合举荐、广告、搜寻、UI、产品性能等多种业务场景需要,为业务增长、转化、产品迭代,策略优化,经营提效等各个环节提供迷信的决策依据,让业务真正做到数据驱动。

目前,DataTester 曾经服务了美的、失去、凯叔讲故事等在内的上百家标杆客户,将成熟的“数据驱动增长”教训赋能给各行业。

点击跳转火山引擎 A / B 测试 DataTester 官网理解详情

正文完
 0