关于大数据:火山引擎-DataTesterAB-实验如何应用在抖音的产品优化流程中

34次阅读

共计 1118 个字符,预计需要花费 3 分钟才能阅读完成。

更多技术交换、求职机会,欢送关注字节跳动数据平台微信公众号,回复【1】进入官网交换群

日前,在 WOT 寰球翻新技术大会上,火山引擎 DataTester 技术负责人韩云飞做了对于字节跳动 A/B 测试实际分享。

DataTester 是字节跳动外部利用多年的 A/B 试验平台,至今已承载了字节外部 500 余条业务线的 A/B 试验工作,累计发展的试验多达 150 万次。

字节跳动外部有着十分浓重的数据文化和试验文化。抖音、今日头条的名字都经由 A/B 测试确定,而 A/B 测试也被作为根底环节,嵌入在了字节外部产品研发的链路中。

通常来说,一个产品新性能的研发流程如下所示:

而字节外部的产品新性能研发流程则会在惯例的根底研发流程中,额定嵌入两个环节:埋点设计与 A/B 试验方案设计。

A/B 试验在字节,就像研发敲代码、产品写需要文档一样,是产品从构思、设计到上线全流程中不可或缺的一环。

举个例子,如果抖音团队心愿晋升产品的用户活跃度,打算通过给产品减少一个“熟人 Tab”的形式进行,那么整个的产品优化改变流程是什么样子的呢?

首先,从产品经理做 PRD 计划的时候开始,就会提供不止一种产品计划,包含用户门路计划、按钮地位计划等,不同的计划对于用户在抖音上的应用及留存数据,影响肯定是不同的。

多种计划的数据成果,将通过 A/B 测试进行量化。
下方的页面款式,就是“熟人 Tab”搁置的 3 种不同计划示例:
V0 组:不设置“熟人 Tab”,不呈现“熟人关注内容”,不呈现熟人投稿后展现
V1 组:设置“熟人 Tab”,呈现“熟人关注内容”,熟人投稿后展现在“关注 Tab”页
V2 组:设置“熟人 Tab”,不呈现“熟人关注内容”,熟人投稿后展现在“熟人 Tab”页

上述 3 组计划即为在 DataTester 中开启试验的 A/B 实验组。

因为抖音的用户体量大,如果粗率的决定某个产品设置可能会对整个生态有很大的影响,因而会首先开启小规模、小流量的多重 A/B 试验。

A/B 试验的目标,一方面要验证这个性能是否能无效达成初始设计指标,另一方面也要验证新性能是否对抖音大盘外围数据有正向影响,如是否能长期晋升用户活跃度以及投稿的志愿等。

在上述提到的例子中,DataTester 的试验结果显示 V2 组试验指标各项均更为优良,阐明新增“熟人 Tab”比照其余计划而言能对抖音价值有更为显著的晋升,那么后续在产品迭代中,会思考全量上线这个产品优化策略。

DataTester 而今也通过火山引擎对外开放服务,截止目前,已服务了包含美的、失去、凯叔讲故事等在内的上百家内部企业,为业务的提效、增长、产品迭代、经营流动等各个环节提供了迷信的决策依据,将成熟的“数据驱动增长”教训赋能给各行业。

点击跳转 火山引擎 A / B 测试 DataTester 理解更多

正文完
 0