共计 1314 个字符，预计需要花费 4 分钟才能阅读完成。
更多技术交换、求职机会，欢送关注字节跳动数据平台微信公众号，回复【1】进入官网交换群
A/B 测试产品能够说是企业科学决策的根底“设施”，可能帮忙企业疾速迭代产品。
在字节跳动，每一个产品性能上线前，都会先在火山引擎 A/B 测试产品 DataTester 上进行小流量验证，联合业务逻辑对后果的剖析了解策略失效过程，而后再对计划进行修改、尝试翻新，推动整个产品和业务的继续迭代。
抖音上，晚期有一个性能“弹幕”性能构想，目标是强化熟人社交的互动性，产品团队心愿围绕熟人社交进行性能拓展，以激励用户多看视频、多发作品。
产品团队借鉴长视频的弹幕性能提出了一个想法——在抖音短视频中减少弹幕互动的性能，当用户观看熟人（好友）的短视频作品时，该视频的相干评论通过弹幕的模式展现，让用户有更多的互动机会并感触互动的高兴。
这个功能设计初衷是很好的，但它对于产品所带来的影响是正向还是负向，须要通过 A/B 试验进行评估验证。DataTester 就帮忙团队疾速试错，防止了不适合的性能上线后为产品带来的负向影响。
如图所示，该团队在 DataTester 中设计了这样一个试验：
- 图一是对照组，产品界面维持抖音原样，没有弹幕性能。
- 图二是实验组 1，因为弹幕性能对抖音而言是大型改变，会间接影响产品主界面布局，所以产品团队在实验组 1 中做了一个激进的尝试，他们将视频的文字描述区域全副去掉，替换为弹幕互动性能；与此同时，为了界面的好看简洁，将抖音右侧本来的互动区支出了“更多”的按钮中。
- 图三是实验组 2，为了缩小产品改变过大对用户带来的不确定影响，这个版本的产品设计保留了产品原有的互动等其它性能。
从 DataTester 的试验后果数据看，两个实验组的互动率的确有着显著晋升，达到了功能设计时“晋升互动率”的初衷。但察看新计划对抖音大盘外围指标影响时发现，这个性能对抖音整体视频的浏览量、用户投稿率、用户整体留存率均有负向影响，上述指标均呈现了不同水平的降落。A/B 试验清晰地表明，这个性能尽管能晋升抖音的互动率，但却不利于用户的整体应用与留存。因而这个看上去很好的改变并未在抖音全量上线。
之后，抖音围绕弹幕类的产品优化摸索并未进行，通过更屡次的假如与 A/B 试验验证，这个性能起初退出了抖音的集体页地位中。当它被放在了失当的地位，也能为产品的指标带来正向的晋升。从这个案例中也能够看到，DataTester 起到了帮忙业务实现科学决策的能力，业务可能大胆翻新的同时，也能迷信验证每次翻新是否真正无效。
像这样的 A/B 试验，在字节跳动曾经开启了 150 多万次，每天都有 2000 多个新的试验上线，在 DataTester 上同时运行的试验有 3 万多个。作为字节跳动外部应用多年的 A/B 测试平台，DataTester 有反对多种简单 A/B 试验的能力和迷信的分流能力。
它可能深度耦合举荐、广告、搜寻、UI、产品性能等多种业务场景需要，为业务增长、转化、产品迭代，策略优化，经营提效等各个环节提供迷信的决策依据。
目前，火山引擎 DataTester 曾经对外服务了美的、失去、凯叔讲故事等在内的上百家标杆客户，将成熟的 ” 数据驱动增长 ” 教训赋能给各行业。
点击跳转 火山引擎 A / B 测试 DataTester 理解更多