关于大数据:AB测试有哪些常见应用场景火山引擎DataTester科普

43次阅读

共计 973 个字符,预计需要花费 3 分钟才能阅读完成。

火山引擎 DataTester 不仅对外提供服务,也是字节跳动外部所利用的 A / B 试验平台,它基于先进的底层算法,提供迷信分流能力,提供智能的统计引擎,试验后果牢靠无效,助力业务决策。目前,已笼罩举荐、广告、搜寻、UI、产品性能等业务场景。

DataTester 提供从实验设计、试验创立、指标计算、统计分析到最终评估上线等贯通整个试验生命周期的服务。能够帮忙企业业务在疾速迭代的路上,大胆假如、小心求证。

在字节,A/ B 测试简直可能被利用到业务的所有方面。下述 3 类是十分典型的场景:

1. 产品优化类场景
这里的产品优化,次要是产品在界面设计、交互功能设计中,因为界面的排布、元素、色彩、字体等方面有有限的抉择,因而面对宏大的产品用户,哪个计划是最优计划,是没方法靠理性感知决定的,须要用量化的数据才更有说服力。

如抖音 App 中,某个页面按钮具体采纳圆形还是方形,是用黄色还是红色,都是要通过 DataTester 进行 AB 测试,能力决定最终的计划。

2. 经营类场景
经营类场景中,AB 测试次要有两个利用方向。一方面是比照不同的经营策略的设置在短期成果上的优劣,如在 App 中设置用户 7 日签到的处分策略,处分规定如何设置、处分数量如何设置,可能达到 DAU 晋升的成果最优,是要在 DataTester 中配置 AB 测试,能力实现最终的决策。

另一方面,也要通过长线的 AB 测试对经营策略做长期收益的考量。字节在诸多实际中发现,一些经营措施尽管短期为产品带来了用户数量的增益,但拉长时间轴来看,长期的用户留存成果低于天然流量的留存。那么从久远的 ROI 来看,此类措施并不是一个好的经营动作。而这种长期成果的监测,也是要通过 DataTester 的反转试验能力才可能监测到。

3. 举荐模型优化场景
信息流举荐在字节系产品中有比拟宽泛的利用场景。在这背地会利用到的是举荐算法模型,以及还会波及到深度学习等模型。这些模型因为变量很多,往往是牵一发而动全身的成果,具备很强的黑盒属性。在其中一个特色、一个轻微参数调整之后,整体模型所获取的用户反馈是否能取得预期指标,没有方法通过教训或者繁多的归因来判断。

此时只有通过 AB 试验,对不不同策略对产品外围指标的影响,能力验证新的策略在用户应用中所取得的的反馈。能够说举荐算法模型和 AB 试验是相伴相生的。

点击跳转火山引擎 A / B 测试 DataTester 官网理解更多

正文完
 0