火山引擎 DataTester 不仅对外提供服务，也是字节跳动外部所利用的 A / B 试验平台，它基于先进的底层算法，提供迷信分流能力，提供智能的统计引擎，试验后果牢靠无效，助力业务决策。目前，已笼罩举荐、广告、搜寻、UI、产品性能等业务场景。
DataTester 提供从实验设计、试验创立、指标计算、统计分析到最终评估上线等贯通整个试验生命周期的服务。能够帮忙企业业务在疾速迭代的路上，大胆假如、小心求证。
在字节，A/ B 测试简直可能被利用到业务的所有方面。下述 3 类是十分典型的场景：
1. 产品优化类场景
这里的产品优化，次要是产品在界面设计、交互功能设计中，因为界面的排布、元素、色彩、字体等方面有有限的抉择，因而面对宏大的产品用户，哪个计划是最优计划，是没方法靠理性感知决定的，须要用量化的数据才更有说服力。
如抖音 App 中，某个页面按钮具体采纳圆形还是方形，是用黄色还是红色，都是要通过 DataTester 进行 AB 测试，能力决定最终的计划。
2. 经营类场景
经营类场景中，AB 测试次要有两个利用方向。一方面是比照不同的经营策略的设置在短期成果上的优劣，如在 App 中设置用户 7 日签到的处分策略，处分规定如何设置、处分数量如何设置，可能达到 DAU 晋升的成果最优，是要在 DataTester 中配置 AB 测试，能力实现最终的决策。
另一方面，也要通过长线的 AB 测试对经营策略做长期收益的考量。字节在诸多实际中发现，一些经营措施尽管短期为产品带来了用户数量的增益，但拉长时间轴来看，长期的用户留存成果低于天然流量的留存。那么从久远的 ROI 来看，此类措施并不是一个好的经营动作。而这种长期成果的监测，也是要通过 DataTester 的反转试验能力才可能监测到。
3. 举荐模型优化场景
信息流举荐在字节系产品中有比拟宽泛的利用场景。在这背地会利用到的是举荐算法模型，以及还会波及到深度学习等模型。这些模型因为变量很多，往往是牵一发而动全身的成果，具备很强的黑盒属性。在其中一个特色、一个轻微参数调整之后，整体模型所获取的用户反馈是否能取得预期指标，没有方法通过教训或者繁多的归因来判断。
此时只有通过 AB 试验，对不不同策略对产品外围指标的影响，能力验证新的策略在用户应用中所取得的的反馈。能够说举荐算法模型和 AB 试验是相伴相生的。
点击跳转火山引擎 A / B 测试 DataTester 官网理解更多