更多技术交换、求职机会，欢送关注字节跳动数据平台微信公众号，回复【1】进入官网交换群
A/B 测试是在雷同的环境下，通过随机的抽样把对照组和控制组进行辨别，并别离履行新旧两种策略，联合肯定的统计办法来管制随机抽样中带来的随机误差，得出两种策略的比照状况，从而能够精确的对新策略成果进行评估。
A/B 测试具备小流量、低危险、抗干扰的特点，随机控制变量并对后果进行量化，以达到精确的评估成果，具备科学性和严谨性。目前 A/B 测试能够通过一些试验平台来进行大规模利用，通过统计策略的评估办法进行因果推断的新规范。
字节跳动的 A/B 测试平台叫做 DataTester，这个平台在字节外部曾经服务了 500 + 多条业务线，在线上开的试验总量超过了 150 万个，同时线上运行的试验数有 3 万多个个，并且这些数字仍在继续上涨中。
在字节，A/B 测试是业务决策的根底性能，任何产品上线前都须要做小流量的验证。所有的团队偏向于把产生的每一个新想法都拿去做假如，用一个又一个 A/B 测试去一直验证，甚至是颠覆修改，继续的进行迭代，最终推动业务的增长。小到一条站外推送的音讯，大到整个技术底层架构的优化批改，都会做 A/B 测试。
在字节，A/B 测试被利用最宽泛的是内容举荐、营销流动、经营策略、产品性能以及技术优化这几个方面。“万物皆可 A/B”是字节的理念，甚至是抖音和西瓜视频这两个产品的取名，都和 A/B 测试无关。
字节跳动的 A/B 试验平台长什么样？
DataTester 目前曾经正式通过火山引擎对外服务，它基于先进的底层算法，提供迷信分流能力，提供智能的统计引擎，试验后果牢靠无效，助力业务决策。通过火山引擎对外公布的 DataTester，无论对字节外部还是对外，都应用一样的产研团队和技术计划，其根底性能大致相同。
惟一不同的是因为内外部服务的客户不同存在的一些渺小差别。例如对外减少了许多场景化的监控模板，而外部则可能有更多绝对高级的性能。
因为 A/B 测试的整个零碎除了在数据链路上有一些数据产品常见的特色之外，它与业务零碎也有更多的连贯。一站式全栈多场景试验平台的 DataTester 框架整体分成了 5 层。
在应用层，DataTester 服务的行业十分宽泛，除了互联网行业之外，还包含金融、消费品、批发行业、汽车行业，包含泛互联网行业外面的一些细分的子畛域。这些客户在日常很多的工作场景中都是能够做 A/B 测试的。
这些场景形象下来次要包含广告优化、落地页营销流动优化和用户 push 流程、画布触达优化的试验。上面 4 层是 DataTester 怎么去和应用层进行接入来提供服务的。在接入层和会话层。通过 DataTester 的分流服务来聚合客户或外部业务的各种线上触点来进行对接，包含但不限于服务端，客户端，甚至是一些小程序和其余广告投放触点的接入。
内部的次要接入形式是通过 SDK 来进行接入，接入 SDK 的同时也会买通数据上报和数据采集的流程。同时 DataTester 也会通过分流服务，把分流的后果要下发到相应的配置，最初返回给这些利用的服务端或客户端，实现一个接入的过程。最两头也是 DataTester 最重要的一个性能层。
能够划分为三大模块，一大模块是试验治理的相干的模块，包含试验管控、从试验的波及到公布的全流程，还包含了试验的报告，实验报告外面也包含了十分丰盛的剖析性能，以及相干的试验的工具。
这是 DataTester 最根底的一个局部。第二块是智能公布（Feature Flag），DataTester 怎么去失效不同的策略，便捷地做试验的配置、失效和公布。第三块是场景化的利用，包含了一些智能化的利用，DataTester 其次要的性能层也是在这一块。
最初的数据层，DataTester 除了 SDK 的采集之外，还反对数据集成的能力，包含但不限于有客户端的用户行为、服务端的埋点，以及一些业务的第三方数据。同时 DataTester 也会产出一个用户进组的信息，来把业务的数据和用户进组的数据链接在一起来，去计算适应的指标。
目前，在内部客户的服务上，DataTester 已笼罩举荐、广告、搜寻、UI、产品性能等业务场景，提供从实验设计、试验创立、指标计算、统计分析到最终评估上线等贯通整个试验生命周期的服务。
来自失去、美的、凯叔讲故事 APP 等企业客户，曾经通过火山引擎 DataTeser 开启了用数据驱动科学决策的路线。
点击跳转 火山引擎 A / B 测试 DataTester 理解更多