共计 1568 个字符，预计需要花费 4 分钟才能阅读完成。
DataTester 是火山引擎数智平台旗下产品，能基于先进的底层算法，提供迷信分流能力和智能的统计引擎，反对多种简单的 A/B 试验类型。DataTester 深度耦合举荐、广告、搜寻、UI、产品性能等多种业务场景需要，为业务增长、转化、产品迭代、策略优化、经营提效等各个环节提供迷信的决策依据，让业务真正做到数据驱动。
DataTester 通过抖音、今日头条等字节业务多年验证，截至 2022 年 8 月，已在字节跳动外部累计实现 150 万次 A/B 试验。此外也曾经服务了美的、失去、凯叔讲故事等在内多家标杆客户，将成熟的“数据驱动增长”教训赋能给各行业。
点击跳转 火山引擎 DataTester 官网 理解更多
运行 A/B 测试的过程可能十分艰难，如果做得不对，就会失去谬误的论断。在 A/B 试验过程中，以下是常见的 8 个谬误：
1. 产生 AA 相信否定分流服务 / 统计
- 利用 AA 试验来验证分流服务是否运行失常，但若产生 AA 相信，则确定是分流服务 / 数据统计出了问题么?
- 测验假如的过程中，咱们会犯第一类谬误 – 我的策略理论没有用，但试验结果显示有用。在 95% 的显著性程度下这类谬误呈现的概率是 5%，即开 100 次 AA 试验观测某个指标，可能会有 5 次失去显著的后果。这是因为不可避免的抽样误差所导致的。
- 假设检验正是利用「抽样误差」来帮忙咱们量化犯错的概率，并将其管制在 5% 以内的 (95% 显著性程度下)。
2. 疏忽适度曝光
- 适度曝光: 在开设试验时，大量并没有体验到试验版本性能的用户被计入到了试验指标的分母中，导致指标值被浓缩 (试验中波及的性能可能“入口较深”，用户关上利用后其实并没有进入到这一性能，但依然被算作了进组用户参加了指标计算)。
3. 每次试验必开多重比拟
- 以 ABCD 试验为例: 假如策略 A、B、C、D 间没有显著差别，咱们对 ABCD 两两比照，共计有 6 种组合，须要进行 6 次比照。6 次比照中只有有一次犯错，咱们的论断就算犯错，因而每个统计指标的犯错概率就变为了 1-(1-5%)^6=26.5%，远大于 5%。
- 假设检验在「多组择优」场景下，没法通知你谁更好，犯错危险也更大。
4. 为了显著而显著
- 关注过多无关紧要的指标，只有一个指标显著，即认为策略无效。如果咱们在试验中观测过多指标，泛滥无关紧要的指标中，碰巧呈现显著是很失常的状况。实验者很可能被这种显著误导。
- 对外围指标进行多维度下钻，指标在某一维度上出现显著，即认为策略无效。
5. 试验显著就立即进行试验
- 试验没有显著差别的试验，在试验初期进行观测，指标也很有可能呈现显著，这种状况被称为假阳性。
6. 试验不显著就不进行试验
- A/B 试验中，无论 A 策略与 B 策略如许相像，他们终归是不一样的。实践上来说，只有样本足够多 (比方无穷多时)，实验组和对照组策略的任何一点差别都会以致试验后果造成统计显著。
- 咱们在试验中，应该听从实验设计，如果试验曾经在预期运行周期内达到所需的样本量，但指标指标变动依然不显著，那这个试验没有必要持续运行了，进行试验换个方向持续尝试。
7. 认为策略上线后晋升值应与试验雷同
- 假如我当初开了一个试验来优化商品页面的用户购买率，其中采纳了新策略 B 的实验组，购买率晋升了为 3%，且论断相信，这是不是代表我的策略 B 上线之后，该商品页面的购买率就肯定能晋升 3% 呢? 显然不是。如果你想晓得新策略上线后，指标可能产生的变动状况能够参考置信区间
8. 齐全地为数据至上
- 提倡用数据谈话，不主观臆断，在评估试验时不仅要看指标的晋升量，还要联合置信度来判断数据的牢靠水平。
- 局部状况下，数据仅能传播给咱们全面的信息，还须要咱们基于数据背地的事实进行因果推断，以保证数据论据与要证实的论点之间是具备正当的因果关系的，这样数据才是咱们论证观点的无效利器。
- 在试验中，咱们须要依据本身的业务判断，正当设计试验，明确预期: 当 A/B 试验后果违反咱们的业务直觉时，该当放弃狐疑。
正文完
