共计 2630 个字符，预计需要花费 7 分钟才能阅读完成。
更多技术交换、求职机会，欢送关注字节跳动数据平台微信公众号，回复【1】进入官网交换群
在近期 CCF TF 第 123 期用户体验工程主题流动中，火山引擎 DataTester 产品经理联合字节跳动在产品优化方面的教训，围绕“数据驱动的试验文化”这一话题进行了分享。
用户体验优化的最终目标是为了实现商业价值，为了确保优化方向的正确，企业须要有办法对用户体验和用户价值进行评估。AB 测试是目前最简略牢靠的评估办法，它的根本的逻辑是通过控制变量，保障在同一时间、同一环境，只有产品性能有差别的状况下进行成果评估。AB 测试可能为每一次数字化体验的优化提供牢靠的决策依据，帮忙企业力求每次决策都带来正向收益，通过复利效应实现继续稳固的增长。
如何利用 AB 测试做好产品决策
字节跳动领有用户全生命周期的试验解决方案，可能从公域营销、私域经营以及产品优化三个场景帮忙企业应用 AB 测试实现用户体验的晋升。上面从四个案例分享字节跳动在产品优化过程中对 AB 测试的利用。
- 抖音 - 熟人社交的产品摸索
通过 AB 试验低危险地疾速试错，让团队「勇于创新、敢于摸索」。
在抖音弹幕性能上线前，抖音团队利用 AB 测试设计了一个试验。将没有弹幕的页面设置为对照组，将有弹幕无其余互动性能的页面和有弹幕有其余互动性能的页面别离设为实验组 1、2。
通过试验，抖音团队发现弹幕性能在保留了其余互动性能的时候能够在某些水平上晋升互动率，但与此同时，视频的浏览量和用户留存都有降落。即，弹幕性能不足以转化为长期的比较稳定的用户价值。因而，试验后抖音团队作出的决策是不上线此性能。
- 抖音 - 视频蒙层的设计优化
通过 AB 试验更低成本地验证多个计划，帮忙团队「精打细磨、找到最优」。
设计师在抖音应用过程中感觉到视觉疲劳显著，通过业余思考心愿通过调整视频蒙层参数调整优化视觉状态。
团队通过 DataTester 开启 AB 试验，将原有计划设为对照组，调整视频蒙层高度、透明度等参数的计划设为实验组。通过小流量试验发现，视频蒙层优化后，人均 App 应用时长和人均 App 沉闷天数都有显著回升。
- 懂车帝 -APP 晋升登录率的优化实际
懂车帝的指标是在不影响未登录用户应用体验的前提下，晋升登录率。通过定位问题、确定计划、开启 AB 试验，三个步骤抉择出最佳的计划进行迭代降级。实现登陆率的晋升，给用户提供更多的个性化服务。
- 客户案例：悟空租车如何晋升领取转化率
通过 AB 试验，帮忙团队缩小依赖“教训”进行决策。
为了晋升领取转化率，悟空租车为用户提供了免押金服务，但用户使用率不达预期，领取转化率也没有显著晋升。为了晋升领取转化率，产品团队将租金领取和押金领取进行了拆分。对原有计划和新计划开启 AB 试验，发现拆分后下单转化率晋升了 7%，实现了领取转化率的晋升。
试验驱动的产品迭代文化体系建设
除了具体的试验案例，企业团队要想利用 AB 测试实现持续增长，就波及到了企业试验文化的培养。组织、方法论与工具是 AB 测试驱动增长在全公司范畴内可继续运行的三大因素，三者独特形成了 AB 测试可继续利用金三角。字节外部试验文化的培养教训就能够从这三个因素层面进行总结。
AB 测试可继续利用：方法论
在方法论层面，企业须要步步为营的增长思路和试验理念联合，因而企业能够从拆解增长指标和迷信评估成果两个角度实现方法论的欠缺。
首先，企业须要拆解增长指标，将业务 OKR 转化为外围指标指标，通过设计试验、运行剖析试验和决策、继续迭代三步，一直迫近业务指标，选取最优策略。
其次，企业利用 AB 测试的方法论包含实现迷信评估成果。针对此，企业能够从四个方面实现：
- 搭建指标体系 ：基于公司业务 OEC 指标建设试验指标体系。
- 设立优化指标 ：拆解优化打算至子目标，包含评估指标和衡量标准。
- 治理试验成果 ：子目标跟试验外围指标深度关联，批量监控优化成果。
- 积攒决策教训 ：积淀试验教训，反对按指标晋升成果进行查找、学校和参考。
AB 测试可继续利用：组织
在组织层面，企业须要实现必选试验的需要迭代流程、保障试验施行运行的团队以及对立增长指标和决策逻辑的建设和欠缺。即能够总结为流程机制以及组织机制两方面建设。
流程机制：配套的需要迭代流程和上线机制
将 AB 试验流程融入惯例需要流程，简单决策进行 Launch Review。
组织机制：搭建 AB 测试接口团队，工具+服务双轨运行
企业须要搭建 AB 测试接口团队，对外部客户提供服务时，DataTester 须要将工具+服务的机制双轨推动给客户。也就是除了工具，火山引擎 DataTester 还提供陪跑服务和咨询服务帮忙企业运行好从实验设计到试验开发上线到决策的整个链路。同时企业还须要建设沟通渠道和考核规范，实现从业务的角度看问题，帮忙业务胜利。
AB 测试可继续利用：工具
在工具层面，火山引擎 DataTester 能够在实现科学性保障的同时帮忙企业实现降本提效。一方面，DataTester 能为企业提供牢靠的平台和数据。另一方面 DataTester 更贴近产品，易学易用，应用门槛低，且流程短，可能帮忙企业疾速开启实现 AB 试验，并实现后续的试验剖析和经验总结。
DataTester 的接入层
接入层是 AB 测试平台和业务服务端的会话的形式。通过 SDK 的形式能够和业务端的服务端、客户端，等触点进行通信。在 SDK 里封装了分流服务和这个数据上报和回收的性能，通过此性能，业务上的各个端能够通过 SDK 与平台进行失常的通信，实现申请求分流服务，上报数据等。
DataTester 的性能层
性能层是平台里所有人可见的性能，包含了从实验设计到配置公布整个流程治理和实验报告。其中，实验报告包含根底信息的展现指标减少趋势以及它统计散布的状况。此外，平台会针对试验给出较为全局的论断，并能够实现实时监控告警。
DataTester 的数据层
DataTester 领有开放平台的能力，可能与业务端其余平台进行对接，接入第三方的数据和埋点。实现在 DataTester 已有的 push 平台或 banner 位的资源管理平台里疾速开启 AB 试验。
据理解，火山引擎 DataTester 源自字节跳动长期积淀，2023 年中数据显示，字节已通过 DataTester 累计做过 240 万余次 AB 试验，日新增试验 4000 余个，同时运行试验 5 万余个。DataTester 目前服务了包含美的、华泰证券、博西家电、乐刻健身等在内的上百家企业，为业务的用户增长、转化、产品迭代、经营流动等各个环节提供迷信的决策依据，将成熟的“数据驱动增长”教训赋能给各行业。
点击跳转火山引擎 A / B 测试理解更多