更多技术交换、求职机会，欢送关注字节跳动数据平台微信公众号，回复【1】进入官网交换群
用户体验是决定互联网产品是否短暂生存的根底，每一个基于产品性能、应用、外观的渺小体验，都将极大关系到用户留存影响。
本文将讲述火山引擎 A/B 测试（DataTester）助力企业合作平台飞书进行用户体验优化的案例。
对飞书而言，用户体验旅程从关上产品页面的一瞬间就已开始，这里有一个非常重要的指标——页面秒开率，秒开率是指页面在一秒之内关上的比率。为了可能继续吸引用户，一款产品则至多须要在 1000 毫秒以内呈现出交互内容。
飞书为了晋升用户体验，对其各项性能的秒开率指标的优化下了大功夫，在这个过程中，火山引擎 DataTester 通过严格的变量管制，落地更精准的试验后果，帮忙研发团队间接佐证并明确了所选优化计划的收益。
影响秒开率其实有很多种因素，如代码冗余，插件连累…… 在其中，有一项重要的影响因素是“类加载”。类加载是指当页面被关上时，背地是调用的多个元素的代码，它们会经验验证、筹备、解析、初始化等环节后，能力被应用，这个流程是比拟消耗工夫的。
以飞书的一项性能“飞书妙记”加载为例，当飞书整体进行冷启动时，如果用户是首次关上飞书妙记界面，就会随同着靠近 1600 个类的大量加载，这对页面启动速度有着不可漠视的影响。
如何缩小如此高的类加载数量对秒开率的影响呢？飞书团队心愿尝试采纳的计划是：接入 SnapBoost 计划。
SnapBoost 计划的思路是让 app 可能提前对页面应用到的 ” 类 ” 进行加载，艰深来说，也就是在用户关上页面之前，将耗时较长的局部提前进行加载，当用户在关上页面的时候，这些代码省去了编译和解析的工夫，能够间接执行，使秒开率失去晋升。
那么 SnapBoost 计划是否能无效升高“飞书妙记”的加载工夫呢？飞书团队采纳了火山引擎 A/B 测试（DataTester）进行计划可行性的重要验证。
本次 A/B 试验三大指标：
- 类加载数量
- Activity 切换耗时：Activity 通常指一个独自的屏幕（页面），此指标指在不同页面之间的切换耗时。
- 可感知耗时：指用户操作相干动作 (点击播放、滑动卡片等) 到首帧渲染进去感知到的耗时。
优化前后收益验证：
火山引擎 DataTester 的试验后果，对 SnapBoost 计划的晋升性能假如给予了强有力的佐证，通过 SnapBoost 计划等一系列优化，飞书妙记的秒开率能够达成 37% 的优化晋升，目前该计划曾经胜利地进行了全量上线。
除了飞书妙记的秒开率晋升，飞书的视频会议等全线性能，其实都已在应用火山引擎 DataTester 进行 A/B 试验。DataTester 为飞书的产品性能迭代带来了明确收益佐证能力。
“DataTester 是联合 A/B 测试方法论最好的一个工具。”飞书的研发成员在采访时讲到。除了应用 DataTester，飞书团队也会通过灰度等形式来做比照试验。相比起灰度等试验形式，DataTester 的最大劣势在于更加严格的变量管制，试验创建者能够更直白地看清楚优化成果，在灰度的根底上，进一步晋升试验后果的说服力。
火山引擎 DataTester 目前已服务了美的、失去、凯叔讲故事等在内的上百家内部企业，反对了多种业务场景需要，为业务的用户增长、转化、产品迭代、经营流动等各个环节提供了迷信的决策依据，将成熟的“数据驱动增长”教训赋能给各行业。
点击跳转 火山引擎 A / B 测试 DataTester 理解更多