幸福里APP是抖音团体旗下开发经营的集内容、社区、工具于一体的房产信息综合平台，基于个性化举荐引擎向用户举荐优质的房产内容房源信息。本文将介绍幸福里APP利用火山引擎A/B测试DataTester实现产品体验优化，并解决试验流量适度曝光的案例。
幸福里APP在整顿用户反馈时，发现了一个产品应用体验上的问题：用户在浏览房源详情页时，有时会遇到「切换头图」卡顿的状况。而对于房产APP的业务发展而言，尤其在新房、租房和二手房售卖业务上，APP详情页的头图展现是重中之重，C端的应用用户个别都会通过查看头图的图片、视频等内容，来对屋宇状况进行预览，进而决定是否要持续进行征询等操作。
针对「切换头图」卡顿的问题，幸福里APP决定新增一项技术优化：在展现头图图片时，将事后下载下一张图片，防止用户滑动时再开始下载，导致图片展现提早；该项优化将通过火山引擎DataTester开启A/B试验，与优化前的版本进行比照，观测技术优化上线后的成果。
优化方向确认后，幸福里APP还有一个问题须要解决。因为APP详情页头图的地位入口绝对较深，须要屡次点击和跳转，针对比拟深的入口开启A/B试验，有一个A/B试验的“坑”——试验流量适度曝光(Over Exposure)须要避开。试验流量适度曝光是指在开设试验时，因为试验入口地位较深，可能导致大量并没有体验到试验版本性能的用户被计入到了试验指标的分母中，导致指标值被浓缩的状况叫做试验适度曝光。
幸福里APP在这里接入了DataTester SDK试验设置精准曝光，将“用户在进入新房、租房、小区、户型详情页时”设置为用户进组机会，达到对用户进组机会的准确把控。
火山引擎DataTester设有专门能力应答A/B试验适度曝光的场景，通过 SDK 开启试验的客户端，同样会在用户启动时从DataTester平台获取试验参数。然而在用户触达试验时，SDK 会以上报 vid 的形式向DateTester平台进行确认，DataTester收到确认后才会将该用户理论纳入最终指标的计算，从而从试验流量中过滤掉了没有理论触达试验的用户。
接下来，幸福里APP的A/B试验的技术优化计划是：
- 在展现头图图片时，事后下载下一张图片，防止滑动后再下载导致图片展现提早
- 在显示一个图片时，先判断该图片是否下载胜利优化
对照组为线上原有计划，实验组为技术优化计划，各赋予50%流量，在用户进入新房、租房、小区、户型详情页时触发试验曝光。
最终，DataTester的A/B试验结果显示，产品数据的晋升超出了幸福里APP在实验设计时的预期。在优化计划上线后，用户看到头图的工夫均匀会缩短一半，幸福里房源曝光和点击、APP应用时长、用户留存及沉闷天数，各项外围指标均有显著晋升。幸福里研发人员在采访时说：“自身是一个小的技术优化，预期是晋升用户体验，缩小用户看见图片的等待时间，最终发现头图加载的优化也对大盘带来了正向的收益”。
依据这个计划的收益状况，幸福里也将此项技术优化推广进入了幸福里所有的业务线，同时也退出了产品的根底组件中。在最初，幸福里研发人员也分享了一些利用火山引擎DataTester开A/B试验的心得和领会：
- 开试验前要明确试验类型、试验受众、曝光机会、技术指标统计口径等，防止试验不达预期要重开。
- 试验指标数据不达预期时不要急，能够看看MDE值，拆维度（城市、新老用户、零碎等）剖析，可能会有意想不到的播种。
DataTester是火山引擎数智平台旗下产品，可能深度耦合举荐、广告、搜寻、UI、产品性能等多种行业场景需要，为业务增长、转化、产品迭代，经营提效等各环节提供迷信的决策依据，让业务真正做到数据驱动。目前，火山引擎DataTester曾经服务了美的、失去、凯叔讲故事等在内的上百家标杆客户，将成熟的 " 数据驱动增长 " 教训赋能给各行业。