更多技术交换、求职机会，欢送关注字节跳动数据平台微信公众号，回复【1】进入官网交换群
数字技术的倒退让智能电视普及率大幅晋升，2023 年智能电视的市场渗透率已超 90%，与智能电视相匹配的各类利用 APP 性能也更加丰盛。本文介绍面向智能电视及机顶盒的互联网电视利用——鲜时光 APP 的改版案例。鲜时光引入智能化内容举荐技术，并利用火山引擎 AB 测试 DataTester 优化 APP 频道计划，为用户打造极致的家庭电视观看体验。
旧版鲜时光界面
在旧版鲜时光界面中，设有“看大片”、“纪录片”、“动画片”3 个长视频频道，产品从梳理的用户调研内容中发现，APP 中没有间接的频道可能对至“电影”、“电视剧”、“综艺”类节目，观众查找内容门路简单；此外，目前“看大片”频道以人工经营模式为主，内容散发效率较低，观众不容易发现想看的视频。
鲜时光团队心愿引入智能化举荐技术、设计全新的频道计划，并通过火山引擎 AB 测试进行策略验证。他们推出了 3 组新频道策略，新增了“电影”、“电视剧”等 5 个长视频频道，并设置了“人工配置”、“智能举荐”两种形式；到底哪组策略线上的观众应用体验更好，鲜时光要通过 AB 试验的数据来进行判断。
AB 试验频道计划
对照组：与当火线上统一，不扭转频道策略
AB 实验组 1：保留当火线上频道，并新增 3 个长视频频道，展示内容以经营人工配置为主
AB 实验组 2：去掉当火线上频道，但保留“看大片”频道，应用 6 个长视频、展示内容以举荐为主的频道
AB 实验组 3：去掉当火线上频道，且不保留“看大片”频道，应用 5 个长视频、展示内容以举荐为主的频道
在试验上线后，他们在火山引擎 DataTester 中实时观测各实验组的数据，理解产品的各项外围指标是否趋于优化。
在 AB 试验计划施行时，鲜时光团队还对新用户、老用户进行了隔离试验。因为对于老用户来讲，曾经相熟了“看大片”频道，在原有的影响因素下来测试新的策略，可能影响老用户的应用习惯，从而影响 AB 测试的外围指标。对新用户而言，自身没有原有应用习惯在，试验数据体现上可能和老用户有所区别。因而鲜时光团队设计的 4 组试验，针对“新用户”、“老用户”两类人群辨别发展。
从 AB 实验报告中，产品团队解读到如下论断：大盘生产数据方面，相比“经营为主”的频道内容展示形式，“举荐为主”的展示形式在频道生产方面有显著收益，“实验组 2”、“实验组 3”的长视频生产时长均显著增长；人均生产时长上涨次要来源于长视频生产；新增频道生产收益总体大于“看大片”频道下线的置换损失。
他们发现以举荐为主的电影电视剧频道上线带动了产品整体大盘数据的显著晋升，同时非长视频生产指标均无负向影响；其中，举荐为主的频道视频散发还带来了 LT（用户生命周期）上的减少，特地是新用户组多日留存均呈显著正向，且收益继续扩充未收敛。
在这次 AB 试验后果的根底上，鲜时光团队持续针对“实验组 2”和“实验组 3”进行了二期试验，次要为了判断新增“电影”、“电视剧”举荐频道后，“看大片”频道是否仍需保留。二期 AB 试验数据显示，“实验组 3”的大盘数据显著优于“实验组 2”的大盘数据，即“看大片”频道下线后，产品大盘数据无负向稳定。
基于上述论断，鲜时光 APP 确定了频道改版的计划：引入 5 个以举荐策略主导的新频道，并下线“看大片”频道。在新策略上线后，数据显示用户在鲜时光 APP 中的应用时长及应用体验均有显著晋升。整体改版过程中，DataTester 帮忙产品团队高效、迷信地实现了决策。
火山引擎 DataTester 源自字节跳动长期积淀，截至 2023 年 6 月，字节已通过 DataTester 累计做过 240 万余次 AB 试验，日新增试验 4000 余个，同时运行试验 5 万余个。DataTester 目前服务了包含美的、失去、凯叔讲故事等在内的上百家企业，为业务的用户增长、转化、产品迭代、经营流动等各个环节提供迷信的决策依据，将成熟的“数据驱动增长”教训赋能给各行业。
点击跳转火山引擎 A / B 测试理解更多