更多技术交换、求职机会，欢送关注字节跳动数据平台微信公众号，回复【1】进入官网交换群
随着国内游戏用户数量趋于饱和，中国游戏产业也从高速成长期逐步转型，市场成熟度晋升，竞争趋于精细化。
随着游戏出海以及私域流量经营的挑战，游戏企业对数据分析的应用需要和依赖度进一步提高。而在游戏研发立项、验证、开发、测试、上线和经营等阶段 A/B 测试均能施展重要作用。
本文讲述一个通过 A/B 测试取得“数据驱动增长”能力的游戏产品故事。并介绍在游戏的研发推广的全流程中，A/B 测试都能利用于哪些场景。
疾速试错，A/B 测试打磨爆款游戏
游戏行业倒退至今，先后经验了主机游戏时代、网页游戏时代、移动游戏时代等多个阶段，现在移动游戏支出占国内游戏支出的 7 成以上，许多传统游戏公司正面临着转型压力。
而随着游戏技术的日趋成熟，少量新兴公司涌入该行业，进一步加剧了竞争压力。游戏研发流程大抵分为立项、验证、开发、测试、上线筹备和经营六个阶段，每个阶段往往都随同着许多批改。
批改的成果如何？对于外围指标是否会有负面的影响？传统的思路，是将新个性上线后验证成果，但这也往往存在上线周期长，过分依赖教训，影响面广等问题。A/B 测试可能完满地解决上述痛点。
它通过在线上流量中取出一小部分，齐全随机地分给原策略 A（对照组）和新策略 B（实验组），再联合迷信的统计办法，失去对于两种策略绝对成果的精确预计。A/B 测试应用线上小流量即可验证成果，并可能无效地掂量不同策略的收益。
“ 全民弹弹弹 ” 的 A/B 测试故事
在发行时曾荣获“年度最佳休闲游戏”大奖的《全民弹弹弹》，是超休闲游戏类的爆款产品代表。它是一款操作简略、极易上手的球跳塔类休闲游戏，玩家既能够让弹球一层一层地击穿黑白砖块，享受纯正的弹射快感，也能够解锁更多未知的球球，体验合成的养成乐趣。
在这款游戏研发和推广过程中，借鉴了字节跳动的增长教训，接入了字节自研出品的 A/B 测试产品——火山引擎 DataTester，对游戏的多个环节进行了 A/B 测试。
在《全民弹弹弹》的游戏经营环节，为验证游戏首页对玩家留存和广告数据的影响，设计了两款首页计划通过 A/B 测试进行玩家留存数据的比照：跳塔页（左图）、合成页面（右图）。
通过在 DataTester 中运行 2 周的试验测试，结果显示，首页为合成页（右图）的页面在用户 3 日留存、用户 7 日留存以及广告成果等外围指标中，均显著优于对照组跳塔页（左图）的计划。在 A/B 测试的数据后果撑持下，《全民弹弹弹》最终全量上线了合成页面的计划，并获得了优异的成果。
一款游戏从研发到打磨，再到上线后的一直调优，全链路均可通过 A/B 测试晋升效率和决策准确度。除上述场景外，DataTester 还能在游戏产品中，利用于以下场景：
1. 验证老手疏导改变，老手工作难度调整，初始资源调整等
2. 验证关卡难度、配备爆率、宝箱中奖率调整等影响游戏体验的的改变
3. 验证商城界面，积分零碎，公告栏、banner、按钮、图标等功能性区域的改变
4. 验证匹配零碎、好友零碎、聊天零碎等社交性功能改变
5. 验证游戏 IP、NPC、游戏场景、剧情的改变
试验分层，可有限拓展试验流量
在游戏内测阶段，经常会遇到须要多个 A/B 测试并行的场景：
小 A 要验证新的武器零碎，须要 50% 的流量验证；小 B 批改商城界面，也须要 50% 的流量；小 C 对老手工作进行了欠缺，同样须要 50% 的流量验证。此时同时进行 3 个试验，须要 150% 的流量。
线上流量不够用，只能对试验进行优先级排序，让几个试验先后进行，但这会导致效率低下。
火山引擎 A/B 测试 DataTester 流量分层技术，将总体流量复制“无数遍”，造成”无数个”流量层。流量层两两之间互相正交，再加之运行在雷同层的试验流量互斥，从而保障同时运行多个试验不会相互烦扰。
试验分层技术能够无效的解决线上流量有余的状况，尤其是在游戏内测阶段，这个阶段往往获取用户难度较大。须要通过公布内测工作，小规模买量等形式取得游戏玩家，流量获取老本高。
而这个阶段既须要验证游戏的性能、兼容性，又要对游戏的玩法、关卡设置、故事剧情、营收模型等进行调整。
如果内测工夫过长，不仅须要继续的买量投入，也会导致游戏上线节奏被拖慢，甚至可能错过市场热点。通过 DataTester 试验流量分层技术，突破流量限度，大大缩短游戏验证工夫，疾速上线迭代。
3 大试验场景，进步游戏推广效率
除了传统的客户端、服务端 A/B 测试以外，火山引擎 DataTester 还设有 3 大针对非凡场景的 A/B 测试能力，能够大幅晋升游戏在广告投放、信息推送等场景下的效率。
- 推送试验：通过对推送告诉的题目、内容、点击动作等进行测试，找出成果最优的计划。DataTester 反对多种推送通道、设施类型；可利用于游戏的拉新、召回以及流动推广等场景，及时响应成果，防止负面影响。
- 广告试验：晋升广告投放 ROI，可比照不同的试验文案、不同的投放渠道的广告投放成果。DataTester 能够通过转化增效度量的形式来管制“天然转化”对试验成果的影响，保障广告试验的科学性和严谨性。
- 可视化试验：DataTester 能够达成所见即所得的 A/B 测试配置，老手小白也能间接上手应用。通过所见即所得的在线编辑，升高在 Web/H5 页面优化的场景下，产品方和经营方应用 A/B 测试工具的老本。可用于游戏流动的推广页面，抽奖页面的成果比照，无需编程即可疾速上线。
上述能力均来自于字节跳动在多年业务打磨中，实现过 150 万余次 A/B 测试的教训积攒，因而产品在实用性和易用性方面能力极强。
出海游戏，DataTester 保驾护航
现在全球化经营曾经成为新的趋势，海内游戏营收相较于国内有着更高的增长性。国内自研游戏纷纷出海，疾速抢占重点地区份额。与此同时也带来了差异化经营、全球化公布、信息安全等全新的挑战。
- 地区差异化经营 ：
因为各国文化、宗教信仰、潮流趋势的差别，雷同的游戏流动和批改，在海内不同的地区往往获得的收益各不相同。对于公司来说，海内不同地区的差异化经营，往往须要积攒各地的经营教训，老本通常较高。自觉的推广，又容易导致一些负面的影响。DataTester 的 A/B 测试反对圈选不同地区的游戏用户，能够针对不同地区的用户发展针对性的测试，可能疾速的比拟试验后果，确定该地区的最优计划。 - 全球化公布
全球化公布也是公司在出海过程中所不得不面临的挑战。全球化公布意味着运维老本的进步，同时多版本的治理也减少了发行的复杂性。DataTester 运行中的 A/B 试验，反对间接转换为个性进行公布。同时反对渐进式公布、定时公布，以及回滚操作等。通过应用个性公布性能，使公布流程更加简洁，缩小公布危险。
产品介绍
DataTester 是火山引擎数智平台旗下产品，通过抖音、今日头条等字节业务多年验证，累计开设过 150 万次 A/B 测试，可基于先进的底层算法，提供迷信分流能力和智能的统计引擎，反对多种简单的 A/B 测试类型。
在利用和剖析场景上，DataTester 深度耦合举荐、广告、搜寻、UI、产品性能等多种业务场景需要，为业务增长、转化、产品迭代，策略优化，经营提效等各个环节提供迷信的决策依据，让业务真正做到数据驱动。
目前，DataTester 已在内部多家企业上线利用，将成熟的“数据驱动增长”教训赋能给游戏、汽车、大生产、金融等多个畛域。
点击跳转，申请 DataTester 收费试用、理解更多 DataTester 详情