关于ab测试:AB测试助力游戏业务增长

10次阅读

共计 3085 个字符,预计需要花费 8 分钟才能阅读完成。

更多技术交换、求职机会、试用福利,欢送关注字节跳动数据平台微信公众号,回复【1】进入官网交换群

中国游戏行业倒退现状及挑战

国内市场增长乏力

2021 年游戏销售收入 2965.13 亿元,同比增长 6.4%,增速相较于 2020 年缩小近 15%。游戏用户规模达 6.66 亿人,同比增长仅为 0.22%。2021 年游戏销售收入增长乏力,游戏人口红利趋于饱和,国内游戏市场整体正在从增量市场向存量市场转变。受未成年人保护法和国内游戏版号发行限度的影响,将来一段时间国内倒退还会受限。

自研游戏出海势头强劲

2021 年,中国自主研发游戏海内市场理论销售收入达 180.13 亿美元(近 1200 亿人民币),比 2020 年减少了 25.63 亿美元,同比增长 16.59%。从近五年的均匀增长幅度看,我国游戏出海份额出现稳定上升的态势。中国自主研发移动游戏海内重点地区支出散布中,来自美国、日本、韩国支出占 32.58%,18.54% 和 7.19%,共奉献了 58.31% 的支出。

私域流量扰动行业格局

近年来,随着自媒体平台的疾速倒退,私域流量的积攒为游戏的发行提供了新的投放根底。在精准营销技术的辅助下,自媒体平台的游戏投放获得了令人瞩目的成果。以青瓷游戏的《最强蜗牛》为例,《最强蜗牛》上线在抖音和西瓜视频两个平台,通过悬念预热、超级挑战赛、全民工作等新的互动形式,精准触达了指标用户,游戏上线后 10 天 iOS 流水超 1.04 亿,间断一个月居 iOS 游戏滞销榜前十名。

随着国内游戏用户数量趋于饱和,中国游戏产业也从高速成长期逐步转型,市场成熟度晋升,竞争趋于精细化。游戏企业买量老本高企,用户留存难,对精细化经营的要求也越来越高。叠加游戏出海以及私域流量经营的挑战,游戏企业对数据分析的应用需要和依赖度进一步提高。

疾速试错,A/ B 测试助力打造爆款游戏

游戏行业倒退至今,先后经验了主机游戏时代、网页游戏时代、移动游戏时代等多个阶段,现在移动游戏支出占国内游戏支出的 7 成以上,许多传统游戏公司正面临着转型压力。随着游戏技术的日趋成熟,少量新兴公司涌入该行业,进一步加剧了竞争压力。

游戏研发流程大抵分为立项、验证、开发、测试、上线筹备和经营六个阶段,每个阶段往往都随同着许多批改。批改的成果如何?对于外围指标是否会有负面的影响?传统的思路,是将新个性上线后验证成果,但这也往往存在上线周期长,过分依赖教训,影响面广等问题。

A/ B 试验通过在线上流量中取出一小部分,齐全随机地分给原策略 A(对照组)和新策略 B(实验组),再联合肯定的统计办法,失去对于两种策略绝对成果的精确预计。通过 A / B 试验能够对游戏新个性 / 批改进行迷信的评估,利用线上小流量即可验证成果,并可能无效地掂量收益。

A/ B 试验,迷信评估批改后果

当咱们进行试验之前,实验者须要当时约定一个对显著性程度的预期,即限定 ” 原假如正确然而被回绝了 ” 的概率下限为 α,通常承受的犯此类谬误的概率范畴是 0%~5%。在试验的统计计算中,咱们用 p -value 来表征某个试验情景下犯这种谬误的理论概率。只有 p -value 小于咱们当时设定的 α,试验即在显著性程度上达标。计算显著性程度是用来反抗抽样误差的办法,当咱们试验在显著性程度上达标后,咱们认为有 95% 以上的把握阐明试验后果是可信的。这大大降低了,游戏批改上线对指标负面影响的可能。

《全民弹弹弹》是一款操作简略、极易上手的球跳塔类休闲游戏,玩家既能够让弹球一层一层地击穿黑白砖块,享受纯正的弹射快感,也能够解锁更多未知的球球,体验合成的养成乐趣。游戏经营为验证游戏首页对玩家留存和广告数据的影响,对两个首页计划进行比照:跳塔页(对照组)、合成页面(实验组)

通过 2 周的试验测试,结果显示,首页为合成页面在 3 日、7 日留存以及广告的成果等外围指标都优于对照组跳塔页计划。最终抉择全量合成页面的计划,上线并获得了优异的成果。


除上述场景外,A/ B 试验还经常被用在以下批改的验证中老手疏导改变,老手工作难度调整,初始资源调整等关卡难度、配备爆率、宝箱中奖率调整等影响游戏体验的的改变商城界面,积分零碎,公告栏、banner、按钮、图标等功能性区域的改变匹配零碎、好友零碎、聊天零碎等社交性功能改变游戏 IP、NPC、游戏场景、剧情的改变试验分层,拓展线上流量

试验分层,拓展线上流量

小 A 要验证新的武器零碎,须要 50% 的流量验证;小 B 批改商城界面,也须要 50% 的流量;小 C 对老手工作进行了欠缺,同样须要 50% 的流量验证。此时同时进行 3 个试验,须要 150% 的流量。线上流量不够用,只能对试验进行优先级排序,让几个试验先后进行,但这会导致效率低下。

通过 A / B 试验的流量分层技术,将总体流量复制“无数遍”,造成”无数个”流量层。流量层两两之间互相正交,再加之运行在雷同层的试验流量互斥,从而保障同时运行多个试验不会相互烦扰。

试验分层技术能够无效的解决线上流量有余的状况,尤其是在游戏内测阶段,这个阶段往往获取用户难度较大。须要通过公布内测工作,小规模买量等形式取得游戏玩家,流量获取老本高。而这个阶段既须要验证游戏的性能、兼容性,又要对游戏的玩法、关卡设置、故事剧情、营收模型等进行调整。如果内测工夫过长,不仅须要继续的买量投入,也会导致游戏上线节奏被拖慢,甚至可能错过市场热点。

通过 A / B 试验流量分层技术,突破流量限度,大大缩短游戏验证工夫,疾速上线迭代。

场景能力,让推广更加高效

除了传统的客户端、服务端试验以外,咱们还提供了针对非凡场景的 A / B 试验能力,让试验开启更便捷,成果更显著。

  • 可视化试验:通过所见即所得的在线编辑,升高在 Web/H5 页面优化的场景下,产品方和经营方应用 A/B 试验工具的老本。可用于游戏流动的推广页面,抽奖页面的成果比照,无需编程即可疾速上线。
  • 推送试验:通过对推送告诉的题目、内容、点击动作等进行测试,找出成果最优的计划。反对多种推送通道、设施类型;可利用于游戏的拉新、召回以及流动推广等场景,及时响应成果,防止负面影响。
  • 广告试验:晋升广告投放 ROI,优化广告投放策略,可比照不同的试验文案、不同的投放渠道的广告投放成果。通过转化增效度量的形式来管制“天然转化”对试验成果的影响,保障广告试验的科学性和严谨性。

    游戏出海,A/ B 保驾护航

现在全球化经营曾经成为新的趋势,海内游戏营收相较于国内有着更高的增长性。国内自研游戏纷纷出海,疾速抢占重点地区份额。与此同时也带来了差异化经营、全球化公布、信息安全等全新的挑战。

  • 地区差异化经营

因为各国文化、宗教信仰、潮流趋势的差别,雷同的游戏流动和批改,在海内不同的地区往往获得的收益各不相同。对于公司来说,海内不同地区的差异化经营,往往须要积攒各地的经营教训,老本通常较高。自觉的推广,又容易导致一些负面的影响。

A/ B 试验反对圈选不同地区的游戏用户,能够针对不同地区的用户发展针对性的测试,可能疾速的比拟试验后果,确定该地区的最优计划。

  • 全球化公布

全球化公布也是公司在出海过程中所不得不面临的挑战。全球化公布意味着运维老本的进步,同时多版本的治理也减少了发行的复杂性。运行中的 A / B 试验,反对间接转换为个性进行公布。同时反对渐进式公布、定时公布,以及回滚操作等。通过应用个性公布性能,使公布流程更加简洁,缩小公布危险。

火山引擎 A/B 测试,限时收费,立刻申请!

A/B 测试,解脱猜想,用迷信的试验掂量决策收益,打造更好的产品,让业务的每一步都通往增长。火山引擎首度公布增长助推「火种打算」,火山引擎 A/B 测试作为「火种打算」产品之一,将为您收费提 2 亿事件量和 5 万 MAU,以及高达 12 个月的使用权。点击立刻试用

正文完
 0