关于游戏:事后达尔文-游戏业务效果评估方法实践

作者：vivo 互联网数据分析团队 Luo Yandong、Zhang Lingchao

本文介绍了互联网业务数据成果评估的几种常见问题及办法，并基于分层抽样的逻辑优化出一套可利用于解决用户不平均的“预先达尔文 ” 分析法，可实用于无奈 AB 测试或人群不平均的 AB 测试等场景下的成果评估中，本文会基于理论利用案例，来给大家认真论述相干办法模型的思考过程，实现原理，利用后果，心愿可能帮忙大家，如果能对大家在各自畛域中的业务成果评估有所助益的话，那就更棒了！

一、引言

游戏业务作为公司重点的创收团队，为了更好的达成营收后果，须要不定期地发展各类经营流动来促成玩家付费转化、晋升玩家付费程度，这就要求咱们游戏数据分析师采取迷信无效的分析模型，精确洞察剖析各类经营策略的价值与收益，及时管制危险与优化后续经营计划。

而在理论的剖析工作中，咱们通常会碰到各种各样的业务及数据上的问题，逼迫咱们一直迭代优化分析模型，产出更有价值更迷信无效的论断倡议。

如下案例，就是咱们已经碰到的一个典型问题——算是“辛普森悖论”[1]在游戏业务的一个理论体现：受不同月份游戏业务用户付费散布不平均变动 的影响，业务成果评估重要指标利润率(利润 / 流水)，在整体和分游戏类型的场景下的数据体现齐全互斥。

近三年来，咱们继续地开展业务成果评估，在发现并解决问题的过程中一直总结经验及数据论断，最终优化迭代出“预先达尔文”剖析方法论，从而无效解决游戏业务中成果评估的各项艰难。

本文将从游戏业务成果评估的诸多问题登程，论述分析方法的倒退历程及数据逻辑原理，以及在游戏业务中具体的解决方案实际，来残缺介绍“预先达尔文”的思考过程与利用落地，并瞻望更多利用场景。

二、游戏业务成果评估常见问题一览

游戏业务成果评估中常见的问题有如下这些难点：

• 游戏业务受节假日 天然因素 影响大，如何剔除？比方十一、春节期间玩家自发的付费增长同流动影响的关系？
• 局部流动存在 参加门槛，如何保障钻研人群的一致性？比方返利流动中需生产达标能力获取礼券的参加门槛，未参加玩家人造付费能力弱一档的问题。
• 整体与部分的 成果差别 的问题，如何解读？比方引言中网游单机利润率降落但整体利润率晋升的问题。
• vivo 的游戏营销类流动，始终致力于偏心公正 ， 相对禁止杀熟 ，因而都需 放弃对立折扣力度，无奈实现 AB 测试，如何继续优化迭代？
• 游戏业务中营销流动往往能冲刺短时间的付费增长，然而前期受玩家实际收入能力影响存在回落的危险，如何无效论证流动的长期正向价值？比方双 11 期间发展的电商流动，显著影响了前一个月及后一个月的用户失常消费水平。

以上诸多难点问题，都衍生于业务的理论运行过程中，须要咱们分析师基于一套切实可行的方法论进行解决。

三、成果评估分析方法的倒退

3.1 什么是成果评估

业务团队为了晋升相干指标，如流水、利润等，而发展的如满减，返利，打折，促销等流动，在一段时间内让玩家、用户更多的参加、生产，来晋升对应的指标。

而咱们分析师就须要及时的钻研分明，这些业务动作带来了怎么的实质性的业务晋升，以及如何造成更多优化空间，这就是成果评估的核心内容与价值。

3.2 成果评估办法的倒退阶段

判断业务成果，咱们通常会细分很多指标，比方参与率、投入产出比、流水、利润等。但咱们最关怀的往往是指标增量，这是一个绝对概念，外围就在于如何比照。为此，行业内通用的分析方法有如下几种：

1. 时序比对法：

通过观察流动前后的增长变动，如本周末发展的流动，那咱们看本周末的流水去比对上周末的流水，来判断流动的增量；

2. 天然过滤法：

受节假日等节令因素影响，本周和上周会有天然变动因素，为了过滤天然因素影响，咱们将流动参加人群与未参加人群拆解开，将天然工夫变动计算为未参加人群的本周流水比对上周流水的数值，最终按流动增量减去天然变动状况来作为最终增量；

3. AB 测试：

基于平均分层状况下的严格 AB 测试试验，局部游戏 / 门店发展流动，局部不发展，以不发展流动的局部增长作为天然增长，这样也能够计算出最终的增量。

然而存在如下 危险：

①无奈保障用户均匀分布；

②流动发展较简单，且存在客诉危险，玩家不易承受，且损失局部流动增量，不利于指标达成。

4. 预先达尔文：

汇合办法 2、3 的各自劣势，咱们将参加流动人群 / 未参加人群，基于平均分层的逻辑，按上周末 arpu 等指标拆解分层，保障比照对象的绝对偏心，计算各分层内参加人群的增长 - 天然增长（同分层未参加人群的增长），最终汇总整体后果。

如下示例：

3.3 各办法的优劣比照及实用场景阐明

注：“预先达尔文”由数据分析团队成员于 2019 年钻研出相干分析方法，并于 2020 年整顿并取名为“预先达尔文”。

四、“预先达尔文”的剖析方法论

在介绍数据方案设计前，先介绍一下“预先达尔文”的剖析思路和方法论，帮忙大家更好地了解本文。

4.1 确认钻研对象

钻研对象分两局部——人群和指标。

（1）人群

蕴含参加流动的人群、未参加流动的人群。参加流动的人群受到流动、节令因素的综合影响；未参加流动的人群次要受节令因素的天然变动影响，如十一前和十一期间的天然付费增长。

（2）钻研指标

咱们个别抉择外围关注的如人均流水 ARPU、人均礼券（游戏业务流动外围指标）。其余场景亦可按外围关注指标发展钻研，如产品测试场景的点击率等。

4.2 分人群工夫比照

基于咱们的钻研人群（参加流动与未参加流动的人群），在流动前、活动期的钻研指标（流水、利润）体现状况，如下图：

其中：

C1=A(A4-A3(B4/B3));

C2=A(A2-A1(B2/B1));

因通常状况下，被动参加咱们流动的玩家会有更积极主动的沉闷、付费等行为特色，导致玩家 A、B 人群并不合乎均匀分布的特色，故 B 玩家人群的天然节令因素变动无奈齐全代表 A 玩家人群的天然变动，最终导致无奈齐全科学合理的体现出流动玩法对 A 人群的增量。

4.3 人群平均分层比照

咱们为保障玩家人群 B 的天然变动能反映 A 玩家人群的程度，在外围钻研的指标逻辑下，将 A、B 玩家人群做平均的拆分，参考游戏业务流动中，依照流动前人均付费程度拆分（其余场景也可基于其外围指标拆分，如点击率散发效率等）。

其中：

C1=A(A4-A3(B4/B3));

C2=A(A2-A1(B2/B1));

C=sum(C1:Cn);D=sum(D1:Dn);

为保障以上剖析后果真的平均，咱们会对每一分组做相应的验证，如上初始人群差别，若人群差别绝对值 >=5%，则判断置信度有余，对应分组人群流动影响不独自做评估。

4.4 后果评估

基于以上分层逻辑后，咱们即可失去对应相信分组下，参加人群的指标变化率，未参加人群的指标变化率，二者相减即失去流动策略影响的增量变动（可正可负），汇总之后，即可失去整体增量变动，即为整体的流动影响。

特地阐明：

1. 通常状况下，置信度有余的分组人群，如果相干人群 / 流水比重过大，无奈疏忽影响的话（如超过 10%），则会依照相信分组的总增量变化率来作为该分组的增量测算，此处仅供参考；
2. 参加流动人群规模较未参加差距过于迥异，如 <1:10 的状况下，可思考对 B 人群以抽样的形式来实现以上的成果。

五、理论剖析案例

5.1 某年端午流动数据成果剖析

5.1.1 背景信息：

端午期间发展了充值不同档位可支付不同礼品的流动，如 100 元档、1000 元档、4000 元档等。（非理论案例）

5.1.2 前置剖析：

1. 被动参加的玩家，有较强的充值能力和欲望，对应成果钻研需排除过滤这种充值能力上的差别；
2. 流动面向整体玩家，无奈发展 ABtest，也不肯定合适差异化策略；
3. 游戏充值玩家存在活动期大幅拉收，流动后生产降级的危险，所以整体钻研中需思考流动中 + 流动后的总体增量状况；
4. 有流动曝光的用户外部仍有较大差别，未参加流动 (即未领奖) 用户表明这些用户对本次礼包流动没有趣味，自身付费偏向较低，而参加流动用户则有较强付费志愿。

5.1.3 剖析后果：

1. 整体有无曝光比照：从整体看，有流动曝光用户的付费晋升显著高于无曝光用户，且在低付费档位的晋升效应更为显著；
2. 有曝光用户外部比照：有流动曝光但无领奖用户自身为游戏的低付费志愿用户，因而后向付费甚至不迭无曝光用户，而流动对参加的用户有显著的付费刺激作用。

5.2 某年游戏预约版本成果剖析

5.2.1 背景信息：

（1）受国家版号政策的压缩，游戏业务的稳定增长体现在老游戏的继续迭代上，而其拉新、回流、留存的节点，都围绕在重大版本更新节点上。所以咱们有产品通过版本更新性能，提前将游戏新的玩法 / 内容 / 流动传递给用户，以晋升游戏节点体现。

（2）咱们 vivo 的版本预约已做了有段时间，但始终没有一个较为谨严的试验比照和数据分析，验证做这件事为平台带来的增量价值。故咱们应用“预先达尔文”的分析方法对其开展了相应钻研。

版本页面款式参考如下：

5.2.2 前置剖析思考：

1. 预约与非预约用户，除了在预约行为上存在差别，还存在版本信息感知上的差别，次要体现在沉闷频次上，须要逐渐进行比照剖析；
2. 核心灰度放量提供了是否感知版本信息的两类人群比照，但灰度自身对用户的核心版本、手机性能和核心应用行为有要求，导致灰度用户在游戏内的沉闷付费人造优于非灰度用户。

5.2.3 剖析后果：

1. 版本信息感知价值：提前感知版本信息的用户在版本更新后向付费有晋升，总体付费约高于无版本预约感知用户 6%，且在高沉闷天频下付费与无感知用户拉开差距；
2. 被动预约行为的价值：版本更新后预约用户付费相比仅感知无预约用户，其晋升更为显著。

六、总结和瞻望

对于游戏业务成果评估中面临的各类问题，咱们借鉴过往教训，通过一直尝试和摸索，基于用户分层的逻辑，拆解用户，将放弃同一外围特色的用户放在一个水平线上进行比照，开发出“预先达尔文”的解决方案，并在解决游戏业务成果评估中获得长期较好成果。咱们近期也有在推动大数据将相干的分析方法模型，联合游戏业务用户经营的理论特点，进行模型线上化，届时将更加疾速便捷的实现流动策略的成果评估，给到业务方更及时无效的反对。

本文心愿能让大家更理解游戏业务剖析工作的实际状况，能对大家不同业务的剖析评估工作有一些直观的参考价值。当然，计划中的具体模型细节、危险排查等无奈完完全全的写出，也由衷欢送感兴趣的敌人们和笔者一起探讨交换，谢谢大家！

参考文献：

1. 赵焕光、章勤琼、王迪著《真谛相遇统计》