字节跳动 A/B Tester 团队将 A/B test 试验办法利用在广告营销畛域，并首先在西瓜视频成功实践，用科学实验掂量决策收益，让广告营销从创意玄学走向数据迷信。
文 | 字节跳动数据平台 A/B Tester 团队
我有一半的广告费都被节约了！
“我有一半的广告费都被节约了，但就是不晓得是哪一半。”
批发大亨约翰·沃纳梅克这句经典名言被称为广告界的哥特巴赫猜测，道出了广告成果掂量的难点，同样也击中了有数广告主的痛点。
广告作为经济运行中的一个重要环节，到底应该如何迷信掂量广告的成果始终既是业界的重点、热点也是难点。
在互联网时代，咱们该如何做好广告营销，继续驱动生意增长呢？
火山引擎 A/B 试验团队给出的答案是：50% 靠创意，50% 靠营销迷信。
相比于教训，营销迷信是了解创意的更好形式，用迷信的办法，摸索和破解营销法则，帮忙客户实现可继续的增长。
从玄学走向迷信：火山引擎 A/B 试验
A/B 测试在字节跳动已是十分根底的设施和文化，目前，字节跳动日新增试验 1800 以上。
首先咱们看一个案例。字节跳动有一款中视频产品叫西瓜视频，最早它叫做头条视频。为了晋升产品的品牌辨识度，团队想给它起个更好的名字。通过一些外部调研和头脑风暴，征集到了西瓜视频、微妙视频、筷子视频、阳光视频 4 个名字，于是团队就针对一共 5 个 APP 名称进行了 A/B 试验。这个试验中惟一扭转的是利用市场里该产品的名称和对应的 logo，试验目标是为了验证哪一个利用名称能更好地晋升“头条视频”APP 在利用商店的点击率。最初西瓜视频和微妙视频的点击率位列前二，但差距不显著，联合用户调性等因素的综合考量后，最终决定头条视频正式更名为西瓜视频。
通过这个案例能够看到，A/B 测试能够帮忙业务做最终决策。联合案例的直观感触，咱们能够这样来定义 A/B 测试：在同一时间对指标受众做迷信抽样、分组测试以评估成果。
以上图为例，假如咱们有 100 万用户要进行 A/B 测试：
先选定指标受众，比方一线城市的用户。
A/B 测试不可能对所有用户都进行试验，所以要进行迷信抽样，抉择小局部流量进行试验。
抽样之后须要对样本进行分组，比方 A 组放弃现状，B 组的某一个因素有所扭转。
分组之后在同一时间进行试验，就能够看到扭转变量后用户行为的变动。
再依据对应试验指标的指标，比方点击率的高下，来评估试验的后果。
以上就是咱们对 A/B 测试的定义。目前，A/B 测试已被 Google、Facebook、亚马逊等大型互联网公司宽泛采纳；字节跳动更是在 2012 年成立之初便开始应用 A/B 测试，公司外部始终流传一句话：所有皆可 A/B 测试。
火山引擎 A/B 测试，解脱猜想，用迷信的试验掂量决策收益打造更好的产品，让业务的每一步都通往增长。
广告投放场景下的 A/B 试验
广告投放 A/B 试验针对广告投放中不同素材、估算出价、人群定向、落地页等广告元素进行试验，帮忙广告投放人员理解不同元素对投放后果的影响，进而抉择更优的投放策略，晋升投放成果。
早在 20 世纪六七十年代，A/B 测试就成为了广告教父大卫·奥格威最喜爱的一种营销伎俩。奥格威用 A/B 测试优化文案、创意、营销形式等，取得的后果也帮忙他做出了很多正确的营销决策。
到当初，随着数字营销的倒退，用户的线上行为被数据化，A/B 测试施行起来更迷信、精准。可测试的元素也更丰盛多样。
一条广告打算次要有广告素材、人群定向、估算出价、落地页四个环节，火山引擎的广告投放 A/B 试验，涵盖这四个环节中波及的十多种广告元素。
以素材 A/B 试验为例，游戏行业在广告投放中素材出现多样性散布。广告主通常依据不同游戏类型的个性，提炼游戏亮点以达成营销目标，而游戏广告转化的促成因子较其余行业更多元，可能是因为人物精美、坐骑炫酷、技能新鲜，战斗精彩，甚至可能是因为偏爱古风。
广告 A/B 试验初探：拆分比照试验
拆分比照试验通过对不同的广告素材 / 人群定向 / 估算出价进行 AB 试验进步广告主投放 ROI，从而找出现实成果的计划，领导广告主进行后续广告投放。
火山引擎的广告投放拆分比照试验，实现了以下特色性能，从疾速创立实验组到主动产出数据报告，极大升高了广告优化师应用 A/B 试验进行数据驱动的迷信广告投放门槛。
01- 疾速创立对照试验
火山引擎的广告投放 A/B 试验能够疾速增加试验版本，同时保障试验变量的唯一性。例如，多素材广告试验用户只需批改素材即可实现试验打算的创立，而打算的其余元素如用户定向、广告位等与对照打算全副统一。
02- 主动生成数据报告
- 能够抉择关注更多维度的指标，如激活率、注册率、ROI、LTV、留存率等，并通过关注指标主动生成数据报告；
- 能够将试验上面所有广告打算的数据进行疾速比照，疾速理解各指标的差别；
- 数据报告
通过设置外围指标辨认优胜组、能够查看关注指标的置信度
03- 拆分比照试验的注意事项
须要留神的是，广告投放拆分比照 A/B 试验与规范的 A/B 测试有肯定的差别。
首先是在流量调配上。规范的 A/B 测试须要对流量进行平均分配，但广告投放拆分比照试验无奈确保在试验过程中的流量是平均分配的。
其次是在随机性（无偏性）上。规范的 A/B 测试是在线上流量中取出一小部分，齐全随机地分给原策略 A 和新策略 B，目前广告投放拆分比照试验的打算之间无奈齐全排除烦扰，不同打算存在肯定的竞争性。
然而也有一些办法缩小试验误差：
一是减少试验时长。因为周一和周日的人群会有很大的差距，因而倡议试验运行 7 天以上，能力有足够的样本，保障试验的精准性。
二是减少人群包的范畴数量，人群包的范畴越大，试验运行的随机性越强。据 Facebook A/B 试验的后果，每个试验至多要有 300 到 500 次的点击，广告展现数要在 10000 次以上。
迷信的 A/B 分流试验: 增效度量试验
增效度量试验通过将广告是否曝光作为变量，联合多媒体广告投放能力，使用人群洞察 + 触点价值评估 + 多触点组合频次序列化剖析，度量广告曝光对于转化量的晋升。
增效是产生的增量价值（即 uplift)。增效度量是通过迷信的 A/B 分流能力，管制用户是否 ” 有机会 ” 看到广告，由此比照得出 ” 看到 ” 广告这一事件带来的增量价值的度量办法。
艰深地讲,「增效度量」通过将人群提前划分为 ” 看到广告 ” 和 ” 本来可能看到广告 ”, 而后通过比照两群人在广告投放后一段时间内的转化差别、行为差别或用户认知差别等，以此量化广告成果。
01- 为什么须要做增效度量?
目前，国内外还没有数字广告成果度量的通用规范。尽管不可能齐全通过试验最精准的量化广告成果，但「增效度量」是目前简直最靠近广告实在成果的度量解决方案之一。增效度量主观量化线上广告投放对广告主产生的 ” 价值 ”, 包含但不限于 ” 广告 ” 对最终的转化、用户行为、用户认知等产生的变动。
帮忙广告主明确不同渠道 / 媒体的广告价值（帮忙广告主正确的归因), 明确广告投资回报率
帮忙广告主证实归因形式是否精确，从而正当归因广告转化
帮忙广告主继续优化广告营销的策略，正当调整不同渠道 / 媒体的广告估算调配
02- 增效度量试验外围流程
火山引擎 A/B 试验平台提供一站式增效度量试验，联合广告增效思路，构建科学实验分流、试验配置、迷信的度量报告，无效促成品牌广告迷信评估价值。
广告主能够在火山引擎 A/B 试验平台上传 DMP 人群，配置度量试验，进行跨渠道的投放失效，A/B 试验平台提供投放和监测服务，也可配置对接客户的投放和监测服务，在投放后肯定周期内实现监测数据归因和转化数据回传，平台对立生成增效度量实验报告。
03- 配置度量试验
在火山引擎 A/B 试验平台配置度量试验，抉择人群与投放平台打算，开启试验
04- 跨渠道的投放失效
在火山引擎 A/B 试验平台上配置多平台的投放账号，受权投放打算和 DMP 接口
05- 增效度量实验报告
火山引擎 A/B 试验计算试验不同人群包的转化人数，计算在不同平台进行广告投放人群包的增量转化，产出度量实验报告。
数据驱动下的品牌广告：品牌增效度量试验
品牌增效度量试验通过管制广告是否曝光或曝光不同广告，联合多通道问卷调研能力，比照不同人群投放成果，掂量广告投放成果。
01- 为什么须要做品牌增效度量?
品牌广告成果的量化评估多年以来始终困扰着业界。难点在于品牌广告是能晋升销售，但目前却很难做到准确无效地评估出某个品牌广告对销售增长的促进作用，而只能停留在触达层面的评估上。
品牌广告对消费者的影响是润物细无声的，影响消费者的过程可能有数月甚至一年之久；并且品牌广告对消费者心智影响的成果通常是有形和难以掂量的；另外销售的晋升可能是品牌广告和成果广告作用的后果，品牌广告到底有多少奉献难以掂量；泛滥的难点因素叠加起来导致了业界还没有找到品牌推广和销售之间的精确转换关系。
品牌增效度量将品牌力这一主观判断以数据模式产出，通过广告曝光行为在两组类似用户之间的用户认知差别比照，能更好地帮忙广告主理解广告成果，从而为媒体效率晋升提供方向。此外，增效度量能帮广告主更好掂量广告的实在价值。采纳广告的实在价值作为衡量标准，也能得出更好的用户洞察。
02- 品牌增效度量试验外围流程：
创立 BLS 类型试验
导入人群包，绑定广告投放流动
开始投放广告，同步回收广告数据
依据广告人群回收状况，启动问卷投放
回收问卷数据，总结本次试验论断
03- 迷信的 A/B 人群分流
人群分流以往的计算方法是在抉择好曝光组的根底上透过根底画像标签去找到类似的人群作为控制组，这种选法对于广告主来说会有两个挑战点：一是找到的控制组并无奈保障与曝光组的一致性，二是为确保曝光组、控制组的一致性，广告主在这个流程上须要破费较大的人力及工夫去做圈选校验。
而火山引擎的 AB 试验平台，在广告投放前确定人群随机分流形式，通过算法匹配将人群随机分流为曝光组、控制组，并对控制组进行广告屏蔽，相较于以往办法，更迷信、省力且论断数据更实在。
04- 多渠道问卷投放
和一般增效度量试验不同的是，品牌广告成果无奈通过监测代码间接追踪转化成果（转化可能在线下)，所以在度量品牌成果时，须要引入问卷调研能力，来统计品牌广告的 uplift 成果。火山引擎 AB 试验平台提供了以下能力：
在品牌增效度量试验中，火山引擎 A/B 试验平台实现人群分流及广告投放工作
在问卷调研中会通过接入多种问卷工具产品来实现问卷下发 & 问卷回收
通过标准化的问卷模版，将回收问卷数据进行汇总计算，产出数据洞察报告
问卷样例：
05- 增效度量实验报告
为什么抉择火山引擎广告投放 A/B 试验?
现在中国企业正减速向数字化、智能化演进，工具市场有很大的需要空间。火山引擎将撑持全球化互联网公司多元业务倒退的增长理念、技术劣势内化到产品中，从开发、利用到经营，满足不同类型企业不同生命阶段的商业增长需要，更贴心、更智慧、更灵便。
过来几年，很多企业对字节跳动的技术和工具感兴趣，2017 年就有手机厂商心愿应用今日头条的举荐算法，单方单干后获得了很好的成果，字节跳动在数字化增长方面有很多实际。
火山引擎 A/B 测试，脱胎于字节外部工具，不仅集成了字节外部丰盛的业务场景中的试验教训，又立足 ToB 市场，放弃技术中立，专一为广告主发明价值。
关联产品
火山引擎 A / B 测试
A/B 测试，解脱猜想，用迷信的试验掂量决策收益，打造更好的产品，让业务的每一步都通往增长。
欢送关注 字节跳动数据平台 同名公众号获取更多技术干货