更多技术交换、求职机会，欢送关注字节跳动数据平台微信公众号，回复【1】进入官网交换群
“我晓得在广告上的投资有一半是无用的，但问题是我不晓得是哪一半。”——批发大亨约翰·沃纳梅克这句经典名言，被称为广告界的哥特巴赫猜测，它道出了广告成果掂量的难点，同样也击中了有数广告主的痛点——企业有一半广告费都是被节约掉的。
广告投放的成果很多时候常与玄学画上等号，但却也是公域营销不可或缺的一环。迷信的掂量广告的成果，适时做出策略调整优化转化率，始终既是业界的重点、热点、难点。
如何让企业在广告投放上的每 1 块钱都花在刀刃上？
火山引擎 DataTester 或者能够交出一份高分答卷。DataTester 是字节跳动外部利用多年的 A/B 试验平台，2020 年通过火山引擎面向内部企业凋谢服务。
平台自建设至今，承载了字节 500 余个业务线的 A/B 试验工作，累计已发展过 150 多万次试验。广告试验是 DataTester 的一大特色能力之一。DataTester 基于本身在因果推断和统计迷信方面的粗浅积淀，联合字节外部用户增长以及广告算法建设的诸多实际，摸索出了很多卓有成效的广告成果掂量办法和晋升策略。
本文将分享 DataTester 在广告投放场景下的实践经验。为什么 A/B 试验能晋升广告投放效率？在互联网时代，企业该如何做好广告营销，继续驱动盈利增长呢？从对字节跳动多年的业务总结来看，实际给出的方法论指向是：50% 靠创意，50% 靠营销迷信。
在广告投放的场景下，一线广告优化师通常会创立多个打算，去测试不同的广告素材成果。这套办法看似迷信，实际上却问题多多：广告打算适量，会对流量造成互相挤压争抢，流量无奈平均分配，就难以获取迷信的成果比照数据；广告受众没有实现隔离，如果同一用户能够看到多组广告，则测试后果无奈保障科学性；广告打算过多，会抢占贵重的营销经费配额，并节约广告优化师大量人力。
这些问题导致广告投放时，企业节约了大量的工夫精力和金钱，也未必能失去迷信量化的的无效论断。
图源：视觉中国
而通过迷信的 A/B 试验，能够确保在广告投放中，实现精准的流量调配、受众隔离，获取最为迷信的数据统计后果；与此同时，在多个广告打算创立的过程中，性能优越的 A/B 试验平台可反对计划的智能化设置，节约大量人力。
- 广告方案设计：可依据 A/B 试验的成果选出最佳计划；
- 广告成果验证：通过 A/B 试验能够达成“快准稳”的成果检测，让大胆翻新、疾速试错成为可能；
- 广告问题定位：通过 A/B 试验能够疾速定位投放成果不佳的问题起因，防止低效而低廉的谬误迭代。
总结来说，迷信的 AB 试验平台，可能确保广告在方案设计、人群抉择、渠道定位等每个决策环节，都能取得正向的收益，从而在广告投放时，产生正向反馈越滚越大的复利效应。
字节跳动的广告优化教训分享字节跳动副总裁、算法和数据技术负责人杨震原曾在火山引擎 A/B 测试开放日中讲述过，“字节跳动成立之初，今日头条就在做策略举荐类的 A/B 测试。
2016 年正式建设了反对大规模产品试验的 A/B 测试平台（DataTester），之后陆续接入抖音、西瓜视频等全线业务，把 A/B 测试利用在产品命名、交互设计、举荐算法、用户增长、广告优化和市场流动等方方面面的决策上。”字节是一家有着深厚 A/B 试验基因的公司，广告试验是 DataTester 全域营销场景下的重要一环。
针对企业在营销场景上的诸多痛点，如人工试验操作繁琐，广告成果难度量、优化无从下手；成果数据起源扩散，人工剖析费时费力；投放重大依附人工教训，一线优化师通宵盯盘、精疲力尽 … 等等问题，DataTester 提供了全套的广告优化解决方案：
试验智能化调优：基于业界一流统计学专家的算法模型，按照广告成果动态分配流量，实现收益最大化；
- 买通前后链路数据：反对支流广告渠道的监测能力，实现了后链路数据的买通，助力更迷信的成果归因；
- 买通人群数据：反对与 CDP 人群治理平台深度买通，广告可实现基于用户标签和人群画像的精准投放；
- 跨渠道广告投放能力：集成包含巨量引擎在内的支流广告投放平台，实现一站式广告素材创意治理、批量广告创立投放、多渠道广告成果监测；
- 集成建站平台：与多个建站工具深度单干，打造广告落地页搭建和 A/B 试验创立的无缝体验，大幅升高试验门槛。
点击查看大图：DataTester 全域营销场景解决方案
针对具体不同的场景，DataTester 提供了拆分比照试验、落地页优化试验等多种试验类型，不便用户更加便捷地基于试验进行迭代：
- 素材拆分比照试验：判断更有爆款后劲的广告素材
- 人群拆分比照试验：判断与产品广告更匹配的
- 人群增效度量试验：通过人群分流 + 问卷投放两种模式联合，评估品宣成果 H5
- 落地页优化试验：判断营销页面转化效率
DataTester 广告试验的几种细分类型 DataTester 广告试验的特色劣势基于 10 年的技术教训打磨，DataTester A/B 试验平台曾经做得极为易用，广告投放试验反对通过可视化的手动拖拽等模式，自主编辑试验版本，并获取数据报告。
没有研发团队的企业，以及没有代码教训的广告分析师，也能够疾速上手应用。
广告试验作为 DataTester 在全域营销场景的重要解决方案之一，也打磨出了一些独具劣势的外围能力。爆款广告智能创作能力“爆款素材稀缺”、“起量难”是广告主最常见的痛点。
作为信息流广告的外围——素材的优质水平，是决定广告是否起量的要害。近年来创意素材的生产数量爆发性增长，在巨量引擎平台中，每天新增的视频广告创意素材有 70 万条，还不蕴含平台上的存量素材数量。DataTester 与火山引擎的智能创作云单干买通，可提供 10 余款简略易用的创作工具，无需人工剪辑，智能批量化生成各类具备“爆款基因”的广告素材。
用户不须要有各类业余软件的应用能力，即可创立广告素材并开启 A/B 试验。
分流技术深度交融广告算法随着数据驱动迷信增长的理念在国内渐火，市面上宣称能“帮忙广告主对广告投放进行算法优化”的三方服务商越来越多，其中不乏宣称可能进行 A/B 试验的厂商。
然而，基于 A/B 试验的基本原理，真正迷信可信的 A/B 试验离不开对流量的精准管制和迷信分流。但当今支流大型广告平台，因为在广告举荐算法中嵌入试验分流的技术复杂性，很少可能做到向三方提供齐备的分流能力。
因而，市面上少数三方服务商提供的所谓广告投放 A/B 试验能力，更可能是徒有其表，噱头成分偏多，其数据偏差之大并不足以撑持得出可信的试验论断。
如图为极度简化版的广告平台散发流程，大型广告平台的理论流程会简单得多。火山引擎 DataTester 基于字节跳动在抖音、今日头条等信息流产品中的多年实践经验，摸索出了很多卓有成效的广告成果迷信度量和晋升策略，能够实现面向大规模人群的精准分流。
人群隔离：DataTester 可确保试验中的不同试验对象不会展现给同一用户，一个用户最多只能看到试验中的一个打算广告计划；
竞争偏心：DataTester 可为多种广告打算提供偏心的竞争环境，防止试验中打算互相挤压、抢量，让每一个广告计划都取得同等量级的曝光机会；
报告相信：在收集到短缺的试验数据之后，DataTester 将智能化生成剖析报告，并确保数据具备统计效劳，以准确披露在试验中获胜的广告打算或素材。
广告页搭建可无缝连接 A/B 试验广告网站或落地页转化率，是会因为页面上元素的细微差别，而产生微小差距的。
例如按钮地位的替换、色彩的扭转、程序的调整等，均能造成转化率的增长或升高。此时，A/B 试验就是验证最优版本的迷信工具。DataTester 已与橙子建站等多个广告落地页建站平台深度单干，在企业实现广告落地页搭建后，即可无缝开启 A/B 试验，大幅升高试验创立门槛。
试验智能流量调优能力开启试验前，哪一个版本的计划体现更好通常未知。传统的 A/B 试验平台，依赖于统计显著性的经典假设检验，为对照版本和试验版本调配等额流量，个别不容许在试验期间变更每个子版本的流量。
因而此类试验缺点比拟显著 —— 即使已发现试验版本显著优于对照版本，试验期间还须要在对照版本上持续破费工夫流量，直至整场试验完结。而 DataTester 除去提供上述“惯例试验”能力外，也同时可提供“MAB 试验”试验类型抉择。
“MAB 试验”是智能调优试验，试验计划能够间接在线上进行，DataTester 将依据实时数据反馈，智能调节试验计划的流量调配，给广告收益成果好的计划歪斜更多的流量，帮忙企业收益最大化。
与传统的 A/B 试验相比，以下几种场景实用 MAB 智能流量调优试验：促销优惠：此类场景更关注进步转化率。MAB 智能试验在促销期间，会将更多流量发送给成果较好的变体，而将较少流量发送给成果欠佳的变体，帮忙企业尽快拿到收益点；推送策略：推送文案 / 题目为生命周期较为短暂的内容。固定的流动期间后，会失去相关性。
因而采纳 MAB 智能试验，能够使策略最大水平地尽快施展效用；
落地页优化：同时上线几种不同版本的落地页计划，实时优化落地页的点击和转化率。结语 DataTester 交融了字节跳动了多年在业务增长、转化、产品迭代，策略优化，经营提效等环节的增长理念，是一款性能弱小、应用便捷的 A/B 试验产品。
在广告投放场景上，DataTester 基于多年的打磨和迭代，可反对广告从制作到投放，到最终成果收集的全链路场景试验需要，并可能与字节系产品及平台深度买通、互相联合利用。
此外，DataTester 也可能深度耦合举荐、搜寻、UI、产品性能等其余多种业务场景需要，为业务提供迷信的决策依据。目前，火山引擎 DataTester 曾经服务了美的、失去、凯叔讲故事等在内的上百家标杆客户，将成熟的 ” 数据驱动增长 ” 教训赋能给各行业。
点击跳转 A/ B 测试 DataTester 理解更多