关于运维:实时数仓Hologres首次走进阿里淘特双11

55次阅读

共计 3007 个字符,预计需要花费 8 分钟才能阅读完成。

简介:这是淘特在阿里巴巴参加的第二个双 11 大促,大促期间累计超过上千万消费者在此买到心仪的商品,数百万家商家因为淘特而变得不同,将来,淘特也将会持续更好的服务于下沉市场,让惠民走近千万家。

2021 年 11 月 11 日 23:59:59,阿里巴巴淘特(淘宝特价版)的第二个双 11 完满落下帷幕。在双 11 大促期间,淘特历经多个大促暴发顶峰,丰盛的权限玩法,各类高性价比货品,大促期间累计超上千万人在淘特买到质美价廉的商品。本次双 11 大促中,淘特无论是流量、买家还是订单数都创下新的记录,交出了完满答卷,这也意味着,阿里巴巴在下沉市场开始斩露头角。

业务简介与面临的问题

淘特 (原淘宝特价版) 定位为消费者带来高价且有品质的源头好货,目前依然处于用户快速增长的阶段,其中三方线上广告投放具备规模效应大,行业成熟度低等特点,是平台用户引流的重要渠道。

在淘特为期 30 多天的双促期间(双 10,双 11),市场竞争尤为强烈,渠道投放策略的及时优化调整是保障获量与控本的重要伎俩。同时针对下沉用户偏好简略的玩法和独特区域性货盘的特点,平台须要翻新研发各类简略易于了解的营销玩法,和相应的站内流量散发机制,促使更多的用户能够边玩边买。

因为本次大促具备工夫长与高暴发两个特点,在这个过程中,咱们面临这这么几个问题:

  • 流量高价获客:线上广告创意规模大,但拉新拉活成果老本参差不齐。但因为不同工夫波段流量差别大,如何通过摸索式剖析,疾速定位问题广告或者开掘新机会,为大促提供继续稳固的高质量流量成为了优化师们进行投放优化的首要问题。
  • 极简营销玩法:大促新上各类营销玩法,营销玩法的成果须要实时监控。如何实时多维分析,帮忙业务进行实现不同场景的不同成果剖析,最终反哺业务实现大促交易指标。
  • 货商高效汰换:货品是电商的外围,超长大促周期下,会场同学须要进行会场货品调优,行业同学须要通过货品类目进行供应调整,还有风控、商家治理等多个角色,均须要通过对单商单品的精准强控。其中如何通过实时聚合排序,及时对低效能货品的汰换,防止流量与转化效率的错配。

解决方案

围绕淘特双 10& 双 11,基于上述在流量投放优化、营销玩法多维分析,品商实时排序等面临的业务问题下,咱们构建了一套基于实时数仓 Hologres 的对立数据服务零碎,从流量、玩法、货品全方面监控数据,反对业务在大促期间的精细化经营诉求。

上面别离从三方面内容讲述淘特在这一畛域的实际。

优化投放继续高价获客

场景介绍和特点:广告投放场景偏摸索剖析,具备查问频率中,查问复杂程度高,对提早容忍度绝对较低等特点。分析师须要从一纵一横两个视角进行投放优化,一横即能够从广告创意到广告组、打算、账户、代理、媒体等不同颗粒度。一纵即从展现、点击、耗费的前链路数据到激活、新登、唤端、下单、领取等后链路数据。再叠加工夫维度进行剖析与优化。

实现计划:思考到上卷与下钻维度十分多,且查问不固定,无奈采纳预计算模式,因而咱们抉择围绕最细颗粒度广告创意进行加工,将各类维度属性冗余成标签,前后链路的成果作为指标,存储在 Hologres 上,将分析师在投放核心上的优化的查问逻辑转变为基于明细数据的再筛选、聚合、加工的计划。

挑战与优化:摸索式灵便剖析,简单查问,对 Hologres 都会产生较大的性能压力,咱们次要思考了存储优化、抉择散布列和索引优化三种种优化形式。

  • 在存储形式上,因为外投核心的应用场景是以范畴查问、单表聚合为主,所以选用列存的存储形式。
  • 此外因为散布列将文件组分成不同 shard,而后优先在各 shard 内执行 join 和 group by 操作,所以选用了罕用的关联键和聚合维度 account_id, campaign_id, adgroup_id, agent, creative_id。
  • 在索引优化上,依据不同索引形式咱们选用了不同的字段作为 key 来优化查问速度。首先是选用了 creative_id 作为聚簇列,实用于范畴查问和筛选所用字段。应用比特编码索引在聚簇后进一步进行文件内位图索引,实用于等值查问条件,所以抉择了 creative_id, account_id, campaign_id, adgroup_id, agent 等罕用于等值查问的字段。最初是分段键,该索引是用于标识文件边界,罕用的是非空工夫戳,这里咱们抉择用的是 stat_date。

通过上述系列优化使得最终 98% 以上的通过投放平台过去的摸索式剖析查问能够在 3s 内实现。

业务收益:该数据产品在指标三方广告投放经营、产品中覆盖度 100%,经营通过该平台疾速高效的定位并解决包含异样掉量、耗费过低等问题计划数日均几十 +,使得投放侧的优化效率整体晋升 50% 以上。同时还帮忙经营可能疾速的找到增量价值渠道等。

权利玩法促用户成交转化

场景介绍和特点:营销玩法投放在蕴含新人、互动、裂变等不同的场域中,玩法的疏导成果还与货盘强相干,穿插模式以及看数用数指标绝对固定,且绝对比拟高频。

实现计划:咱们在实时计算 Blink 中通过间接产出 CUBE 表,写入 Hologres 中,基于该 CUBE 表搭建数据报表。

业务收益:大促期间通过成果数据针对玩法进行了 10+ 优化,如通过玩法 X 场域,为跨店满减会场新增购物车入口,疾速满足用户的凑单需要;官网补贴的气氛链路透传晋升转化率等,帮忙行业顺利完成指标。

商品商家汰换高效散发流量

场景介绍与特点:经营小二为了可能在大促期间对商品与商家进行监控与汰换,就须要有细颗粒的查问监控,同时因为商品会关注在流动中的各个会场的特色指标体现,且局部流动存在跨多天的状况,所以多日累积的数据也是经营决策的重要参考。

实现计划:咱们抉择在实时计算 Blink 引擎中,实现对最细颗粒度的商品 - 人的计算,并将相干流动指标打横,写入 Hologres。在报表层,依据经营的筛选条件进行跨天的汇总到商品、商家粒度的聚合排序。单个分区日志数据商品 - 人达到了 2 亿左右数据规模,通过索引、散布列等的优化根本能够满足单表的各类查问。

挑战与优化:实时离线的数据存在肯定 GAP,在多日的周期下,差别累积放大,导致影响业务的决策判断,另一方面大促期间人力开发资源缓和,如果用离线数据进行笼罩,老本额定增加一倍。在此背景下,引入了流批一体的技术计划,应用 Hologres 进行对立存储与计算,并且通过 Blink Batch 实现了实时离线共用同一套代码,计算逻辑对立,大幅度降低了反复开发与后续运维老本。

业务收益:品 / 商多维度实时排行笼罩行业经营、会场经营小二,通过选品汰换在几百家会场帮忙消费者买到心仪商品,并针对挖掘出的后劲商家,及时的给予流量搀扶,整体大促期间超过几百万商家实现动销。

业务总结

这是实时数仓 Hologres 首次走进淘特的双 11 大促,在大促期间,Hologers 在流量洪峰的压力下,以 99.8% 响应支撑力多个促销流动的顺利开展。数据同学只须要加工最明细数据,便能通过 Hologres 构建灵便多维的查问利用,整体的研发效率晋升在 40% 以上(单场景均匀 5 人日降落至 3 人日),同时局部本来须要由在线 Blink 作业的数据计算,转变为了查问时再计算的模式,整体计算资源预计有 20% 左右的缩小。

这是淘特在阿里巴巴参加的第二个双 11 大促,大促期间累计超过上千万消费者在此买到心仪的商品,数百万家商家因为淘特而变得不同,将来,淘特也将会持续更好的服务于下沉市场,让惠民走近千万家。

原文链接
本文为阿里云原创内容,未经容许不得转载。

正文完
 0