关于算法:从百万到亿级得物触达策略平台是如何做的

1. 简述

触达策略这几个字听起来比拟形象，刚开始听到并不能间接了解。简要形容下，触达策略的外围是工作。首先配置工作，工作下有策略，策略下有行为，行为能够发送 push 推送、发放优惠券、发送音讯盒子、发送短信等。而后等到工作执行工夫，执行工作下所有行为。
蓄水池是晋升触达策略平台算法推送能力的实现，为算法亿级数据推送能力提供了技术支持。

2. 得物触达策略平台

得物触达策略平台是通过用户的诸多特色划出一批用户，而后到指定工夫执行给用户发送 push，短信，音讯盒子等行为的零碎。次要由工作、策略、行为、蓄水池、文案池等组成。接下来将通过“工作主体结构图”和“工作执行结构图”来介绍。

2.1 工作主体结构图

通过这张图能够简略的看到，工作下有策略，策略下有行为，通过策略下的行为来理论执行对应的 push 推送。

下面是理论发送 push 的时候 App 对应的截图。

2.2 工作执行主体结构图

3. 算法个性化从百万到亿级，得物触达策略平台怎么做

触达策略平台提供了一个强有力的和得物用户沟通的渠道。触达策略平台通过 AB 试验、文案赛马、回流数据分析、推送发送机会等多种维度决策出了触达策略平台和用户沟通的最佳计划。为了谋求更好的用户体验，触达策略平台全面引入算法。触达策略平台应用蓄水池能力撑持起了算法亿级数据处理的需要。通过咱们的实际和触达策略工作执行模型以及蓄水池性能，曾经实现了从算法个性化从百万级到亿级的演进。

4. 触达策略平台蓄水池

4.1 为何要做蓄水池

以上讲述了触达策略平台主体业务，行为中有算法推送行为的 case。算法推送的 push 内容来源于算法，实时状况下每个人的推送数据并不统一，一段时间内局部人推送数据会雷同的特点。

触达策略的蓄水池简略来说就是将要执行的用户数据暂存到池子里，待蓄水池中数据满足肯定条件后，再把合乎某一特色的用户数据捞出解决。

举个算法例子，在算法提价告诉场景，1.0 版本算法推送量还比拟少，1.0 版本圈选平台人群下用户流过来时咱们是实时发送推送的，因为一批数据中大多数人 push 数据都不雷同需单个调用。如果咱们始终这么做，算法扩量后 1 小时推送 1 亿用户的 1 亿次调用, 音讯平台会扛不住，触达策略零碎压力也增大不少。

1 小时内调用音讯平台 1 亿次是不 OK 的。为了解决下面的问题及思考到咱们业务特点，比方 15 分钟同一个商品的提价推送大概率会发给几十个用户。由此咱们能够做个蓄水池，对于收到的用户先暂存，而后将它们依照所属提价商品 id 分组分批执行。用一句话概括就是用户提价商品数据超过一定量或用户提价商品数据超过指定工夫，只有满足任何一个阈值就执行对应的行，蓄水池性能就提上了日程。

简言之，蓄水池做的就是将不可批处理的实时数据流暂存，再将暂存的所有数据依照某个特色分组，最终将分组好的数据批处理的一件事。

蓄水池业务结构图：

4.2 为何会选用 HBase 作为蓄水池的存储层

• 海量存储及长久化

HBase 适宜存储 PB 级别的海量数据，存储介质可应用便宜 PC。其长久化满足咱们对于数据不失落的需要，能在几十到百毫秒内返回数据。HBase 良好的横向扩展性，实现了海量数据的存储能力。单表可满足咱们每日亿级数据处理和数据极限会存储数十亿行的需要。

• 存储应用列式存储

这里的列式存储其实说的是列族（ColumnFamily）存储，HBase 是依据列族来存储数据的。列族上面能够动静扩大十分多的列，满足咱们存储数据灵便格局和动静扩大的需要。

• 不便横向扩大

HBase 的扩展性次要体现在两个层面，一个是下层（RegionServer）的横向扩大进步解决能力，一个是存储（HDFS）横向扩大进步大数据量存储能力。通过增加 RegionSever 机器，进行程度扩大，进步 Hbsae 服务 RegionServer 反对更多 Region 的能力。

备注：RegionServer 的作用是治理 Region、承接业务的拜访，通过横向增加 Datanode 的机器，进行存储层扩容，晋升 HBase 的数据存储能力和晋升后端存储的读写能力。

• 高并发、高读写性能

因为目前大部分应用 HBase 的架构单个 IO 提早是可承受的。并且在高并发环境下，HBase 的单个 IO 提早降落不重大。HBase 人造不便构建高并发、低提早的服务。当然其满足了咱们同时小时内亿级读写数据需要。

• 稠密

稠密次要是针对 HBase 列的灵活性，在列族中，你能够指定任意多的列，在列数据为空的状况下，是不会占用存储空间的。

• rowKey 前缀扫描

HBase 反对 rowKey 前缀扫描分批拉取数据，预拉取数据缓存本地。主键 scan 性能可笼罩触达策略蓄水池业务查问需要。大数据量下数十万条数据每秒的拉取性能满足查问的性能要求。

4.3 HBase 简略介绍

4.3.1 HBase 架构图

4.3.2 介绍下蓄水池性能中用到的 HBase

HBase 是人造的分布式数据库，Table 可类比 MySQL 表中的 Table，Region 可类比 MySQL 分库分表中的一张分表，rowKey 可类比 MySQL 表的主键 id。单个 Region 区数据过多时，HBase 会将 Region 决裂为多个 Region，由 HBase 管制。建 HBase 表时可指定预分区，举个例子，根据 rowKey 大小可设置小于 1 的任意字符到 1、1 到 2、2 到 3、3 到 4、4 到 5、5 到大于 5 的任意字符这 6 个 Region 分区。预设分区的目标是使 HBase 存储的数据和流量能够平均的散布到不同的 Region 上。

4.4 蓄水池技术构造介绍

算法提价商品举例：

• 生产者

获取到提价商品数据后生成 rowKey = hash(spuId+ 分隔符 +templateCode)+ 分隔符 +spuId+ 分隔符 +templateCode+ 分隔符 +userId，rowKey 在 HBase 上是有序排序的，这样的 rowKey 能够将不同组数据离散到不同的 HBase 分区上，同时又保障了同样的推送 spuId 的数据在一片间断的内存，通过程序读的形式晋升数据读取性能一个数量级。rowKey 设计前缀 hash(spuId+ 分隔符 +templateCode)，这么做的其目标能够将数据打散散布到所有 Region 上，解决了 spuId 数据前缀雷同导致的热点数据问题，同时通过 hash 后所有 rowKey 数据分布的更离散。HBase 数据转换器能够将 HBase 需存储的数据尽量压缩缩小空间占用保障 HBase 的高性能。

• HBase 数据池

HBase 数据池的职责存储数据，并依据 rowKey 值散布和范畴均等宰割到不同的预分区上，而后将分区均等的散布到不同的 RegionServer 上，并依照 rowKey 做排序。

• 消费者

消费者在服务器上是一个常驻线程。数据分配器尝试获取某个分区数据的解决权限，数据获取器依据 rowKey 范畴从 HBase 分批扫描式遍历获取到数据，一次获取到的数据都是可批量发送的 push 数据，将满足工夫阈值和数量阈值的数据流入到数据解析器。数据解析器将 HBase 数据解析为业务数据，紧接着进入限流器和行为执行器。最终将已解决的数据从 HBase 中删除。解决完结后，数据分配器尝试获取下一个分区数据的解决权限，反复上述步骤。

• 触达策略蓄水池 rowKey，预分区实际

触达策略 HBase 有 n 台实例机器，要使每台 HBase 机器调配 m 个分区，预分区设置 m n 个分区，分区区间设置为小于 1 的任意字符到 1、1 到 2、2 到 3、3 到 4、4 到 5 ….mn- 1 到大于 m n- 1 的任意字符。rowKey 的 hash 前缀设定位 0、1、2、3、4、5 到 m n-1，而后数据和后续的 HBase 申请流量会平均的调配到每台机器上以及每个分区上。消费者设置 n 个消费者，保障每个分区实时有一个消费者在解决数据。当然以上分区和消费者数量都是可动静横向扩大的，满足后续扩量和进步解决能力需要。

5. 结语

触达策略平台总体来说是工作和策略和行为，等到工作执行工夫，获取圈到的人群，再对人群内的所有人依照工作下的策略执行工作下的行为。后续是针对这个外围流程做各个性能和细节上的丰盛和扩大。

蓄水池性能上线后收到了称心的成果, 每天 2 个小时内亿级的算法推送数据可能稳固运行。后续算法推送会持续新增场景以及扩充推送用户量，根据目前的零碎负载状况，可预感蓄水池能稳固反对。

参考文献:https://hbase.apache.org/book…

* 文 / 王鹏亮 
@得物技术公众号