共计 3923 个字符，预计需要花费 10 分钟才能阅读完成。
业务介绍
AliExpress（简称 AE）是从团体内 wholesale 孵化进去面向寰球消费者的 B2C 电商平台，目前也是全球化电商业务的排头兵。以后 AE 为寰球 220+ 个国家提供在线购物服务，反对 3 端（PC、Msite 和 APP）、18+ 种语言，有 5 个独立分站（印尼、俄罗斯、巴西、西班牙、法国）和 2 个本地站（西班牙 Plaza 和俄罗斯 Tmall）为当地提供更精细化的服务。
业务挑战
营销是电商业务的外围场景，实质是解决人货场的匹配问题。而大数据时代，传统的小二人工经营的形式越来越力不从心，AE 数据智能中台赋能小二们在海量用户和商品里进行人货匹配，开释小二们的压力，从而更快、更精准的营销。
去年 AE 数据智能中台在双十一中小试牛刀，成果失去了业务团队的广泛认可。然而往年因为疫情等各种简单的国际形势，对 AE 智能化产生了更多的赋能场景，而这些场景对撑持业务的数据系统也提出了更高的要求和挑战。
时效性 — 速度要快
AE 的场景根本都是实时营销，如果给用户的营销是基于非实时的数据计算出来的后果，会大幅升高经营的决策效率。以会场调控举例，须要在双十一大促期间从批改选品池条件到失效到会场整体工夫稳固在 10 分钟以内，经营依据实时看板的秒级粒度的大促数据体现，以批改选品规定进行实时调控，解决商品疲劳、会场投放成果差、调整会场货品构造布局等问题。
智能型 — 成果要准
绝对于传统的小二凭借本身常识营销，AE 数据智能平台须要反对各种剖析需要，既有基于规定的简略剖析需要，又有大数据分析需要，越多的数据纬度，越多的成交数据，剖析进去的后果就越准确，成果越好。以人群洞察为例，须要应用各种聚类算法尝试对用户进行分组，从而找到类似的客群。传统的数据库曾经不满足这种简单剖析需要。
耐操型 — 应用要狠
在大促期间，既有来自于多用户高 QPS 的剖析查问，又有各种简单离线需要，同时这些离线计算不能影响用户的即时剖析。以用户洞察为例，既须要秒级响应用户 TGI 的计算，又须要反对简单聚类算法的计算；而实时会场调控也须要反对高 QPS 的在线统计和将大数据量后果同时导出给会场展示引擎，同时还有大数据量的实时写入，还须要数据实时可见，这样狠的应用形式，个别的数仓基本满足不了。
简易型 — 应用要省
在满足以上条件的状况下，往往会应用链路很长的简单大数据计划，同时对于开发者，既要去把握多平台的开发能力，又要在应用上辨别不同的场景应用不同的零碎，这个开发运维老本都十分的大。故 AE 数据智能平台须要一个数仓，应用简略的 sql 就能够满足用户的所以需要，达到事倍功半的成果。
AnalyticDB– 快准狠省的云原生实时数仓
AnalyticDB 是阿里云自研的云原生数仓，全面兼容 MySQL 语法，为剖析而生，领有杰出的剖析性能。
数据写入实时可见
会场实时调控对数据的时效性要求高，AnalyticDB 数据写入后实时可见，能够使经营小二的调控成果实时的反映到会场上，同时 AE 会场的实时成果数据，从产生到剖析到决策利用，从原来的天级别或者小时级别缩短在 10 分钟以内。数据写入实时可见充沛满足了 AE 对时效性的要求。
高性能高并行度
AnalyticDB 不仅数据写入失效快，计算也快得当仁不让，AnalyticDB 在业界权威性能 TPC-DS 榜上间断两年夺得第一名，领有行列混存、自适应索引，联合向量化的分布式执行引擎实现大部分简单查问在毫秒级实现，全面满足 AE 智能营销各个场景的性能需求：人群洞察场景中人群间的 DiffScore 计算秒级响应；基于 AnalyticDB 的进行剖析决策，在高峰期均匀每小时进行了 4800 次无效流量调控，均匀每分钟进行 80 次。
反对各种大数据分析需要
AnalyticDB 不仅反对高 QPS 的即时查问，同时也反对各种类型的大数据分析能力，用户洞察业务里 AnalyticDB 反对了业务的多种聚类算法，从而满足 AE 的智能化需要。
在离线一体化数仓
借助混合负载治理能力，不论用户的查问状况多“狠”，AnalyticDB 都能够以最高性能实现用户的所有查问，同时保障在线查问不受离线 /batch 查问影响。在实时会场调控中，AnalyticDB 撑持了均匀每分钟 80 次的导出，每次导出均匀 100w 条记录，1w/ s 的实时写入、10qps 的秒级查问的混合压力。
MySQL 兼容
好用是数据库价值真正的体现，AnalyticDB 高度兼容 MySQL，根本无需批改代码即可像应用 MySQL 一样应用 AnalyticDB，简略易用。对于 AE 智能平台的用户 – 商家和小二来讲，会 MySQL 语法就把握了全套的大数据分析能力。在 AE 业务里用户圈选，剖析一体化，tgi，聚类计算等等都是间接应用 SQL 全副实现。
业务实际
业务架构
业务概述
数据智能部使命：致力于全面集成 AliExpress 数据分析体系，以数据服务化的模式，撑持用户增长、导购营销、社交互动等业务场景，通过与 AnalyticDB 的深度单干与共建，将原有臃肿的离线数据服务链路，打造成快、准、狠、省的实时化链路，通过人、货、场等多维度的标准化数据服务，晋升经营小二、商家的经营效率。
架构降级
应用 AnalyticDB 之前的数据处理链路
在计算引擎框中因为多种计算需要的起因，引入了两种计算引擎：
- MaxCompute: 满足数据批计算需要
- Pai: 满足算法剖析需要
计算出来的后果会同步到两个中央：
- 会场展示引擎：剖析的后果对线上失效。
- HBase：后果存储在 HBase 里供其它业务高 QPS 查问。
这样的计划除了链路简单外，更实质的是满足不了业务实时性需要以及高并发高性能需要。实时会场调控在这条链路下时效性日常 30 分钟，大促忙碌时 2 小时以上。
应用 AnalyticDB 后的数据处理链路
AnalyticDB 作为一个云原生实时仓库，减少 Embedding Algorithm 模块，实现了算法与剖析的一体化能力，极大的缩短了数据处理链路。
如上，AnalyticDB 解决了所有的计算需要。实时会场调控的时效性放大到 6 分钟。AnalyticDB MySQL 作为链路外围，撑持了 AE 业务的快准狠省的智能营销。在数据时效性、高并发、低延时以及简单剖析等方面提供了强力的保障。
成果展现
图示摘自 AE 数据银行商家版，通过实时标签、AIPL 趋势剖析、实时人群画像、秒级人群生成、成果监控等外围能力，丰盛了商家自主经营的伎俩，目前已成为商家店铺经营的外围产品之一。
店铺用户剖析
人群显著性特征分析
人群画像剖析
投放成果剖析
将来瞻望
往年 AE 智能中台在营销场景中借助 AnalyticDB 的能力失去了长足的提高，特地在双十一大促中，体现丝般顺滑。将来将持续融入 AnalyticDB 的最新能力进行工程架构上的降级。
全链路实时化演进
随着业界软硬件技术的倒退，全链路实时化的门路变得越来越清晰，数据智能部在关注数据内容建设之外，也着手于全链路实时化的摸索与演进。将来，数据智能部将投入大量的人力，将 AE 的离线链路迁徙至实时化链路，从算法到工程，从数据到服务，依靠于 AnalyticDB 的弱小能力，放慢小二与商家的经营效率，以应答瞬息万变的全球化电商市场。
数据服务老本升高钻研
业务资源隔离
AE 的业务繁多，经常出现多个业务共用一个库，其中有些是双十一在线重点保障业务，而有些是测试需要长期搭建的业务，在大促中呈现未通过压测的简单测试业务抢占重保业务的资源，作为 AE 平台，要么减少老本，物理上严格拆散这两个业务；要么进行人工治理这两个业务的资源。在 AnalyticDB MySQL 版新推出的弹性状态下实现了资源组性能，通过新建资源组能够从现有实例划分出局部计算节点，这些计算节点资源只归属该资源组。AE 平台间接将业务绑定到不同的资源组，从而满足外部多租户隔离、混合负载的需要。资源组的创立、批改、删除等操作都能够在线实时失效，并能够通过 API 与用户业务零碎进行深度交融，实现全自动调配。
存储计算拆散
AE 智能营销通过这么多的工作获得了十分不错的成果，但同时 AE 智能平台仍时刻关注老本的投入，AnalyticDB 高性能实例是按存储能力来计费的，而不同的业务场景计算和存储的开销却不是统一的，甚至相差很大。比方人群洞察业务来讲，聚类算法的计算开销要求更多的资源，绝对于计算，存储须要的资源是大量的，故后续也须要应用 AnalyticDB 弹性性能中的存储计算拆散能力进行老本的升高。
弹性扩容
在存储计算拆散的状况下，可能主动依据负载进行弹性库容，便于管控。AE 业务作为典型的电商场景来讲，具备很显著的峰值和低谷流量时刻。而目前的 AnalyticDB 高性能模式是资源预分配模式，在绝大部分低谷流量时刻，资源也是在进行计费。而 AnalyticDB 新推出的弹性状态下主动弹性扩缩性能能够在保障业务服务能力的状况下，同时大幅度降低闲时老本。
数据查问服务可行性研究
AE 智能业务里很多数据都会在 HBase 里存一份，比方当初的架构里会场的计算结果依然会在 HBase 里放一份，用来后续业务高 QPS 点查，这个场景 AnalyticDB 曾经具备高 QPS 点查能力，目前正在开展后期相干工作，进行 KV 零碎的替换，应用 AnalyticDB 为 AE 智能平台提供全站数据服务。
智能化诊断
须要做好监控和边界问题的发现机制，在呈现问题时可能疾速定位。冀望可能充分利用 AnalyticDB 的监控能力，在呈现问题前第一工夫预警，躲避问题的产生。为此，AnalyticDB 将提供全方位、多维度以及准实时的实例运行状况洞察能力，通过对实例外部的各类运行日志和时序指标进行算法建模，提供出问题前精确预测、出问题时及时告警、解决问题时精准定位的能力，确保不影响用户下层业务。
原文链接
本文为阿里云原创内容，未经容许不得转载。
