关于华为云:华为云企业级Redis助力VMALL打造先进特征平台

摘要:当电商平台对AI算法模型的需要越来越多,特色数据平台的对立建设是不少开发团队头疼的事件。因为只有通过对立的特色数据存储,能力扭转原有的“数据孤岛”,解决生产反复造轮子的困境。

本文分享自华为云社区《华为云企业级Redis:助力VMALL打造先进特色平台》,作者: GaussDB 数据库 。

1 客户介绍

华为商城(VMALL)是华为公司旗下自营及精选好物的官网电商平台,本着“智慧生存、精选好物”的理念,为消费者提供最齐全的华为品牌产品及鸿蒙生态产品,笼罩了办公、出行、居家、静止、娱乐等生存需要,致力于将全场景智慧生存带给更多的消费者。

云数据库GaussDB(for Redis)作为华为云旗下企业级Redis,致力于为客户提供稳固牢靠、超高并发,且可能极速弹性扩容的KV存储服务。GaussDB(for Redis)在VMALL特色工程平台建设中,起到了关键作用。

2 业务痛点

VMALL应用了大量的AI和大数据技术,用来撑持智能举荐、精准营销、智能搜寻、选品投放等业务的高效发展。

随着业务的疾速倒退,系统对AI算法模型的需要日益增多。以后的AI开发流程中,“模型训练”和“模型部署”阶段都曾经有成熟的平台撑持,唯独“特色数据筹备”阶段不足通用平台,导致了“线上推理和线下训练的特色数据不统一”、“各算法模型独立开发,特色生产反复造轮子”、“特色工程投入工夫多(占据算法开发耗时的60%-70%)”3个关键问题,重大影响了研发效率,妨碍业务倒退。

为解决此问题,VMALL大数据团队开始着手建设对立的特色平台。

特色平台的核心部件是特色存储数据库,只有通过对立的特色数据存储,能力扭转原有的“数据孤岛”困境,彻底解决“不统一”、“难共享”、“效率低”3大问题。

但也正是因为特色数据库须要承当买通线上/线下多个场景,对接批式/流式多种数据源,满足训练/推理多样生产需要,对特色数据库的选型提出了十分高的要求:须要找到一款数据存储服务,既能提供低成本的海量数据存储并不便扩容,又能保证数据的相对牢靠和服务的高可用;既要满足低时延的线上推理,又要满足高吞吐的线下训练;既能提供简洁的KV接口供上游轻松生产,又要兼容支流的批式/流式解决引擎(Spark/Flink等)供上游疾速接入。

通过深刻调研,VMALL大数据团队最终抉择了GaussDB(for Redis)作为特色数据库,上面就让咱们具体看看GaussDB(for Redis)是如何满足上述刻薄要求的。

3 解决方案

特色平台应用GaussDB(for Redis)的次要流程

1)特色生产(抽取、解决、存储)

  • 离线特色(动态特色):

定时调度Spark作业,从各种数据仓库、数据湖中提取数据,进行特色工程解决后,存入GaussDB(for Redis) 。

  • 实时特色(动静特色):

Flink生产Kafka,或流式存储中的数据,继续更新到GaussDB(for Redis)中。

2)特色生产

  • 线上推理:

模型曾经部署到生产,开始承接业务,须要低时延,高并发的生产数据,从GaussDB(for Redis)

中读取数据。

  • 线下训练:

GaussDB(for Redis)存有最新的特色数据,OBS中存有全量的特色数据。

1)对于应用动态特色的较为简单的模型,能够间接从OBS中获取特色应用。

2)对于应用实时特色的场景(如实时举荐零碎),由Flink从Kafka中实时获得用户申请记录,并从GaussDB(for Redis) 查问获得特色,将记录和特色拼接成训练样本,存储到文件中,供线下训练应用。

特色平台对GaussDB(for Redis)的外围诉求

联合上述业务场景,总结特色平台对GaussDB(for Redis)的外围诉求如下:

GaussDB(for Redis)满足特色平台诉求的要害计划

1)业务接口

GaussDB(for Redis)兼容社区Redis5.0接口,反对和Spark/Flink Connector的对接,很好的满足了业务的应用需要

2)稳定性

GaussDB(for Redis)采纳自研内核,解决了社区Redis的fork,oom等老大难问题,具备了企业级利用的稳定性

3)可靠性

数据零失落:逐条命令实时落盘,底层三正本冗余存储,无数据失落危险

数据强统一:基于GaussDB公共的共享存储部件DFV,实现三正本强统一,多点拜访无脏读危险

4)老本

GaussDB(for Redis)实现数据的主动冷热拆散,采纳内存+SSD的混合存储计划,大幅升高了客户的应用老本。依照VMALL的特色体量测算,亿级用户,每个用户的特色数量是数K-数10K,GaussDB(for Redis)一年的费用仅3W出头,如果选用社区Redis,费用在20W+

5)性能

GaussDB(for Redis)采纳多线程架构,并且所有节点能够同时反对写入,因而能够较好满足批量灌库的高吞吐写需要。读方面,基于冷热拆散计划,热数据常驻内存提供稳固低时延;冷数据读波及IO替换,存在肯定长尾,但可满足VMALL业务要求(目前VMALL线上GaussDB(for Redis)实例读时延均匀0.16ms,P99 0.4ms,P9999 1.5ms)

6)可扩展性

基于计算存储拆散架构,底层数据可被任一节点拜访,扩容过程不产生数据拷贝搬迁,因而速度极快;计算节点扩容分钟级实现,存储扩容秒级实现,RTO < 10秒

综上,与社区Redis相比,GaussDB(for Redis)提供了更稳固的应用体验,更牢靠的数据存储,更低廉的应用老本和更便捷的扩大能力,是更适宜像VMALL特色平台这样大规模电商大数据利用的企业级Redis服务。因而,VMALL特色平台最终抉择GaussDB(for Redis)作为特色数据的存储服务。

4 上线后成果

目前VMALL已实现一期的特色数据迁徙,包含“特色生产”业务中的“Spark离线特色生产”,以及“特色生产”业务中的“线下训练Flink特色查问”,已迁徙到GaussDB(for Redis)。

以后GaussDB(for Redis)运行安稳,业务顶峰时段时延稳固,可能满足VMALL以后业务要求。其中,读均匀时延0.2ms(p99<0.4ms),写入均匀时延0.6ms(P99<2ms)。

VMALL以后已启动二期的特色数据迁徙,打算实现包含“Flink在线特色生成”,“线上推理”等外围业务的接入。

5 总结

本文介绍了华为商城(VMALL)在建设特色平台过程中,对特色数据存储服务的选型和利用。由此可见,华为云GaussDB(for Redis)服务在老本,可靠性,可扩展性等方面具备劣势,可作为特色数据存储的现实计划,提供企业级的稳固牢靠的Redis服务能力。

企业级Redis专场热卖中,不限新老用户,首月收费(链接):

https://console.huaweicloud.c…

点击关注,第一工夫理解华为云陈腐技术~

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据