乐趣区

关于腾讯云:腾讯云-Serverless-ETL-蘑菇街实战落地

jiezi

背景

蘑菇街旨在做一家高科技轻时尚的互联网公司，公司的外围主旨就是购物与社区的互相联合，为更多消费者提供更无效的购物决策倡议。

蘑菇街上每天有几百万网友在这里交换时尚、购物的话题，互相分享，这些行为会产生大量的数据，当这些数据源产生数据后，须要有一个组件获取数据源的数据，将数据写到 kafka，蘑菇街研发团队以往的解决办法，一是通过 Lofstash、Filebeat 等开源的数据存储计划解决，二是本人写代码实现这种逻辑。

开始数据量小的时候还能够，随着业务的一直扩张，数据越来越大，为了保障可用性、可靠性以及性能相干的内容，须要大量的研发资源投入，因而，亟待新的解决方案反对。

CKafka 全称是 Tencent Cloud Kafka，是一款适宜私有云部署、运行、运维的分布式、高牢靠、高吞吐和高可扩大的音讯队列零碎。它 100% 兼容开源的 Kafka API，目前次要反对开源的 0.9, 0.10, 1.1.1, 2.4.2 四个大版本，并提供向下兼容的能力。

目前 Tencent Cloud Kafka 保护了近万节点的集群，沉积数据达到了 PB 级。是一款集成了租户隔离、限流、鉴权、平安、数据监控告警、故障疾速切换、跨可用区容灾等等一系列个性的，历经大流量测验的、牢靠的私有云上 Kafka 集群。

CKafka 目前服务对象包含拼多多、微信、哔哩哔哩，以及腾讯外部的一些大的利用，包含腾讯视频、微视等。

蘑菇街的抉择

蘑菇街团队比照市场上的技术解决方案，从学习老本、扩缩容能力以及人工保护老本和稳定性方面思考。

腾讯云 Serverless 云函数具备人造的劣势：

  1. 反对多语言
  2. 学习成本低，不须要学习开源计划，不须要学习散布式调度
  3. 有限的弹性扩容能力
  4. 多重触发形式，事件触发、定时触发、被动触发
  5. 集群稳定性和可用性的保护老本简直没有
  6. 按理论用量计费，1ms 计费，费用很低

同时，腾讯云 Serverless 云函数 + Ckafka 提供自建的 UI 交互界面，可进行流量告警配置，同时管制台上可进行扩容配置且安全可靠。

腾讯云 Serverless 团队为蘑菇街提供的业务解决方案，是通过云函数将一个实例中某个 Topic 的音讯转储至另一个实例对应的 Topic 上，比照原来的 Connector 计划，腾讯云云函数 SCF 可能通过腾讯云控制台进行治理，能管制触发阈值，触发开关等，能够很不便地对每个函数进行治理。简略来讲，

  1. 音讯转储：将 Topic 的音讯同步至离线集群
  2. 集群迁徙：在集群迁徙合并的过程中起到一个双写的作用

通过比照，腾讯云 Serverless 云函数 + Ckafka 是最优的解决方案，蘑菇街最终决定抉择应用腾讯云 Serverless 云函数 + Ckafka 使用在的音讯同步业务上。

腾讯云 Serverless 云函数 + Ckafka 解决方案的劣势

Kafka 社区的凋敝，让越来越多的电商用户开始应用 Kafka 来做日志收集、大数据分析、流式数据处理等。而私有云上的产品 Ckafka 也借助了开源社区的力量，和云函数联合，推出了十分实用的性能，其优化点包含：

  • 基于 ApacheKafka 的分布式、高可扩大、高吞吐
  • 100% 兼容 Apache KafkaAPI（0.9 及 0.10）
  • 无需部署，间接应用 Kafka 所有性能
  • Ckafka 封装所有集群细节，无需用户运维
  • 反对动静升降实例配置，依照需要付费（开发中）
  • 对音讯引擎优化，性能比社区最高晋升 50%

如下图，云函数能够实时生产 Ckafka 中的音讯，比方做数据转存、日志荡涤、实时生产等。并且，像数据转存的性能曾经集成到了 Ckafka 的管制台上，用户能够一键开启应用，大大降低了用户应用的复杂度。

比照应用云主机自建 Ckafka Consumer 的形式，云函数帮用户屏蔽掉了很多不必要的开销：

  1. 云函数管制台上能够一键开启 Ckafka 触发器，帮忙用户主动创立 Consumer，并由云函数平台来保护组建的高可用；
  2. Ckafka 触发器本身反对很多实用的配置：反对配置 offset 地位、反对配置 1~1 万音讯聚合条数、反对配置 1~1 万次重试次数等；
  3. 基于云函数开发的业务逻辑，人造反对弹性伸缩，无需额定搭建和保护服务器集群等。

腾讯云 Serverless ETL 通用数据处理能力

互联网竞争日益强烈，无论是蘑菇街还是其余产品都在寻找新的冲破，当产品团队尝试做产品迭代或者产品新性能时，初期要做一些新我的项目的验证，数据拉取、数据分析天然是必要的。

这部分的数据需要可能会给团队带来很大的压力，一方面，对已有数据处理的主流程和数据结构有适配老本，须要思考稳定性的危险，这部分须要投入大量的人力和工夫老本；另一方面，因为这个过程工夫周期比拟长的，可能会影响迭代的速度，赶不上竞品。

这个时候无妨试试腾讯云 Serverless 云函数，后面提到的 CKafka -> SCF -> CKafka 只是腾讯云 Serverless 云函数反对的 ETL 场景中的一条链路，Serverless 云函数能反对通用的数据处理。

ETL 场景是指业务上须要做数据抽取（Extract）、数据转换（Transform）、数据加载（Load）的场景。腾讯云 Serverless 云函数在这方面有很大的劣势：

  1. 更轻量，无须要购买服务器，即可实现产品疾速迭代中数据方面的需要。
  2. 更疾速实现，因为学习成本低，数据团队只需很轻松地写个脚本，上下游链接一下数据源，两头做一些数据逻辑即可。
  3. 费用成本低，云函数 1ms 计费准则，且只对运行的函数付费，对于有波峰波谷的业务场景，在老本方面更是节俭很多。
  4. 灵便，不影响曾经有我的项目的数据处理流程，可独自运行并满足数据验证需要。
  5. 省心，从数据抓取、转存、剖析、报表，全流程都实现了。

实战部署

说了这么多，一起来实战，理解了原理，操作起来其实也是非常简单了。

前置条件

以广州地区为例：

  • 开启 Elasticsearch 服务
  • 开启 Ckafka 服务

1. 创立云函数

登录云函数控制台，抉择地区后，新建函数，抉择运行环境 Python3.6，搜寻“Ckafka”，选中模板函数后，下一步。

在下一步中，点开高级设置：配置环境变量，如下：

必填参数：

ES_Address，ES_User，ES_Password，ES_Index_KeyWord

可选填入：

ES_Log_IgnoreWord（须要删除的关键词，缺省则全量写入，如填 name,password）
ES_Index_TimeFormat（依照天或者小时设置 Index，缺省则依照天建设索引，如填 hour）

在高级设置中，配置公有网络，须要抉择和 ES 雷同 VPC，实现函数创立。

2. 创立 Ckafka 触发器

在函数的【触发治理】页面，创立触发器，配置对应 Topic 的触发形式，提交后即可失效。

3. 查看 ES 和函数运行日志

  • 查看函数运行日志

  • 查看 Kibana

  • 扩大能力介绍

如果想要实现高级日志荡涤逻辑，可间接在函数代码中批改逻辑。

针对函数的运行状态，能够自行配置监控告警，实时感知业务运行状况。

One More Thing

立刻体验腾讯云 Serverless Demo，支付 Serverless 新用户礼包 ???? serverless/start

欢送拜访：Serverless 中文网！

退出移动版