乐趣区

关于腾讯云:云消息队列备份-CKafkaTDMQ-消息队列数据备份到-COS

前言

随着业务规模的不断扩大,企业越来越器重构建高性能、高可用的大型分布式系统。为了解决利用耦合,正当进行流量削锋,腾讯云提供了包含 CKafka 和 TDMQ 在内的一系列音讯队列中间件。为了更不便地对音讯队列中的数据进行转存和长久化,腾讯云对象存储 COS 为用户提供了云音讯队列备份的能力。

一、云音讯队列备份计划 - 应用 COS 利用集成备份

COS 利用集成 是腾讯云 对象存储 COS 基于 Serverless 云函数,为开发者提供的 存储数据利用解决方案。开发者只须要在 COS 控制台一键配置,即可应用丰盛的性能。

COS 利用集成提供了 云音讯队列备份的能力,开发者能够轻松配置定时备份工作,将云音讯队列中的音讯记录以文件的模式转至对象存储,以便进行长久化保留。开发者能够通过备份文件提取音讯记录,对音讯进行入库、统计分析等操作。

二、计划劣势

  • 存储成本低:对象存储反对数据归档和降冷,长期存储成本低;
  • 可视化操作:一键配置,简化开发流程,无需编码工作;
  • 指定范畴:可指定生产的起始地位,排除不须要的记录;
  • 音讯聚合:可按分钟维度聚合音讯记录,并反对批改工夫粒度;
  • 自动化执行:云函数主动实现云音讯队列 CKafka / TDMQ 的数据备份,两头过程无需任何人工操作;

三、云音讯队列介绍

音讯队列 CKafka(Cloud Kafka)是一个分布式、高吞吐量、高可扩展性的音讯零碎,100% 兼容开源 Kafka API 0.9.0 至 2.8.0 版本。CKafka 基于公布订阅模式,通过音讯解耦,使生产者和消费者异步交互,无需彼此期待。CKafka 具备数据压缩、反对离线和实时数据处理等长处,实用于日志压缩收集、监控数据聚合等场景。

音讯队列 TDMQ (Tencent Distributed Message Queue)是腾讯基于 Apache Pulsar 自研的一个云原生消息中间件系列,其中蕴含兼容 Pulsar、RabbitMQ、RocketMQ 等协定的音讯队列子产品,得益于其底层计算与存储拆散的架构,TDMQ 具备良好的弹性伸缩以及故障恢复能力。

四、备份工作设置步骤

这里以设置 CKafka 音讯备份工作为例,TDMQ 设置与之类似:

  1. 登录腾讯云 对象存储 COS 控制台。
  2. 在左侧导航中,单击【利用集成】,找到【CKafka 音讯备份】。
  3. 单击【配置备份规定】,进入规定配置页面。
  4. 单击【增加函数】。留神:如果您尚未开明云函数服务,请返回 云函数控制台 开明云函数服务,依照提醒实现服务受权即可。
  5. 在弹出的窗口中,配置如下信息:

       

a. 函数名称:作为函数的惟一标识名称,创立后不可批改(您能够在云函数管制台上查看该函数)。

b. 关联存储桶:寄存 CKafka 音讯的 COS 存储桶。

c. 工夫粒度:依据音讯量的大小,选取汇聚音讯的工夫距离,工夫距离为 5 – 15 分钟不等。为保障转存性能,聚合文件数量与 Partition 数量、partition_max 设置数值无关。无关 Partition 的阐明,请参见分区。

d.SCF 受权:CKafka 音讯备份须要受权云函数从您的 CKafka 服务中读取相干实例音讯,并将音讯转存至您指定的存储桶中。因而须要增加此受权。

6. 单击【下一步】,进行 CKafka 配置,配置项阐明如下:

        

a. 实例抉择:抉择消息来源的 CKafka 实例,仅反对同地区的 CKafka 实例。

b. 主题抉择:抉择消息来源的主题。

c. 起始地位:音讯转储备份时历史音讯的解决形式,topic offset 设置。

d. 拜访地址:必须为 VPC 内网拜访地址,根底网络的 CKafka 实例请增加路由策略,具体请参考 增加路由策略。留神:对应的 VPC 子网中必须有可用的 IP,且必须反对 DHCP。

7. 单击【下一步】,进行投递配置,配置项阐明如下:

a. 投递的门路:备份文件的投递门路前缀,不填写则默认保留在存储桶根门路,指定前缀必须以斜杠“/”为结尾。

8. 增加配置后,单击【确认】,即可看到函数已增加实现。

五、查看备份文件

期待一段时间后,能够看到存储桶下投递了备份文件,其内容的每行代表一条音讯记录。

好了,本期对于云备份计划将分享到这里,欢送点击“链接”,查看更多云音讯队列备份攻略。

退出移动版