前言
随着业务规模的不断扩大，企业越来越器重构建高性能、高可用的大型分布式系统。为了解决利用耦合，正当进行流量削锋，腾讯云提供了包含 CKafka 和 TDMQ 在内的一系列音讯队列中间件。为了更不便地对音讯队列中的数据进行转存和长久化，腾讯云对象存储 COS 为用户提供了云音讯队列备份的能力。
一、云音讯队列备份计划 - 应用 COS 利用集成备份
COS 利用集成 是腾讯云 对象存储 COS 基于 Serverless 云函数，为开发者提供的 存储数据利用解决方案。开发者只须要在 COS 控制台一键配置，即可应用丰盛的性能。
COS 利用集成提供了 云音讯队列备份的能力，开发者能够轻松配置定时备份工作，将云音讯队列中的音讯记录以文件的模式转至对象存储，以便进行长久化保留。开发者能够通过备份文件提取音讯记录，对音讯进行入库、统计分析等操作。
二、计划劣势
- 存储成本低：对象存储反对数据归档和降冷，长期存储成本低；
- 可视化操作：一键配置，简化开发流程，无需编码工作；
- 指定范畴：可指定生产的起始地位，排除不须要的记录；
- 音讯聚合：可按分钟维度聚合音讯记录，并反对批改工夫粒度；
- 自动化执行：云函数主动实现云音讯队列 CKafka / TDMQ 的数据备份，两头过程无需任何人工操作；
三、云音讯队列介绍
音讯队列 CKafka（Cloud Kafka）是一个分布式、高吞吐量、高可扩展性的音讯零碎，100% 兼容开源 Kafka API 0.9.0 至 2.8.0 版本。CKafka 基于公布订阅模式，通过音讯解耦，使生产者和消费者异步交互，无需彼此期待。CKafka 具备数据压缩、反对离线和实时数据处理等长处，实用于日志压缩收集、监控数据聚合等场景。
音讯队列 TDMQ （Tencent Distributed Message Queue）是腾讯基于 Apache Pulsar 自研的一个云原生消息中间件系列，其中蕴含兼容 Pulsar、RabbitMQ、RocketMQ 等协定的音讯队列子产品，得益于其底层计算与存储拆散的架构，TDMQ 具备良好的弹性伸缩以及故障恢复能力。
四、备份工作设置步骤
这里以设置 CKafka 音讯备份工作为例，TDMQ 设置与之类似：
- 登录腾讯云 对象存储 COS 控制台。
- 在左侧导航中，单击【利用集成】，找到【CKafka 音讯备份】。
- 单击【配置备份规定】，进入规定配置页面。
- 单击【增加函数】。留神：如果您尚未开明云函数服务，请返回 云函数控制台 开明云函数服务，依照提醒实现服务受权即可。
- 在弹出的窗口中，配置如下信息：
a. 函数名称：作为函数的惟一标识名称，创立后不可批改（您能够在云函数管制台上查看该函数）。
b. 关联存储桶：寄存 CKafka 音讯的 COS 存储桶。
c. 工夫粒度：依据音讯量的大小，选取汇聚音讯的工夫距离，工夫距离为 5 – 15 分钟不等。为保障转存性能，聚合文件数量与 Partition 数量、partition_max 设置数值无关。无关 Partition 的阐明，请参见分区。
d.SCF 受权：CKafka 音讯备份须要受权云函数从您的 CKafka 服务中读取相干实例音讯，并将音讯转存至您指定的存储桶中。因而须要增加此受权。
6. 单击【下一步】，进行 CKafka 配置，配置项阐明如下：
a. 实例抉择：抉择消息来源的 CKafka 实例，仅反对同地区的 CKafka 实例。
b. 主题抉择：抉择消息来源的主题。
c. 起始地位：音讯转储备份时历史音讯的解决形式，topic offset 设置。
d. 拜访地址：必须为 VPC 内网拜访地址，根底网络的 CKafka 实例请增加路由策略，具体请参考 增加路由策略。留神：对应的 VPC 子网中必须有可用的 IP，且必须反对 DHCP。
7. 单击【下一步】，进行投递配置，配置项阐明如下：
a. 投递的门路：备份文件的投递门路前缀，不填写则默认保留在存储桶根门路，指定前缀必须以斜杠“/”为结尾。
8. 增加配置后，单击【确认】，即可看到函数已增加实现。
五、查看备份文件
期待一段时间后，能够看到存储桶下投递了备份文件，其内容的每行代表一条音讯记录。
好了，本期对于云备份计划将分享到这里，欢送点击“链接”，查看更多云音讯队列备份攻略。