共计 1224 个字符,预计需要花费 4 分钟才能阅读完成。
一、背景
随着越来越多的传统业务云化和云端业务倒退,数据上云和云端数据处理畛域的需要爆发式增长。腾讯云存储网关 CSG提供一键部署开箱即用的便捷模式,深度联合 COS 对象存储 生态,为用户提供方便快捷的数据上云通道,无效满足业务数据备份、数据上云和云上数据处理的需要。
腾讯云存储网关 CSG 提供文件语义到对象存储语义的转换,依靠 COS 对象存储的海量存储能力,使用户通过本地文件协定即可读写云端 COS 数据,无需对现有业务做任何侵入式开发,即可使业务取得靠近有限容量的文件系统应用能力,借助CSG 热数据缓存能力,业务数据上云后业务侧还可能高效对 COS 里的业务数据进行后续加工解决。
二、业务场景
下文将以 视频转码散发 业务场景为例,带您理解 CSG 在该场景的利用。
业务侧生产出原始视频流 H264 文件,通过 CSG 将 H264 文件素材同步到 COS,同步后再将 H264 文件作为输出持续转码成 TS 视频文件,最终将 TS 文件的 COS 拜访链接公布到客户端侧,供各类客户端拜访。
业务架构示意图:
1、根据业务规模部署存储网关 CSG,通过腾讯云存储网关控制台一键部署或者通过腾讯云 COS 控制台一键部署。
- CSG 控制台一键部署网关
- COS 控制台一键部署网关
2、业务服务器中挂载 CSG 文件系统。
- 应用下列命令实现 NFS v4.0 挂载
sudo mount -t nfs -o vers=4 < 挂载点 IP>:/share/nfs/< 文件系统名称即 bucket 名称 > < 待挂载目标目录 >
3、业务上传原始 h264 视频文件到 CSG 文件系统素材目录。
4、业务通过 CSG 文件系统,间接对素材目录中的文件执行转码操作,输入新文件到转码输入目录。通过 CSG 执行转码操作和本地磁盘执行转码操作在默认状况下性能靠近,当应用自定义 SSD 机型的 CSG 时,将取得比本地一般磁盘更高的 IO 性能,单台 CSG 吞吐量可达 1GB/s。
5、原始素材和转码后的文件均通过 CSG 同步到 COS 存储桶,实现素材和输入文件同步到云端 COS。
6、通过 SCF 云函数感知 COS 存储桶转码目录门路中的对象创立事件,将对象创立事件公布到业务指定 CMQ 音讯队列。
- SCF 云函数示例
7、业务服务通过业务指定 CMQ 音讯队列进行生产,获取转码文件已胜利上传到 COS 的事件信息,将对应文件的 COS 减速域名公布到客户端服务,使客户端可能通过 COS 减速域名下载浏览最终文件。
三、结语
存储网关 CSG 依靠 COS 对象存储生态,为业务提供靠近有限容量文件系统的应用能力。
通过存储网关的热数据缓存能力,业务可能对流程中前一步上传的文件进行高效加工解决,间接在 CSG 生产出后续业务流程所需的数据,并通过 CSG 将这些数据主动同步至 COS。
整个数据上云和数据处理过程,均通过本地文件系统接口来操作,无需业务做侵入式革新,即可使业务数据上云并对数据进行加工解决,并可间接在云端生产出最终后果数据,联合后续 SCF 云函数和 CMQ 音讯队列的腾讯云平台能力,可轻松和业务服务联动将云端 COS 数据链接散发至用户业务客户端。