一、背景
随着越来越多的传统业务云化和云端业务倒退,数据上云和云端数据处理畛域的需要爆发式增长。腾讯云存储网关CSG提供一键部署开箱即用的便捷模式,深度联合COS对象存储生态,为用户提供方便快捷的数据上云通道,无效满足业务数据备份、数据上云和云上数据处理的需要。
腾讯云存储网关CSG提供文件语义到对象存储语义的转换,依靠COS对象存储的海量存储能力,使用户通过本地文件协定即可读写云端COS数据,无需对现有业务做任何侵入式开发,即可使业务取得靠近有限容量的文件系统应用能力,借助CSG热数据缓存能力,业务数据上云后业务侧还可能高效对COS里的业务数据进行后续加工解决。
二、业务场景
下文将以视频转码散发业务场景为例,带您理解CSG在该场景的利用。
业务侧生产出原始视频流H264文件,通过CSG将H264文件素材同步到COS,同步后再将H264文件作为输出持续转码成TS视频文件,最终将TS文件的COS拜访链接公布到客户端侧,供各类客户端拜访。
业务架构示意图:
1、根据业务规模部署存储网关CSG,通过腾讯云存储网关控制台一键部署或者通过腾讯云COS控制台一键部署。
- CSG控制台一键部署网关
- COS控制台一键部署网关
2、业务服务器中挂载CSG文件系统。
- 应用下列命令实现 NFS v4.0 挂载
sudo mount -t nfs -o vers=4 <挂载点IP>:/share/nfs/<文件系统名称即bucket名称> <待挂载目标目录>
3、业务上传原始h264视频文件到CSG文件系统素材目录。
4、业务通过CSG文件系统,间接对素材目录中的文件执行转码操作,输入新文件到转码输入目录。通过CSG执行转码操作和本地磁盘执行转码操作在默认状况下性能靠近,当应用自定义SSD机型的CSG时,将取得比本地一般磁盘更高的IO性能,单台CSG吞吐量可达1GB/s。
5、原始素材和转码后的文件均通过CSG同步到COS存储桶,实现素材和输入文件同步到云端COS。
6、通过SCF云函数感知COS存储桶转码目录门路中的对象创立事件,将对象创立事件公布到业务指定CMQ音讯队列。
- SCF云函数示例
7、业务服务通过业务指定CMQ音讯队列进行生产,获取转码文件已胜利上传到COS的事件信息,将对应文件的COS减速域名公布到客户端服务,使客户端可能通过COS减速域名下载浏览最终文件。
三、结语
存储网关CSG依靠COS对象存储生态,为业务提供靠近有限容量文件系统的应用能力。
通过存储网关的热数据缓存能力,业务可能对流程中前一步上传的文件进行高效加工解决,间接在CSG生产出后续业务流程所需的数据,并通过CSG将这些数据主动同步至COS。
整个数据上云和数据处理过程,均通过本地文件系统接口来操作,无需业务做侵入式革新,即可使业务数据上云并对数据进行加工解决,并可间接在云端生产出最终后果数据,联合后续SCF云函数和CMQ音讯队列的腾讯云平台能力,可轻松和业务服务联动将云端COS数据链接散发至用户业务客户端。