共计 2106 个字符,预计需要花费 6 分钟才能阅读完成。
一、CHDFS 介绍
CHDFS(云 HDFS)是腾讯云一种提供规范 HDFS 拜访协定和分层命名空间的高性能分布式文件系统,次要解决大数据场景下海量数据存储和数据分析,为实现计算与存储拆散提供解决方案。
CHDFS 着重于分布式元数据服务,数据存储依赖 对象存储 COS。COS 作为云端根底存储服务,为 CHDFS 提供了松软的数据底座,不仅反对海量数据存储和超大带宽,还反对多 AZ 模式,且默认 EC 编码,老本更低,同时通过冷热数据智能分层,进一步升高存储老本。
二、生命周期治理
随着时间推移,CHDFS 上数据一直累积,但只有小局部是用户最近应用的,大部分是历史数据,拜访频次逐步缩小,如日志文件,数据备份等。
如果用户不去治理这些数据,那么存储费用逐步增大,对用户本身业务倒退也不敌对,但被动治理须要投入人力和工夫老本,费时费力,因而 CHDFS 对齐 COS 数据分层能力,推出生命周期性能,帮忙用户更加便捷地治理冷热数据。
用户能够通过配置 CHDFS 生命周期规定,定期将数据文件从规范存储降为归档存储或者间接删除,整个沉降和删除过程由 CHDFS 生命周期性能自动化实现,保障及时精确,且不产生任何附加费用,同时反对回热操作,用于对曾经降为归档存储类型的数据文件从新发动拜访。
三、生命周期规定
生命周期规定即生命周期策略,须要用户指定以下参数:
-
Path:生命周期规定指标门路。
- 指定目录:规定作用于目录下的所有文件,包含递归子目录下的文件。
- 指定文件:规定只作用于具体文件。
-
Type:生命周期规定类型。
- 沉降:定期将文件存储类型从规范存储降为归档存储,节省成本。
- 删除:定期将文件间接删除。
- Days:指定生命周期规定在文件最初拜访工夫的多少天后触发相应的操作。
阐明:与 COS 对象最初批改工夫 mtime 不同,CHDFS 满足文件系统语义,不仅反对文件最初批改工夫 mtime、元数据最初批改工夫 ctime,还可能反对以文件最初拜访工夫 atime 作为分层条件,这种策略更能满足用户需要。
四、回热工作
回热的目标是为了对曾经沉降的文件从新发动拜访,它会复制一份规范存储的文件正本供用户读取,正本到期后会主动删除,在此期间归档存储的文件始终存在,创立回热工作须要用户指定参数:
- FilePath:回热文件门路。
-
Type:回热类型。依据回热工夫长短,回热分为三类。
- 极速模式:回热工作在 1 – 5 分钟内可实现。
- 规范模式:回热工作在 3 – 5 小时内实现。
- 批量模式:回热工作在 5 – 12 小时内实现。
- Days:回热实现后,规范存储的文件正本的保留天数。
阐明:CHDFS 对于数据沉降、删除和回热,须要依赖 COS 对外提供的标准接口,所以生命周期在应用形式上与 COS 类似。
五、应用形式
用户能够通过控制台和云 API 来配置生命周期规定,创立回热工作仅反对云 API。
1、控制台
进入 CHDFS 控制台,抉择具体文件系统,进入生命周期配置页,增加规定,实现生命周期配置,如下图所示:
阐明:同时指定沉降和删除规定示意对指标文件先沉降后删除,删除工夫必须要大于沉降工夫。
2、云 API
通过云 API 创立生命周期规定 示例:
https://chdfs.tencentcloudapi.com/?Action=CreateLifeCycleRules
&FileSystemId=f4mhaqkciq0
&LifeCycleRules.0.LifeCycleRuleName=test
&LifeCycleRules.0.Path=/test
&LifeCycleRules.0.Transitions.0.Days=90
&LifeCycleRules.0.Transitions.0.Type=1
&LifeCycleRules.0.Transitions.1.Days=180
&LifeCycleRules.0.Transitions.1.Type=2
&LifeCycleRules.0.Status=1
&< 公共申请参数 >
创立回热工作 示例:
https://chdfs.tencentcloudapi.com/?Action=CreateRestoreTasks
&FileSystemId=f4mhaqkciq0
&RestoreTasks.0.FilePath=/test/file0
&RestoreTasks.0.Type=1
&RestoreTasks.0.Days=7
&RestoreTasks.1.FilePath=/test/file1
&RestoreTasks.1.Type=2
&RestoreTasks.1.Days=7
&< 公共申请参数 >
阐明:反对批量创立回热工作,回热工作须要指定具体文件门路。
六、计费
目前,CHDFS 只收取规范存储量和带宽的 费用,归档存储量和回热申请暂不免费。
七、结语
CHDFS 联合对象存储 COS 有限容量的劣势,深耕文件系统元数据管理,规模可扩充至百亿级别,同时配合用户自定义的生命周期策略,最大力度去帮忙用户升高 CHDFS 存储老本,满足用户的应用需要。
对于咱们
云 + 社区「腾讯云存储团队」主页,涵盖了腾讯云存储团队最新动静、团队信息、产品矩阵、技术文档、视频教程等,欢送关注或留言,给出您的贵重倡议。