关于云存储:云端大数据分布式文件系统-成本优化秘笈

51次阅读

共计 2106 个字符,预计需要花费 6 分钟才能阅读完成。

一、CHDFS 介绍

CHDFS(云 HDFS)是腾讯云一种提供规范 HDFS 拜访协定和分层命名空间的高性能分布式文件系统,次要解决大数据场景下海量数据存储和数据分析,为实现计算与存储拆散提供解决方案。

CHDFS 着重于分布式元数据服务,数据存储依赖 对象存储 COS。COS 作为云端根底存储服务,为 CHDFS 提供了松软的数据底座,不仅反对海量数据存储和超大带宽,还反对多 AZ 模式,且默认 EC 编码,老本更低,同时通过冷热数据智能分层,进一步升高存储老本。

二、生命周期治理

随着时间推移,CHDFS 上数据一直累积,但只有小局部是用户最近应用的,大部分是历史数据,拜访频次逐步缩小,如日志文件,数据备份等。

如果用户不去治理这些数据,那么存储费用逐步增大,对用户本身业务倒退也不敌对,但被动治理须要投入人力和工夫老本,费时费力,因而 CHDFS 对齐 COS 数据分层能力,推出生命周期性能,帮忙用户更加便捷地治理冷热数据。

用户能够通过配置 CHDFS 生命周期规定,定期将数据文件从规范存储降为归档存储或者间接删除,整个沉降和删除过程由 CHDFS 生命周期性能自动化实现,保障及时精确,且不产生任何附加费用,同时反对回热操作,用于对曾经降为归档存储类型的数据文件从新发动拜访。

三、生命周期规定

生命周期规定即生命周期策略,须要用户指定以下参数:

  • Path:生命周期规定指标门路。

    • 指定目录:规定作用于目录下的所有文件,包含递归子目录下的文件。
    • 指定文件:规定只作用于具体文件。
  • Type:生命周期规定类型。

    • 沉降:定期将文件存储类型从规范存储降为归档存储,节省成本。
    • 删除:定期将文件间接删除。
  • Days:指定生命周期规定在文件最初拜访工夫的多少天后触发相应的操作。

阐明:与 COS 对象最初批改工夫 mtime 不同,CHDFS 满足文件系统语义,不仅反对文件最初批改工夫 mtime、元数据最初批改工夫 ctime,还可能反对以文件最初拜访工夫 atime 作为分层条件,这种策略更能满足用户需要。

四、回热工作

回热的目标是为了对曾经沉降的文件从新发动拜访,它会复制一份规范存储的文件正本供用户读取,正本到期后会主动删除,在此期间归档存储的文件始终存在,创立回热工作须要用户指定参数:

  • FilePath:回热文件门路。
  • Type:回热类型。依据回热工夫长短,回热分为三类。

    • 极速模式:回热工作在 1 – 5 分钟内可实现。
    • 规范模式:回热工作在 3 – 5 小时内实现。
    • 批量模式:回热工作在 5 – 12 小时内实现。
  • Days:回热实现后,规范存储的文件正本的保留天数。

阐明:CHDFS 对于数据沉降、删除和回热,须要依赖 COS 对外提供的标准接口,所以生命周期在应用形式上与 COS 类似。

五、应用形式

用户能够通过控制台和云 API 来配置生命周期规定,创立回热工作仅反对云 API。

1、控制台

进入 CHDFS 控制台,抉择具体文件系统,进入生命周期配置页,增加规定,实现生命周期配置,如下图所示:

阐明:同时指定沉降和删除规定示意对指标文件先沉降后删除,删除工夫必须要大于沉降工夫。

2、云 API

通过云 API 创立生命周期规定 示例:

https://chdfs.tencentcloudapi.com/?Action=CreateLifeCycleRules
&FileSystemId=f4mhaqkciq0
&LifeCycleRules.0.LifeCycleRuleName=test
&LifeCycleRules.0.Path=/test
&LifeCycleRules.0.Transitions.0.Days=90
&LifeCycleRules.0.Transitions.0.Type=1
&LifeCycleRules.0.Transitions.1.Days=180
&LifeCycleRules.0.Transitions.1.Type=2
&LifeCycleRules.0.Status=1
&< 公共申请参数 >

创立回热工作 示例:

https://chdfs.tencentcloudapi.com/?Action=CreateRestoreTasks
&FileSystemId=f4mhaqkciq0
&RestoreTasks.0.FilePath=/test/file0
&RestoreTasks.0.Type=1
&RestoreTasks.0.Days=7
&RestoreTasks.1.FilePath=/test/file1
&RestoreTasks.1.Type=2
&RestoreTasks.1.Days=7
&< 公共申请参数 >

阐明:反对批量创立回热工作,回热工作须要指定具体文件门路。

六、计费

目前,CHDFS 只收取规范存储量和带宽的 费用,归档存储量和回热申请暂不免费。

七、结语

CHDFS 联合对象存储 COS 有限容量的劣势,深耕文件系统元数据管理,规模可扩充至百亿级别,同时配合用户自定义的生命周期策略,最大力度去帮忙用户升高 CHDFS 存储老本,满足用户的应用需要。

对于咱们

云 + 社区「腾讯云存储团队」主页,涵盖了腾讯云存储团队最新动静、团队信息、产品矩阵、技术文档、视频教程等,欢送关注或留言,给出您的贵重倡议。

正文完
 0