乐趣区

关于云存储:云端大数据分布式文件系统-成本优化秘笈

jiezi

一、CHDFS 介绍

CHDFS（云 HDFS）是腾讯云一种提供规范 HDFS 拜访协定和分层命名空间的高性能分布式文件系统，次要解决大数据场景下海量数据存储和数据分析，为实现计算与存储拆散提供解决方案。

CHDFS 着重于分布式元数据服务，数据存储依赖 对象存储 COS。COS 作为云端根底存储服务，为 CHDFS 提供了松软的数据底座，不仅反对海量数据存储和超大带宽，还反对多 AZ 模式，且默认 EC 编码，老本更低，同时通过冷热数据智能分层，进一步升高存储老本。

二、生命周期治理

随着时间推移，CHDFS 上数据一直累积，但只有小局部是用户最近应用的，大部分是历史数据，拜访频次逐步缩小，如日志文件，数据备份等。

如果用户不去治理这些数据，那么存储费用逐步增大，对用户本身业务倒退也不敌对，但被动治理须要投入人力和工夫老本，费时费力，因而 CHDFS 对齐 COS 数据分层能力，推出生命周期性能，帮忙用户更加便捷地治理冷热数据。

用户能够通过配置 CHDFS 生命周期规定，定期将数据文件从规范存储降为归档存储或者间接删除，整个沉降和删除过程由 CHDFS 生命周期性能自动化实现，保障及时精确，且不产生任何附加费用，同时反对回热操作，用于对曾经降为归档存储类型的数据文件从新发动拜访。

三、生命周期规定

生命周期规定即生命周期策略，须要用户指定以下参数：

  • Path：生命周期规定指标门路。

    • 指定目录：规定作用于目录下的所有文件，包含递归子目录下的文件。
    • 指定文件：规定只作用于具体文件。

  • Type：生命周期规定类型。

    • 沉降：定期将文件存储类型从规范存储降为归档存储，节省成本。
    • 删除：定期将文件间接删除。
  • Days：指定生命周期规定在文件最初拜访工夫的多少天后触发相应的操作。

阐明：与 COS 对象最初批改工夫 mtime 不同，CHDFS 满足文件系统语义，不仅反对文件最初批改工夫 mtime、元数据最初批改工夫 ctime，还可能反对以文件最初拜访工夫 atime 作为分层条件，这种策略更能满足用户需要。

四、回热工作

回热的目标是为了对曾经沉降的文件从新发动拜访，它会复制一份规范存储的文件正本供用户读取，正本到期后会主动删除，在此期间归档存储的文件始终存在，创立回热工作须要用户指定参数：

  • FilePath：回热文件门路。

  • Type：回热类型。依据回热工夫长短，回热分为三类。

    • 极速模式：回热工作在 1 – 5 分钟内可实现。
    • 规范模式：回热工作在 3 – 5 小时内实现。
    • 批量模式：回热工作在 5 – 12 小时内实现。
  • Days：回热实现后，规范存储的文件正本的保留天数。

阐明：CHDFS 对于数据沉降、删除和回热，须要依赖 COS 对外提供的标准接口，所以生命周期在应用形式上与 COS 类似。

五、应用形式

用户能够通过控制台和云 API 来配置生命周期规定，创立回热工作仅反对云 API。

1、控制台

进入 CHDFS 控制台，抉择具体文件系统，进入生命周期配置页，增加规定，实现生命周期配置，如下图所示：

阐明：同时指定沉降和删除规定示意对指标文件先沉降后删除，删除工夫必须要大于沉降工夫。

2、云 API

通过云 API 创立生命周期规定 示例：

https://chdfs.tencentcloudapi.com/?Action=CreateLifeCycleRules
&FileSystemId=f4mhaqkciq0
&LifeCycleRules.0.LifeCycleRuleName=test
&LifeCycleRules.0.Path=/test
&LifeCycleRules.0.Transitions.0.Days=90
&LifeCycleRules.0.Transitions.0.Type=1
&LifeCycleRules.0.Transitions.1.Days=180
&LifeCycleRules.0.Transitions.1.Type=2
&LifeCycleRules.0.Status=1
&< 公共申请参数 >

创立回热工作 示例：

https://chdfs.tencentcloudapi.com/?Action=CreateRestoreTasks
&FileSystemId=f4mhaqkciq0
&RestoreTasks.0.FilePath=/test/file0
&RestoreTasks.0.Type=1
&RestoreTasks.0.Days=7
&RestoreTasks.1.FilePath=/test/file1
&RestoreTasks.1.Type=2
&RestoreTasks.1.Days=7
&< 公共申请参数 >

阐明：反对批量创立回热工作，回热工作须要指定具体文件门路。

六、计费

目前，CHDFS 只收取规范存储量和带宽的 费用，归档存储量和回热申请暂不免费。

七、结语

CHDFS 联合对象存储 COS 有限容量的劣势，深耕文件系统元数据管理，规模可扩充至百亿级别，同时配合用户自定义的生命周期策略，最大力度去帮忙用户升高 CHDFS 存储老本，满足用户的应用需要。

对于咱们

云 + 社区「腾讯云存储团队」主页，涵盖了腾讯云存储团队最新动静、团队信息、产品矩阵、技术文档、视频教程等，欢送关注或留言，给出您的贵重倡议。

退出移动版