乐趣区

关于缓存:Fluid-05-版本开启数据集缓存在线弹性扩缩容之路

jiezi

简介：为了解决大数据、AI 等数据密集型利用在云原生场景下，面临的异构数据源拜访简单、存算拆散 I/O 速度慢、场景感知弱调度低效等痛点问题，南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 6 月份联结发动了开源我的项目 Fluid。

作者 | 顾荣  南京大学 PASALab, Fluid 我的项目 co-founder
起源 | 阿里巴巴云原生公众号

导读：为了解决大数据、AI 等数据密集型利用在云原生场景下，面临的异构数据源拜访简单、存算拆散 I/O 速度慢、场景感知弱调度低效等痛点问题，南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 6 月份联结发动了开源我的项目 Fluid。

Fluid 是云原生环境下数据密集型利用的高效撑持平台，我的项目自开源公布以来吸引了泛滥相干方向领域专家和工程师的关注，在大家的踊跃反馈下社区一直演进。近期 Fluid 0.5 版本正式公布，在该版本中，Fluid 次要新增改善以下三个方面内容：

  • 丰盛数据集的操作性能，反对在线弹性扩缩容、元数据备份和复原。
  • 反对多样环境配置部署，满足用户的个性化部署配置需要。
  • 新增数据缓存引擎实现，减少用户在私有云上的引擎抉择。

Fluid 开源我的项目地址：https://github.com/fluid-cloudnative/fluid

这三大次要性能的开发需要来自泛滥社区用户的理论生产反馈，此外 Fluid v0.5 还进行了一些 bug 修复和文档更新，欢送应用体验 Fluid v0.5！

Fluidv0.5 下载链接：https://github.com/fluid-cloudnative/fluid/releases

下文是本次新版本公布性能的进一步介绍。

丰盛数据集的操作性能

在本版本中 Fluid 重点丰盛了外围形象对象 —— Dataset（数据集）的相干操作性能，从而使数据密集型利用可能更好地利用云原生提供的弹性、可观测性等根底性能，并加强了用户对数据集治理的灵活性。

1. 数据集在线弹性缓存扩缩容

这是社区用户始终期待的性能！在 Fluid v0.5 之前，如果用户想要调整数据集的缓存能力，须要以全副卸载缓存引擎再重部署的形式实现。这种形式耗时耗力，还必须思考数据缓存全副失落的昂扬代价。因而，在新版本中，咱们为数据集提供了对缓存弹性扩缩容的反对，用户能够依据本人的场景需要，以不停机形式 on-the-fly 地按需减少某数据集的缓存容量以减速数据拜访（扩容）或缩小某个不频繁应用的数据集的缓存容量（缩容），从而实现更加精密的弹性资源分配，进步资源利用率。Fluid 内置的控制器会依据策略抉择适合的扩缩容节点，例如在缩容时会联合节点上运行工作状况和节点缓存比例作为筛选条件。

执行弹性数据集的缓存能力弹性扩缩容，用户只需运行如下命令：

kubectl scale alluxioruntimes.data.fluid.io {datasetName}  --replicas={num}

其中 datasetName 对应于数据集的名称，replicas 指定缓存节点的数目。

无关数据集手动扩缩容及其成果的演示视频：http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/302459823704.mp4

更多对于数据集手动扩缩容的操作细节，请参考 Github 上的示例文档。

2. 元数据的备份与复原

该性能加强了 Fluid 数据集元数据管理的灵活性。先前的 Fluid v0.4 曾经反对将数据集的元数据（例如，文件系统 inode tree）加载至本地，并且会记录数据集的一些要害统计信息（例如，数据量大小和文件数量）。然而，一旦用户销毁本地数据集，这些元数据信息也都将失落，从新构建数据集时需再次从底层存储系统获取。

因而，在 Fluid v0.5 中，咱们新增了一个 K8s 自定义资源对象 —— DataBackup，为用户提供了申明式的 API 接口，以管制数据备份的相干行为。DataBackup 自定义资源对象构建的一个简略示例如下所示：

apiVersion: data.fluid.io/v1alpha1
kind: DataBackup
metadata:
  name: hbase-backup
spec:
  dataset: hbase
  backupPath: pvc://<pvcName>/subpath1/subpath2/

再次创立数据集时，只需新增一个指定备份文件地位的字段：

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: hbase
spec:
  dataRestoreLocation:
    path: pvc://pvc-local/subpath1/
  mounts:
    - mountPoint:  https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.6/

此时，Fluid 将首先从备份文件加载元数据和数据集统计信息，从而很大地进步元数据加载速度。
 
更多对于进行数据集元数据备份与复原的操作细节，请参考 Github 上的示例文档。

3. 数据集的可观测性优化

Fluid v0.5 还进一步加强了数据集的可观测性能力，具体包含两个局部：

1）与 Prometheus 相结合

该个性可能反对数据集的可用性和性能指标收集，并且通过 Grafana 进行可视化展现。目前已反对 AlluxioRuntime 的实现，使用者能够不便地理解以后可缓存节点、缓存空间、现有缓存比例、近程读、短路读等性能指标。整个配置过程非常简单，达到了对于数据集监控零碎“开箱即用 ” 的成果。

具体的应用办法，请参考 Github 上的示例文档。

2）新增数据集缓存命中率指标

该性能能够标识过来 1 分钟内对该数据集的全副拜访中有多少拜访命中了分布式缓存。该指标一方面可能帮忙用户剖析他们数据密集型利用中的性能瓶颈，量化查看 Fluid 在整个利用运行的工作流中起到的成果；另一方面可能帮忙用户在利用性能晋升和缓存资源占用间进行行衡量，做出正当的扩缩容决策。

这一指标被增加在 Fuild v0.5 的 Dataset.Status.CacheStates 的 Dataset CRD 资源状态中，具体来说包含：

  • Cache Hit Ratio：过来一分钟分布式缓存命中的拜访百分比。
  • Local Hit Ratio：过来一分钟本地缓存命中的拜访百分比。
  • Remote Hit Ratio：过来一分钟近程缓存命中的拜访百分比。

注: 对于分布式缓存而言，数据命中有两种不同的缓存命中状况。本地缓存命中 指的是拜访发起者可间接在同结点拜访到缓存数据。近程缓存命中 指的是拜访发起者须要通过网络拜访其余结点上的缓存数据。

在 Fluid v0.5 中，用户能够应用以下命令不便地查看缓存命中率指标：

kubectl get dataset <dataset-name> -o wide
NAME        ...  CACHE HIT RATIO   AGE
<dataset-name> ...  86.2%           16m

反对多样环境配置部署

自 Fluid 0.4 版本公布以来，咱们依据社区用户理论部署反馈的问题和需要，对 Fluid 在多样环境下的部署配置减少了更多反对。

1. 反对 Fuse 的 global 模式

在 Fluid 中，Dataset 资源对象中所定义的近程文件是可被调度的，这意味着你可能像治理 Pod 一样治理近程文件缓存到 Kubernetes 集群上的地位。执行计算的 Pod 能够通过 Fuse 客户端拜访数据文件。在先前版本的 Fluid 中，Fuse 客户端总是会调度到缓存所在的节点上，然而用户不能自在管制 Fuse 的调度。

在 Fluid v0.5 中，咱们为 Fuse 新增了 global 部署模式。在该模式下，Fuse 默认会全局部署到所有节点上。用户也能够通过指定 Fuse 的 nodeSelector 来影响 Fuse 的调度后果。同时，缓存会优先调度部署在执行计算 Pod 数量较多的节点上。

具体应用非常简单，能够参考 Github 上的示例文档。

2. 反对 HDFS 的用户级配置

很多社区用户应用分布式缓存零碎 Alluxio 作为 Fluid 数据集的缓存引擎。在数据集长久化存储于 HDFS 文件系统的状况下，要使得 Alluxio 可能失常拜访底层 HDFS，Alluxio 集群须要提前获取该 HDFS 的各类配置信息。

在 Fluid v0.5 中，咱们应用 Kubernetes 的原生资源为上述场景提供反对。用户首先须要将 HDFS 的相干配置文件（e.g. hdfs-site.xml 和 core-site.xml）以 ConfigMap 形式创立到 Kubernetes 环境中，接着在创立的 AlluxioRuntime 资源对象中援用上述创立的 ConfigMap 从而实现上述性能。

AlluxioRuntime 资源对象的一个示例如下所示：

apiVersion: data.fluid.io/v1alpha1
kind: AlluxioRuntime
metadata:
  name: my-hdfs
spec:
  ...
  hadoopConfig: <configmap-name>
  ...

至此，创立出的 Alluxio 集群将可能失常地拜访 HDFS 集群中的数据。更多内容可参考 Github 上的示例文档。

新增数据缓存引擎实现

Fluid 默认应用的分布式缓存 Runtime 是 AlluxioRuntime，为了反对不同环境用户对缓存零碎的需要，在之前的版本中 Fluid 曾经将分布式缓存 Runtime 接入框架做成了可插拔的架构。在 Fluid v0.5 中，来自阿里云的社区贡献者基于该框架开发了 JindoRuntime，新增了一种撑持 Fluid Dataset 数据管理和缓存的执行引擎实现。用户能够在 Fluid 中通过 JindoRuntime 应用 JindoFS 的 Cache 模式进行远端文件的拜访和缓存。在 Fluid 上应用和部署 JindoRuntime 流程简略、兼容原生 K8s 环境、开箱即用。

总结

在 Fluid v0.5 中，咱们对 Fluid 的性能个性与用户体验都进行了丰盛和加强。

首先，Fluid v0.5 进一步减少了数据集的性能操作：

  • 提供数据集在线弹性扩缩容能力，实现更灵便、更精密的集群资源分配管制。
  • 新增 DataBackup CRD，实现了数据集文件元数据等信息的备份与复原，帮忙实现数据集缓存零碎的疾速重启。
  • 新增缓存命中率指标，帮忙用户更好量化剖析 Fluid 提供的减速成果。

其次，Fluid 反对更多环境模式和配置，满足更多实在场景的部署需要。

最初，Fluid 新增了基于 JindoFS 的分布式缓存 Runtime —— JindoRuntime，为用户在多样化部署环境中提供不同的缓存引擎抉择。

咱们会持续宽泛关注和驳回社区倡议，推动 Fluid 我的项目的长期倒退，期待听到大家更多的反馈。如果您有任何疑难或倡议，欢送退出 Fluid 用户群参加交换或在 Github 上与咱们探讨：

鸣谢

感激为此版本做出奉献的社区小伙伴们，他们包含来自阿里云的王涛、腾讯云的谢远东、中国电信的仇伶玮、南京大学 PASALab 的徐之浩、候浩军、陈国旺、陈雨铨等同学。

作者简介

顾荣 博士，南京大学计算机系副研究员，Fluid 开源我的项目 co-founder、Alluxio 开源我的项目 PMC 成员，钻研方向大数据处理系统，已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等畛域前沿期刊会议发表论文 30 余篇，主持国家自然科学基金面上我的项目 / 青年我的项目、中国博士后科学基金特地赞助我的项目多项，研究成果落地利用于阿里巴巴、百度、字节跳动、中国石化、华泰证券等公司和开源我的项目 Apache Spark、Alluxio，获 2018 年度江苏省科学技术一等奖、2019 年度江苏省计算机学会青年科技奖，负责中国计算机学会系统软件专委会委员 / 大数据专委会通信委员、江苏省计算机学会大数据专委会秘书长。

版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。

退出移动版