近日,焱融科技公布分布式文件存储产品 YRCloudFile 6.9.0 版本。该版本在性能和性能方面有多项技术性冲破,次要包含大数据利用无缝对接 Hadoop,为大数据利用提供高性能存储平台;独有的 Dataload 性能和智能分层细粒度化,更加准确丝滑地响应业务需要;同时实现 NFS/SMB 协定节点的动静治理,使并发拜访性能进一步晋升;最初在产品运维和治理形式上更加贴合零碎运维人员的应用场景,操作疾速便捷。
YRCloudFile 是焱融科技提供的新一代独立的混合云文件存储系统,基于灵便的 SDS 架构,可提供 POSIX、NFS、SMB/CIFS 等丰盛的文件服务,不仅能够用于企业的文件共享,大容量数据存储等通用场景,还能更成熟的利用于智能汽车、多模态 AI、HPC 高性能计算、生物信息、GIS 等高性能计算利用场景。
在 6.9.0 版本中,YRCloudFile 次要进行了以下重要更新:
产品性能 :动静减少 NFS/SMB 协定节点,晋升整个 YRCloudFile 集群对外提供 NFS/SMB 并发拜访性能。
产品性能 :YRCloudFile 无缝对接 Hadoop 平台,将更易于扩大的存算拆散架构与 Hadoop 兼容,通过 YRCloudFile 可完满代替 HDFS。
用户体验 :优化了资源占用等的界面统计信息。细化了智能分层、Dataload、日志审计、运维界面等,晋升用户体验。
HDFS 100% 兼容大数据利用 + 极致性能文件存储平台
HDFS(Hadoop Distributed File System,即 Hadoop 分布式文件系统)作为 Hadoop 生态系统的一个重要组成部分,是 Hadoop 中的的存储组件,负责海量数据的存储。
随着大数据、数据湖在各个行业中的广泛应用,原生的 HDFS 在撑持大数据利用时,存在存算耦合、扩大不灵便的问题。YRCloudFile 6.9.0 版本,反对大数据相干框架,实现与 Hadoop / Spark / Hive / Presto / ClickHouse 的齐全兼容,通过 YRCloudFile 可完满代替 HDFS。Hadoop 生态中的各种利用都能够在不扭转代码的状况下,平滑地应用 YRCloudFile 存储并拜访数据,实现更加贴合业务利用的存算拆散架构,解耦资源。
YRCloudFile 提供的大数据存算拆散解决方案中的文件存储服务防止在治理和运维上投入过多精力,使计算资源弹性伸缩,满足客户对计算资源的灵便调度,更好地利用私有云计算弹性伸缩的能力。与此同时,YRCloudFile 还反对对数据进行冷热分层,可将冷数据下刷到更低成本的对象存储中,大数据分析的存储老本大大降低。
例如在 AI、主动驾驶等场景中,大数据处理作为整个数据处理流程中的重要环节,通过 YRCloudFile 对大数据框架的反对,用户仅在一套 YRCloudFile 集群上,就轻松实现对所有数据处理环节的反对,缩小数据在不同集群之间的反复拷贝,进一步晋升企业外部对非结构化数据的解决效率。
性能优化又双叒叕加强
冷热数据治理粒度更细
智能分层在海量数据全生命周期治理中十分实用,YRCloudFile 6.9.0 版本将分层策略粒度更加细化,新增分层下刷的工作状态和执行状况以及数据的历史记录性能,用户可实时把握数据在冷热数据层之间的流动状况,更加强化治理。
数据流动性能更弱小
为适应跨云和不同数据平台之间的数据流转需要,缩小数据在不同集群之间的反复拷贝,进而晋升企业外部对非结构化数据的解决效率。新版本 Dataload 性能反对用户屡次导入导出的操作,随时满足在数据一直变动的状态下的数据更新需要。
日志审计性能
数据的要害操作记录,是系统管理员十分关注的零碎运维工具。新版本减少日志审计性能,系统管理员可追溯客户端的删除、关上文件 / 目录等重要操作的相干信息;同时反对对接 ELK 等工具对审计日志进行剖析解决。
在 Fluid 中减少 YRCloudFile Runtime 反对
Fluid 是一个开源的基于 Kubernetes 的分布式数据集编排和减速引擎,次要服务于云原生场景下的数据密集型利用,例如:大数据利用、AI 利用等。在计算和存储拆散的大背景驱动下,Fluid 的指标是为 AI 与大数据云原生利用提供一层高效便捷的数据抽象,将数据从存储形象进去。
通过 Kubernetes 服务提供的该数据层形象,能够让数据在诸如 HDFS、OSS、Ceph 这样的存储源和 Kubernetes 下层的云原生利用计算之间灵便高效地挪动、复制、驱赶、转换和治理。而具体的数据操作对用户通明,用户不用再放心拜访远端数据的效率,或是治理数据源的便捷性,以及如何帮忙 Kubernetes 做出失当的调度决策等运维问题。用户只需以 Kubernetes 原生数据卷的形式间接拜访形象进去的数据,残余工作交给 Fluid 实现。
YRCloudFile 开发了合乎 Fluid Runtime 接口的 YRCloudFile Runtime,应用 Fluid 的接口来对接 YRCloudFile 的 DataLoad 性能,让容器用户在 YRCloudFile 中创立存储卷,只应用 Kubernetes 的 API 接口就能够高效地应用对象存储中的数据,大幅提高数据拜访的速度和效率。
性能强化又双叒叕晋升
NFS/SMB 协定节点动静治理
系统管理员能够在集群运行过程中,动静减少 NFS/SMB 协定节点,通过调整 NFS/SMB 的协定节点,晋升整个 YRCloudFile 集群对外提供 NFS/SMB 并发拜访性能。
追加写性能优化
新版本在确保不同客户端、多过程之间追加写的数据正确性的前提下,晋升了客户端追加写性能。通过理论测试,在单客户端对文件进行继续追加写的场景下(日志的典型 IO 模型),性能晋升 3-5 倍,在全闪环境下,性能晋升更为显著。
运维治理能力又双叒叕加强
在 YRCloudFile 6.9.0 版本中,咱们继续优化加强监控告警、运维的能力,包含对 InfiniBand Multi-Channel(多个 InfiniBand 网卡)聚合网络的监控、客户端简化装置配置、零碎参数动静配置、集群扩容的优化等性能。让运维管理人员更清晰地理解存储系统工作状况,灵便治理数据,使 YRCloudFile 的易用性再次增强。
总结
YRCloudFile 在继续深入性能优化的同时,一直适应用户在更多应用上的业务需要,拓宽在利用场景、接口上的反对。后续咱们会进一步分享大数据存储解决方案以及性能深度解读的文章,让大家更好地理解 YRCloudFile 6.9.0 版本新性能,敬请期待。