近日，焱融科技公布分布式文件存储产品 YRCloudFile V6.10.0 版本。在该版本中，YRCloudFile 首次反对了 NVIDIA GPUDirect Storage（GDS）、新增回收站、数据加载热层清理等产品性能，继续优化并大幅晋升作为企业级存储产品的性能和可用性，进一步晋升用户应用体验。
YRCloudFile 是焱融科技基于软件定义存储自主研发的独立的混合云文件存储系统，基于灵便的 SDS 架构，可提供 POSIX、NFS、SMB/CIFS 等丰盛的文件服务，不仅能够广泛应用于企业级文件共享，大容量数据存储、大数据等通用场景，还能更成熟的利用于智能汽车、多模态 AI、HPC 高性能计算、生物信息、GIS 等高性能计算利用场景。
在 6.10.0 版本中，YRCloudFile 进行了以下重要更新：
国内首发反对 NVIDIA GPUDirect Storage（GDS）： 焱融技术团队历时 6 个月的工夫实现对 NVIDIA GPUDirect Storage（GDS）的适配开发，实现以间接内存的存取形式，将数据传输至 GPU 内存上，显著升高 I/O 提早，晋升数据带宽。
反对回收站性能 ：通过 YRCloudFile 回收站性能可复原文件数据和相干元数据信息，防止因为误删除操作造成的文件数据失落问题，进一步晋升存储系统的可靠性及数据的安全性。
反对数据加载热层数据清理性能 ：数据加载反对了热层清理性能，用户通过对文件的冷热策略定义的形式来开释文件系统空间，而存储在文件系统 YRCloudFile 的元数据仍将保留，下次读取数据时，文件存储会从对象存储中主动拉取。同时，数据加载配额治理 (Quota) 解决了加载大量对象存储数据到文件系统内所造成的空间占用问题，减少对 Dataload 目录的配额设置反对。
元数据性能优化 ：针对 AI 训练中海量小文件读写场景，实现了客户端的轻量级只读 Open, 升高了元数据的拜访操作。可同时保障在文件系统语义的前提下，将局部逻辑 offload 到客户端，大幅升高元数据服务的压力，使集群的元数据性能失去很大的晋升。
功能丰富有温度 用户操作便捷更安心
- 无需放心误删操作，回收站性能一键找回
YRCloudFile 提供残缺的回收站性能，当误删除文件系统中的文件后，可通过回收站复原这些文件的数据与元数据信息。回收站性能默认处于开启状态，当相应的文件被系统命令或者程序行为删除后，将以就近准则的形式主动进入相应的回收站，该操作只是挪动元数据，所以不会带来存储空间则增大的问题。当用户须要复原回收站的数据时，可依照文件删除工夫、门路进行定位、查找，疾速实现数据恢复操作。
- 数据加载热层清理让存储空间应用更高效
该版本的数据加载性能反对热层清理性能，依据对文件的冷热策略定义（例如：超过肯定工夫并未被拜访的文件），可采纳定时调度或者立刻清理的形式来开释被占用的文件系统空间，而对应的文件用户仍然能够拜访。当下次读取数据时，文件存储主动从对象存储内进行数据加载，这使得文件存储 YRCloudFile 的空间能够高效的轮转应用，既能保障高性能的数据拜访，又能升高整体存储老本。当加载大量对象存储数据到文件系统造成的的空间占用问题，用户可通过数据加载配额治理 (Quota) 减少对 Dataload 目录的配额设置反对。当 Quota 空配额耗尽时，则无奈写入新文件；当读取对象存储新文件时，零碎采纳 by-pass 形式间接从对象存储取得数据返回给业务层。
性能晋升 高性能计算与 AI 交融场景不容错过
- 国内首家反对 GPUDirect® 分布式文件存储
NVIDIA GPUDirect Storage（GDS）技术通过 DMA 引擎将硬盘数据间接写入 GPU 显存，这种以间接内存的存取形式，防止了内存 bounce buffers 所带来的额定数据拷贝，进步了存储和 GPU 之间数据挪动的效率，大幅晋升 GPU 载入大型数据集的速度。焱融科技 YRCloudFile 通过对 NVIDIA GPUDirect Storage（GDS）的反对，可能更好地治理数据门路，使数据在应用程序和存储之间通过更短、更无效的门路传输，使反对 GDS 的应用程序可能充沛开释 GPU 计算能力，为人工智能和机器学习（AI/ML）以及数据分析等业务减速。
- AI 训练海量小文件场景，元数据性能的极致优化
在小文件操作中，元数据操作占据了很大的比重，甚至能够达到 70%-80%，而真正的业务读写，仅占了其中很小一部分，这时元数据性能成为性能瓶颈。这是因为对于每个小文件，零碎都须要频繁读取并解决其对应的元数据信息，包含 open、close、stat 以及 revalidate 等等，这些操作会占用大量的网络和磁盘资源。针对这些问题进行了如下的优化：
- 首先，为了撑持对元数据拜访门路的低提早和高 ops 能力，焱融分布式文件存储 YRCloudFile 采纳的 io 框架可提供百万级的 iops 能力。
- 其次，依赖客户端缓存机制，焱融分布式文件存储 YRCloudFile 提供了基于内存缓存的元数据管理技术，在保障语义的前提下，减少缓存命中，缩小跨网络和磁盘拜访的开销。
- 再次，YRCloudFile 实现的轻量级 open，lazy close，batch commit，metadata readhead 机制，能同时保障在文件系统语义的前提下，将局部逻辑 offload 到客户端，这可能很好的升高元数据服务的压力，同时集群的元数据性能又能够失去很大的晋升，包含在提早和 ops 等方面。
焱融分布式文件存储 YRCloudFile 通过一系列技术操作优化小文件的元数据性能，包含基于内存缓存的元数据管理、轻量级 open、lazy close 以及 batch commit 等技术的利用，使得 YRCloudFile 在解决海量小文件时体现出优异的性能，性能方面更加继续丰盛和欠缺企业级个性，适配更简单的业务场景，从而更好地满足用户的需要。