乐趣区

关于云计算:为-GPU-而来焱融科技推出新一代全闪分布式文件存储产品

随着“东数西算”工程全面开启,打造全国算力一张网按下了“快进键”,国家、企业都开始关注算力布局中的时机和挑战。数据中心作为算力的物理承载,是数字化倒退的要害基础设施。然而,GPU 集群往往须要解决超大模型和宏大的数据,以后的 GPU 服务器本地硬盘曾经无奈满足如此大量的数据存储需要。与此同时,目前市场上支流的全闪存储产品状态大多是提供块存储服务,而针对须要分布式文件存储高性能场景的全闪存储产品并不多见。据 Gartner 报告预测,到 2025 年全闪存储市场份额将晋升至 57%;同期寰球非结构化数据容量的 60% 也将部署为分布式存储。纵观寰球存储倒退市场后,咱们能够预感,将来全闪存储才是存储行业的倒退方向。

为了保障算力基础设施的稳步发展和满足市场对全闪分布式文件存储的需要,焱融科技针对高性能计算场景,推出全新的企业级全闪分布式文件存储一体机焱融追光 F8000X 系列(以下简称:追光 F8000X)。追光 F8000X 搭载了第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile, 采纳全 NVMe SSD、InfiniBand 高速网络,实现了单存储节点达到 40GBps 以上,2,000,000 IOPS,以极高性能充沛开释数据后劲。同时,业内当先的智能数据分层性能,不仅能保障高性能输入,同时还可兼顾数据存储经济性,进一步减速 HPC、人工智能、生信剖析、主动驾驶等高性能计算利用场景的存储降级。

卓越性能体现,轻松应答 GPU 高速计算场景下的数据问题

焱融追光 F8000X 采纳了分布式架构,从“ 分布式并行文件系统、网路数据传输、物理存储 ”三方面提供了全方位的优化降级:

在分布式并行文件系统层面 ,首先焱融科技针对 AI 和 HPC 场景下的海量小文件问题,提出了横向程度扩大的解决方案,把单点的 MDS 集群化,采纳动态子树 + 目录 Hash 两者联合的形式,实现了元数据的散布存储,从而通过扩大元数据节点,反对百亿级别的文件数量,极大晋升了元数据的检索性能。其次,焱融科技极大水平保障了大文件 IO 的吞吐性能,将控制流和数据流(即元数据和数据存储)拆散,无效缩小对 MDS 更新频率的同时,大幅提高 IO 性能。

同时,为了进步小文件 IO 拜访性能,焱融科技采纳小文件内联、元数据缓存、文件信息 KV 化等技术手段,保障了 AI 场景中大量只读小文件的训练性能。最初针对目录热点问题,焱融科技通过减少虚构子目录的形式把热点摊派到集群中所有的元数据节点,不仅解决了元数据热点问题,同时也解决了单目录下文件数量问题。通过减少虚构子目录使单目录能够撑持 20 亿左右的文件数量,并且能够依据虚构子目录的数量灵便调整。

在网路数据传输层面 ,焱融科技在高性能分布式存储里实现了 RDMA 传输的性能,反对通过 InfiniBand、RoCE 或 TCP 来实现客户端到存储服务端的数据交互,以及存储集群服务器之间的数据传输。

在物理存储层面 ,追光 F8000X 采纳了全 NVMe SSD 构建物理存储空间,并基于 NVMe 存储架构做出的深度优化,充沛开释了 SSD 性能,不仅升高了提早,进步了 IOPS 和吞吐量,同时加强了服务器解决并发申请的能力。

多维赋能算力晋升,减速企业用户业务落地

据相干机构的预测数据显示,2025 年寰球数据圈将增长到 175ZB,而中国的数据圈将以年均 30% 的增速增长至 48.6ZB,届时中国将成为寰球最大的数据圈,数据圈规模将占寰球数据圈的 27.8%。面对巨量数据,首先要思考的是数据存储问题,不仅要保证数据不能丢,更要保障访问不能停、访问不能等。

全新一代的追光 F8000X 基于第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile,采纳了全 NVMe SSD、InfiniBand 高速网络、反对 RDMA,充沛开释极致性能,完满匹配 GPU 集群对于数据拜访的性能需求,并以提供更简洁的部署形式、全生命周期的数据管理服务和灵便便捷的应用体验,解决企业用户的存储难点和痛点。

  • 智能数据分层:依据策略将冷数据主动分层至对象存储,无效均衡数据存储老本。
  • 分层镜像性能:进一步晋升数据可靠性,扩大数据存储空间。
  • 智能数据加载:反对对象存储与文件存储的对接和数据通路,任意加载本地或云端对象存储数据进行训练,以及训练数据能够增量、全量导出至对象存储。
  • 利用便捷灵便:开箱即用,图形化极简部署,在助力业务疾速上线的同时,反对公有客户端、NFS、SMB、CSI 灵便拜访接口。

作为焱融科技的深度合作伙伴, 英伟达网络高级市场开发经理陈龙示意:“焱融科技致力于高性能存储计划不断创新与开发,在最新一代全闪解决方案中,与英伟达严密单干,以优良的存储架构设计联合 InfiniBand 出众的网络能力,向业界展现了高端 InfiniBand 网络全闪存储解决方案的魅力。”

以后,追光 F8000X 曾经能够在高性能计算、人工智能、生信剖析、主动驾驶、金融量化剖析、机器学习等场景中采纳。焱融科技随着追光 F8000X 的推出,实现了对 GPU 场景存储的全面变革,精准解决不同企业用户的存储难点和痛点,成为企业打造高性能存储系统的首要抉择。

退出移动版